🤖 AI

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

Cet article introduit Setoka, un nouveau benchmark fondé sur la psychologie cognitive et de la personnalité qui évalue la capacité des agents personnalisés à effectuer une compréhension hiérarchique de l'utilisateur — de la mémoire sémantique et épisodique aux schémas comportementaux et aux traits de personnalité — à travers des données hétérogènes, révélant que les systèmes actuels éprouvent des difficultés significatives face aux tâches exigeant l'intégration et l'abstraction d'informations fragmentées à long terme au-delà de la simple récupération de faits.

Auteurs originaux : Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire connaissance avec un nouvel ami. Vous pourriez simplement lui demander : « Quel est ton numéro de téléphone ? » ou « À quelle heure est ta réunion ? » et noter la réponse. C'est facile ; il s'agit simplement de saisir un fait. Mais une véritable amitié est plus profonde. C'est remarquer que votre ami rit toujours au même type de blagues, ou qu'il semble devenir grincheux quand il pleut, ou qu'il est le genre de personne qui planifie toute sa semaine à l'avance. Ce ne sont pas des faits que vous pouvez simplement rechercher ; ce sont des schémas que vous devez assembler à partir de nombreuses conversations, messages et moments différents au fil du temps.

Dans le monde de l'intelligence artificielle, nous construisons des « agents » qui agissent comme des assistants personnels. En ce moment, ces aides à l'IA deviennent plutôt douées pour les choses faciles : se souvenir de votre numéro de téléphone ou trouver un rendez-vous dans votre calendrier. Mais les scientifiques craignent que ces agents soient terribles pour les choses « profondes ». Ils ont du mal à comprendre qui vous êtes réellement — vos habitudes, votre personnalité et votre comportement à long terme. Pour corriger cela, les chercheurs ont besoin d'un moyen de tester si une IA peut réellement « comprendre » un humain, et non pas seulement lire un fichier. C'est là qu'intervient une nouvelle étude, qui tente de construire un meilleur test pour voir si l'IA peut passer du statut de simple preneur de notes à celui de véritable compagnon de compréhension.

Le Problème : L'IA souffre d'amnésie sur « Qui Vous Êtes »

Considérez votre vie numérique comme un immense grenier désordonné rempli de différentes sortes de boîtes. Certaines sont étiquetées « Messages », d'autres « Événements de calendrier », et d'autres encore « Connexions sociales ». Actuellement, la plupart des assistants IA sont comme des bibliothécaires qui ne peuvent sortir qu'une boîte spécifique lorsque vous la demandez. Si vous demandez : « Quel est le numéro de téléphone d'Alice ? », l'IA trouve la boîte « Contacts » et lit le numéro. Facile comme bonjour.

Mais que se passe-t-il si vous demandez : « Suis-je une personne extravertie ? » ou « À quelle fréquence est-ce que je sors habituellement avec des amis le week-end ? ». L'IA ne peut pas simplement ouvrir une seule boîte. Elle doit consulter votre calendrier pour voir les événements de groupe, vérifier vos messages pour voir si vous êtes actif dans les discussions, et scanner vos connexions sociales pour voir combien d'amis vous avez. Elle doit relier les points entre différents types de données pour déceler un schéma. Le problème est que les systèmes d'IA actuels sont très mauvais pour cela. Ils sont excellents pour trouver des faits, mais terribles pour comprendre l'histoire derrière les faits.

Entrée en scène : Setoka, le test ultime pour « Apprendre à vous connaître »

Pour résoudre ce problème, une équipe de chercheurs a créé un nouveau benchmark appelé Setoka. Vous pouvez considérer Setoka comme un immense laboratoire de simulation super organisé. Au lieu d'utiliser les données privées de vraies personnes (ce qui serait un cauchemar pour la vie privée), les chercheurs ont construit une « usine de psychologie ».

Voici comment fonctionne leur usine :

Le Schéma Directeur : D'abord, ils utilisent la science psychologique réelle pour créer 10 personnes fictives. Ils ne se contentent pas de deviner comment ces personnes sont ; ils utilisent un modèle mathématique spécial pour s'assurer que les personnalités sont cohérentes. Par exemple, si une personne fictive est très « extravertie », le calcul garantit qu'elle n'est pas aussi secrètement « timide » d'une manière que les humains réels le sont rarement.
Le Comportement : Ensuite, ils traduisent ces personnalités en habitudes quotidiennes. Si une personne est « extravertie », le système génère un emploi du temps réaliste où elle discute avec des amis tous les deux jours, joue à des jeux multijoueurs quotidiennement et regarde des sitcoms plusieurs fois par semaine.
Les Données Désordonnées : Enfin, ils transforment ces habitudes en un énorme tas de désordre numérique. Ils créent des milliers de faux messages texte, d'entrées de calendrier et de journaux de réseaux sociaux qui s'étendent sur deux mois. C'est la « donnée hétérogène » — un mélange de différents types de fichiers à travers lesquels une IA devrait passer des filtres.

Une fois l'usine en marche, ils posent à l'IA 1 426 questions sur ces personnes fictives. Les questions sont divisées en quatre niveaux de difficulté, comme un jeu vidéo avec des combats de boss croissants :

Niveau 1 (Mémoire Sémantique) : « Quel est le numéro de téléphone d'Alice ? » (Trouver simplement le fait).
Niveau 2 (Mémoire Épisodique) : « Que faisait l'utilisateur la soirée du 20 avril ? » (Combiner une entrée de calendrier, un message texte et un journal de localisation pour reconstruire un événement spécifique).
Niveau 3 (Schéma de Comportement) : « Combien de fois par semaine l'utilisateur socialise-t-il ? » (Observer les semaines de données et compter le total).
Niveau 4 (Trait de Personnalité) : « À quel point l'utilisateur est-il extraverti ? » (Analyser toutes les données sociales, les habitudes de travail et les activités de loisirs pour deviner un trait de personnalité profond).

Ce qu'ils ont trouvé : Le « Chercheur de Faits » vs Le « Lecteur de Pensées »

Les chercheurs ont testé 3 cerveaux d'IA (allant d'un modèle puissant dans le cloud à un modèle plus petit pouvant fonctionner sur un téléphone) couplés à 5 systèmes de mémoire différents (certains organisent les données comme un graphe, d'autres comme une simple liste).

Les résultats ont été un véritable signal d'alarme pour le monde de l'IA :

Les choses faciles sont résolues : Lorsque la question portait simplement sur la recherche d'un fait (Niveau 1), l'IA s'en est très bien sortie. En fait, l'IA n'avait parfois même pas besoin d'un système de mémoire spécial ; elle pouvait simplement consulter les données brutes comme une base de données.
Le juste milieu est difficile : Dès que l'IA devait combiner quelques morceaux d'information pour se souvenir d'un événement spécifique (Niveau 2), les scores ont chuté.
La profondeur est brisée : Lorsque l'IA devait trouver des schémas ou deviner des traits de personnalité (Niveaux 3 et 4), les performances se sont effondrées. Les meilleurs systèmes n'ont réussi qu'environ 24 % des questions de personnalité.

L'étude suggère que le simple fait de faire « mémoriser » plus de faits à l'IA ne suffit pas. Les systèmes actuels sont comme des étudiants qui peuvent mémoriser parfaitement un manuel scolaire mais échouent à la question de rédaction parce qu'ils ne peuvent pas relier les idées. Les chercheurs ont découvert que pour comprendre un utilisateur, une IA doit faire plus que simplement récupérer des données ; elle doit les lier, les agréger au fil du temps et généraliser pour trouver des traits cachés.

La Conclusion

Setoka nous montre que nous sommes encore loin d'avoir une IA qui nous « connaît » vraiment. Bien que nos assistants numériques deviennent meilleurs pour se souvenir de nos numéros de téléphone et de nos heures de réunion, ils ont encore du mal à comprendre nos habitudes et nos personnalités. L'étude suggère que la prochaine grande percée ne viendra pas seulement du fait de donner plus de mémoire à l'IA, mais de lui apprendre à tisser ensemble les morceaux désordonnés et éparpillés de nos vies numériques pour former une image cohérente de qui nous sommes réellement. D'ici là, nos amis IA pourront savoir ce que nous avons fait hier, mais ils ne nous connaîtront toujours pas vraiment.

Résumé Technique : Setoka – Un Référentiel pour la Compréhension Hiérarchique de l'Utilisateur dans les Agents Personnalisés

1. Énoncé du Problème

Les agents personnalisés basés sur les modèles de langage étendu (LLM) sont de plus en plus déployés pour assister les utilisateurs, nécessitant la capacité de récupérer des faits explicites et d'inférer des caractéristiques personnelles abstraites. Cependant, les benchmarks de mémoire existants évaluent principalement la capacité d'un agent à récupérer des informations explicitement énoncées dans les historiques de conversation. Ils échouent à évaluer la compréhension hiérarchique de l'utilisateur, spécifiquement la capacité à intégrer des preuves implicites à travers des sources de données hétérogènes (par exemple, texte non structuré, enregistrements structurés, graphes) pour inférer des attributs d'utilisateurs plus profonds comme les schémas de comportement et les traits de personnalité.

La construction d'un benchmark pour cette tâche fait face à quatre défis principaux :

C1 (Compréhension Hiérarchique de l'Utilisateur) : Les exigences de raisonnement varient de la simple récupération de faits à l'inférence complexe de la personnalité, nécessitant un cadre capable de distinguer ces niveaux.
C2 (Échantillonnage de Personas Réalistes) : Les personas synthétiques doivent refléter des individus cohérents où les combinaisons de traits suivent des corrélations psychologiques réelles, plutôt que des assemblages aléatoires de traits.
C3 (Cartographie Diversifiée des Traits-Comportements) : Un seul trait de personnalité peut se manifester par des comportements divers dans différents contextes ; les méthodes de génération doivent éviter les correspondances stéréotypées.
C4 (Génération Scalable et Cohérente) : Générer des données utilisateur hétérogènes à long terme nécessite de maintenir la cohérence entre les enregistrements et de préserver les contraintes comportementales au fil du temps sans dépassement de contexte.

2. Méthodologie

2.1 Le Cadre Setoka

Setoka définit une hiérarchie à quatre niveaux de compréhension de l'utilisateur, ancrée dans la psychologie cognitive et de la personnalité :

Mémoire Sémantique (MS) : Récupération de faits explicites à partir d'enregistrements uniques (ex: un numéro de téléphone).
Mémoire Épisodique (ME) : Intégration d'enregistrements décrivant un événement spécifique (ex: « Que s'est-il passé le 20 avril ? »).
Schémas de Comportement (SC) : Agrégation d'événements au fil du temps pour identifier des régularités (ex: « À quelle fréquence l'utilisateur socialise-t-il ? »).
Traits de Personnalité (TP) : Généralisation à travers de multiples schémas de comportement et catégories d'événements pour inférer des dispositions latentes (ex: « Quel est le degré d'extraversion de l'utilisateur ? »).

Le cadre formalise la transition entre les niveaux en utilisant quatre opérateurs : sélection ( $\sigma$ ), liaison ( $\lambda$ ), agrégation ( $\gamma$ ) et généralisation ( $\rho$ ). Les ensembles de preuves forment une chaîne imbriquée ( $E_{MS} \subseteq E_{ME} \subseteq E_{SC} \subseteq E_{TP}$ ), où les niveaux supérieurs nécessitent des portées de preuves plus larges et des transformations supplémentaires.

2.2 Pipeline de Génération Basé sur la Psychométrie

Pour répondre aux défis d'une génération de données réalistes et cohérentes, Setoka emploie un pipeline descendant :

Échantillonnage de Traits Sensible aux Corrélations : Au lieu d'échantillonner les traits indépendamment, le pipeline extrait des vecteurs de personnalité (Big Five) d'une distribution gaussienne multivariée. La matrice de covariance est dérivée de corrélations psychométriques méta-analytiques, garantissant que les personas synthétiques reflètent des interdépendances de traits réalistes.
Génération de Comportements Guidée par l'Échelle Psychologique : Pour éviter la génération stéréotypée par les LLM, les vecteurs de traits échantillonnés sont cartographiés vers des schémas de comportement en utilisant des échelles psychologiques validées (spécifiquement le BFI-2). Cela convertit les scores de traits en réponses au niveau des items, qui sont ensuite traduites en schémas de comportement concrets et diversifiés.
Arbre de Génération Ancré sur les Événements : Pour assurer la cohérence à long terme, les schémas de comportement sont étendus en une hiérarchie temporelle d'événements. Les événements enfants sont générés séquentiellement pour préserver la continuité, tandis que les détails sont développés en parallèle. Tous les enregistrements hétérogènes (logs, relations, messages) sont dérivés d'une seule « source de vérité » (l'événement) pour maintenir la cohérence inter-schémas.
Construction de Requêtes : Les instances de test $(q, a, E)$ sont générées automatiquement sur la base de la vérité terrain du processus de génération. Les requêtes sont conçues pour isoler l'opérateur de raisonnement spécifique requis à chaque niveau (ex: récupération par indices partiels pour ME, agrégation statistique pour SC).

2.3 Configuration Expérimentale

Les auteurs ont instancié Setoka avec 10 profils d'utilisateurs synthétiques contenant environ 1 600 enregistrements hétérogènes répartis sur 23 schémas et trois modèles de données (relationnel, graphe, non structuré).

Modèles Évalués : Trois LLM (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
Systèmes de Mémoire : Cinq systèmes représentant différents paradigmes : structurés en graphes (Cognee, HippoRAG 2), basés sur des faits plats (Mem0), et hiérarchiques (MemMachine, Letta).
Baseline : Une baseline DBQuery où le LLM interagit directement avec les bases de données brutes sans construction de mémoire intermédiaire.
Métriques : Scores de similitude par juge LLM pour MS, ME et SC ; coefficient de corrélation de rang de Kendall pour TP (évaluant l'ordonnancement relatif correct des utilisateurs).

3. Résultats Clés

Déclin de Performance avec l'Abstraction : La précision diminue de manière monotone à mesure que le niveau d'abstraction augmente. Les meilleurs scores chutent de 0,85 (MS) à 0,46 (ME), 0,28 (SC) et 0,24 (TP). Les scores moyens suivent une tendance similaire, tombant de 0,37 à 0,07.
Construction de Mémoire vs Récupération Directe :
- DBQuery a surpassé les systèmes de mémoire sur MS (0,85) en récupérant des détails exacts à partir d'enregistrements uniques, mais a mal performé sur ME (0,27) où l'intégration multi-enregistrements était requise.
- MemMachine (hiérarchique) a obtenu le meilleur score ME (0,46), grâce à sa préservation des détails fins combinée à la récupération du contexte temporel.
- Les systèmes structurés en graphes (Cognee, HippoRAG 2) ont généralement surpassé les autres sur les tâches SC et TP, suggérant que la liaison de records liés aide à agréger les comportements récurrents en traits de haut niveau.
Taux de Réponse vs Compétence : Un résultat contre-intuitif est que les taux de réponse augmentent avec l'abstraction (72 % pour MS à 93 % pour TP) tandis que la précision diminue. Cela indique que les modèles sont plus susceptibles de « deviner » des traits abstraits lorsque les preuves manquent, alors qu'ils s'abstiennent de répondre à des questions factuelles concrètes si les preuves sont absentes.

4. Contributions et Signification

L'article revendique les contributions suivantes :

Identification d'une Limite : Il souligne que les benchmarks existants évaluent inadéquatement la compréhension multi-niveau de l'utilisateur requise pour les agents personnalisés, particulièrement concernant l'intégration de données hétérogènes.
Premier Cadre Ancré sur la Psychologie : Setoka introduit le premier cadre couvrant les mémoires concrètes jusqu'aux caractéristiques abstraites, définissant explicitement la portée de l'évidence et les opérations de raisonnement pour chaque niveau.
Pipeline Basé sur la Psychométrie : Il développe un pipeline de génération scalable qui produit des données utilisateur hétérogènes cohérentes et traçables, ancrées dans la théorie psychologique, permettant des requêtes spécifiques par niveau avec des preuves vérifiables.
Évaluation Complète : À travers l'évaluation de 3 modèles et 5 systèmes de mémoire, l'article démontre que la simple récupération de faits est insuffisante pour une compréhension profonde de l'utilisateur.

Signification :
Les auteurs concluent que les mécanismes de mémoire actuels sont insuffisants pour les tâches nécessitant l'intégration de sources croisées et l'abstraction sur le comportement à long terme. Les résultats motivent la conception de systèmes de mémoire capables de lier, agréger et généraliser les preuves de l'utilisateur au-delà du rappel littéral. Setoka sert de banc d'essai pour stimuler le progrès dans ces domaines, montrant que si la récupération s'améliore, la capacité à inférer des attributs latents à partir de données fragmentées et hétérogènes reste un défi majeur non résolu.