🤖 AI

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

L'article présente OmniToM, un nouveau benchmark qui évalue les capacités de théorie de l'esprit des grands modèles de langage en exigeant une modélisation explicite et multidimensionnelle des structures de croyance des acteurs plutôt qu'en se fiant uniquement aux performances finales de réponse aux questions, révélant ainsi que les modèles actuels peinent avec le raisonnement spécifique nécessaire pour transformer les faits narratifs en représentations précises des états mentaux.

Auteurs originaux : Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un tour de magie. Le magicien fait disparaître une balle d'une boîte et la fait réapparaître dans un panier. Un test standard pour une IA (un modèle de langage de grande taille) consisterait simplement à demander : « Où est la balle ? » Si l'IA répond « Le panier », elle obtient une étoile dorée.

Mais voici le problème : l'IA pourrait avoir deviné la bonne réponse sans réellement comprendre l'histoire. Elle pourrait ne pas savoir qui a vu la balle bouger, qui ne l'a pas vue, ou ce que chaque personne pense qu'il se passe. C'est comme un élève qui a mémorisé la clé des réponses mais ne comprend pas les mathématiques.

OmniToM est un nouvel « examen » conçu pour empêcher l'IA de tricher en devinant. Au lieu de simplement demander la réponse finale, il force l'IA à montrer son travail en construisant une « carte mentale » détaillée des pensées de chaque personnage.

Voici comment l'article le décompose, en utilisant des analogies simples :

1. Le Problème : La « Boîte Noire » de la Pensée

Les tests actuels ressemblent à noter un élève uniquement sur la note finale de sa dissertation. Si la dissertation est bonne, vous ne savez pas si l'élève a réellement compris les sentiments des personnages ou s'il a simplement utilisé des mots sophistiqués pour paraître intelligent.

L'Affirmation de l'Article : Les tests existants (appelés « QA de point final ») ne vérifient que la réponse finale. Ils ne peuvent pas voir si l'IA suit réellement qui sait quoi, qui ment ou qui se trompe.

2. La Solution : La « Carte Mentale » (OmniToM)

Les chercheurs ont créé un nouveau référentiel appelé OmniToM. Au lieu de demander « Où est la balle ? », ils demandent à l'IA de dessiner une carte du cerveau de chacun.

Pensez-y comme à un script de réalisateur pour un film. Un réalisateur ne se soucie pas seulement de l'intrigue ; il se soucie de ce que chaque acteur croit à chaque instant.

La Tâche : L'IA doit lire une histoire et écrire une liste de « propositions de croyance ». Ce sont de petites phrases simples comme : « Bob pense que la balle est dans la boîte » ou « Alice sait que la balle est dans le panier ».

3. L'Examen en Deux Étapes

OmniToM teste l'IA en deux phases distinctes, comme un entretien en deux parties :

Étape 1 : Le Détective (Extraction des Croyances)

Le Travail : L'IA lit l'histoire et doit trouver chaque pensée détenue par chaque personnage.
Le Défi : Il ne suffit pas de dire « Bob est triste ». L'IA doit comprendre pourquoi Bob est triste en fonction de ce que Bob a vu, entendu ou remembered.
Le Résultat : L'article a révélé que les IA sont correctes pour trouver les faits (par exemple, « La balle est dans le panier »), mais elles peinent à attribuer ces faits au cerveau de la bonne personne. Elles oublient souvent que Bob n'a pas vu la balle bouger, donc il ne devrait pas savoir qu'elle est dans le panier.

Étape 2 : Le Bibliothécaire (Étiquetage des Croyances)

Le Travail : Une fois que l'IA a listé les pensées, elle doit les étiqueter avec un « code-barres » à sept dimensions.
L'Analogie : Imaginez un bibliothécaire organisant des livres. Il ne se contente pas de les ranger sur une étagère ; il les étiquette avec :
- Ordre : S'agit-il d'une pensée simple (« J'ai faim ») ou complexe (« Je pense que tu penses que j'ai faim ») ?
- Vérité : Cette pensée est-elle réellement vraie, ou le personnage se trompe-t-il ?
- Accès : Le personnage a-t-il vu cela se produire, ou l'a-t-il simplement deviné ?
- Source : L'a-t-il entendu de quelqu'un, s'en souvient-il, ou l'a-t-il imaginé ?
Le Résultat : L'IA est étonnamment bonne pour les étiquettes simples (comme « Est-ce vrai ? ») mais terrible pour les étiquettes « Accès ». Elle peine à se souvenir de qui avait accès à quelles informations.

4. La Grande Découverte : Le « Goulot d'Étranglement de l'Information »

La découverte la plus importante de l'article est que les modèles d'IA actuels ont un « angle mort » spécifique.

La Métaphore : Imaginez un groupe de personnes dans une pièce. Une personne part, et une autre déplace un objet secret. L'IA peut décrire la pièce parfaitement. Mais lorsqu'on lui demande : « Ce qui est dans la pièce, selon ce que pense la personne qui est partie ? », l'IA se perd.
L'Affirmation : L'IA échoue non pas parce qu'elle ne peut pas lire l'histoire, mais parce qu'elle ne peut pas suivre qui sait quoi. Elle peine à séparer « ce qui se passe réellement » de « ce qu'un personnage spécifique croit qui se passe ».

5. Comment Ils L'Ont Construit

Pour créer ce test, les chercheurs ont pris 895 histoires existantes et ont fait étiqueter plus de 22 000 pensées spécifiques par des humains (et des assistants IA intelligents).

Le Processus : Ils ont utilisé un système « calibré ». Des humains ont vérifié un petit lot pour enseigner à l'IA comment étiqueter correctement les choses, puis l'IA a aidé à étiqueter le reste, les humains vérifiant le travail en double. Cela a assuré que les réponses « étalon-or » étaient exactes.

Résumé

OmniToM est une nouvelle façon de tester l'IA qui l'empêche de simplement deviner la bonne réponse. Il force l'IA à construire une carte détaillée des pensées, des croyances et des connaissances de chacun. L'article montre que, bien que l'IA s'améliore dans la lecture, elle peine toujours à comprendre le jeu social complexe de « qui sait quoi », qui est au cœur de l'intelligence sociale humaine.

Note sur les Limites : L'article indique explicitement que ce test concerne uniquement les histoires basées sur du texte. Il ne prétend pas que l'IA peut comprendre les situations sociales réelles, les émotions dans les interactions face à face, ou des scénarios réels complexes. C'est strictement un outil pour mesurer la capacité d'une IA à suivre les croyances dans les récits écrits.

Résumé Technique : OmniToM

Énoncé du Problème

Les benchmarks actuels pour évaluer la Théorie de l'Esprit (ToM) dans les Grands Modèles de Langage (LLM) reposent principalement sur le répondre à des questions de type point final (QA). Dans ce paradigme, un modèle est confronté à un récit et noté uniquement sur la base de sa capacité à produire la bonne réponse finale à une requête de raisonnement social (par exemple, « Où Bob va-t-il chercher ? »). Les auteurs soutiennent que cette approche obscurcit le processus cognitif sous-jacent : un modèle peut répondre correctement en exploitant des stratégies de raccourci ou des artefacts du benchmark sans pour autant construire les représentations d'états mentaux multi-acteurs nécessaires.

Plus précisément, le QA de point final échoue à révéler si un modèle peut suivre :

Ce que chaque acteur considère comme vrai par rapport à ce qui est objectivement réel.
Comment l'information est distribuée (qui a accès à quoi).
La nature récursive des croyances (par exemple, « Bob croit qu'Alice pense... »).
La distinction entre les déclarations explicites et les inférences implicites.

Par conséquent, les benchmarks existants ne peuvent pas diagnostiquer pourquoi un modèle échoue — s'il a manqué un acteur pertinent, mis à jour une croyance incorrectement, mal identifié l'accès à l'information, ou mal étiqueté la source d'un état mental.

Méthodologie

Formulation du Benchmark OmniToM

OmniToM comble cette lacune en déplaçant l'évaluation des réponses finales vers la modélisation explicite de la structure des croyances. Le benchmark opérationnalise le raisonnement ToM comme un processus en deux étapes :

Étape 1 : Extraction des Croyances
- Tâche : Étant donné un récit $S$ , le modèle doit extraire un ensemble structuré de propositions de croyances $B$ .
- Structure : Chaque proposition est un tuple $(a_i, b_i, o_i)$ , où $a_i$ est l'acteur (ou « monde » pour les faits narrés), $b_i$ est le contenu minimal de la croyance, et $o_i$ est l'ordre récursif ($0$ pour les faits du monde, $1$ pour les croyances du premier ordre, $2+$ pour les croyances d'ordre supérieur).
- Objectif : Retrouver l'ensemble complet des croyances spécifiques aux acteurs pertinentes pour la dynamique sociale du récit, y compris les faits du monde, les croyances du premier ordre sur le monde, et les croyances d'ordre supérieur sur les états mentaux d'autres acteurs.
Étape 2 : Étiquetage des Croyances
- Tâche : Étant donné les propositions extraites, le modèle attribue une étiquette de schéma à sept dimensions à chacune.
- Schéma : Fondé sur ATOMS (Abilities in Theory of Mind Space), le schéma décompose chaque proposition en :
  - Ordre : Profondeur récursive ($0 $–$ 3$).
  - Statut de Vérité : Alignement avec la réalité narrative (Vrai, Faux, Inconnu).
  - Accès aux Connaissances : Distribution de l'information (Privée, Partagée, Publique).
  - Représentation : Explicite vs Implicite (énoncé vs inféré).
  - Type de Contenu : Sujet (Lieu, Épistémique, Désir, Émotion, etc.).
  - Source Mentale : Méthode d'acquisition (Narration, Perception, Mémoire, Témoignage, Inférence, Imagination).
  - Contexte : Conditions de cadrage (Trompeur, Temporel, Contrefactuel, Neutre).

Construction du Benchmark

Données Sources : Dérivées de ToMBench, conservant 895 histoires de sept catégories à fort volume (par exemple, Tâche de Croyance Fausse, Reconnaissance de Faux-pas, Tâche d'Indication).
Pipeline d'Annotation : En raison du coût élevé de l'annotation manuelle pour 22 343 propositions de croyances, les auteurs ont employé un pipeline assisté par LLM et calibré par l'humain.
- Un sous-ensemble de calibration (21 histoires) a été annoté manuellement par des experts du domaine.
- Juge Sémantique : GPT-5 a été sélectionné comme juge sémantique pour l'évaluation de l'Étape 1 en raison de son fort accord (72,03 %) avec les décisions d'alignement sémantique humaines.
- Modèle d'Annotation : Claude-Sonnet-4.5 a été sélectionné comme modèle d'annotation principal après avoir obtenu les performances de calibration les plus fortes (72,88 % de F1 à l'Étape 1, 93,62 % de précision à l'Étape 2).
Échelle : Le benchmark final contient 895 histoires et 22 343 propositions de croyances étiquetées, totalisant 156 401 étiquettes de schéma.

Protocole d'Évaluation

Étape 1 (Extraction) : Mesurée via le score F1 en utilisant une métrique d'alignement sémantique (MatchCount) plutôt qu'une correspondance stricte de chaînes. Cela prend en compte le reformulation et les croyances composées.
Étape 2 (Étiquetage) : Mesurée via la précision de correspondance exacte pour les étiquettes de schéma à sept dimensions.
Lignes de Base : Évaluées sur divers modèles open-source et closed-source (par exemple, Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) dans des conditions zero-shot utilisant des invites de niveau TELeR 3.

Résultats Clés

L'évaluation révèle un goulot d'étranglement constant dans le suivi de l'information spécifique à l'acteur à travers tous les modèles :

Performance d'Extraction (Étape 1) :
- Le modèle le plus performant a atteint un F1 macro de 57,69 %.
- Les performances chutent considérablement lors du passage de l'Ordre 0 (faits du monde) à l'Ordre 1 et à l'Ordre 2+ (croyances des acteurs). Les modèles peinent à mapper les faits du récit vers les perspectives spécifiques des acteurs.
Performance d'Étiquetage (Étape 2) :
- La précision globale d'étiquetage a atteint 85,95 %.
- Cependant, les erreurs ne sont pas uniformes. Les précisions les plus faibles sont observées dans l'Accès aux Connaissances (56,13–74,59 %) et la Représentation (54,33–87,58 %).
- Les croyances d'Ordre 1 sont les plus difficiles à étiqueter correctement (71,2 % de précision globale), en particulier concernant qui a accès à l'information et si une croyance est explicite ou inférée.
Identification du Goulot d'Étranglement :
- Le mode d'échec principal n'est pas un manque de compréhension générale du langage, mais un échec à suivre les conditions d'information : déterminer quels faits chaque acteur connaît, comment cette connaissance a été acquise (perception vs inférence), et comment elle évolue dans le temps.
- Les modèles échouent souvent à distinguer ce qui est vrai dans le monde de ce qu'un acteur croit être vrai, en particulier lorsque cette croyance est obsolète ou fausse.

Importance et Revendications

L'article affirme qu'OmniToM opère un changement nécessaire de l'évaluation fondée sur les résultats vers une évaluation fondée sur le processus de la ToM dans les LLM.

Puissance Diagnostique : En rendant les représentations d'états mentaux inspectables, OmniToM permet aux chercheurs de localiser des échecs de raisonnement spécifiques (par exemple, « le modèle n'a pas mis à jour la croyance car il a mal identifié l'accès à l'information ») plutôt que de simplement constater une mauvaise réponse.
Exposition des Limites : Le benchmark expose une limitation que le QA de point final peut masquer : un raisonnement ToM robuste nécessite le suivi des conditions d'information qui donnent naissance aux états mentaux, une capacité avec laquelle les LLM actuels peinent.
Portée : Les auteurs présentent modestement OmniToM comme un outil d'évaluation pour des scénarios contrôlés et basés sur le texte. Ils déclarent explicitement que le benchmark ne certifie pas l'intelligence sociale réelle, la fiabilité interpersonnelle ou la sécurité dans des contextes à haut risque (par exemple, domaines cliniques ou juridiques).
Travaux Futurs : Les auteurs suggèrent que les orientations futures incluent l'expansion vers des récits plus riches, des ensembles d'extraction plus vastes audités par l'humain, et la gestion de l'imbrication des croyances au-delà de l'ordre 3, tout en reconnaissant les limitations actuelles en matière de raisonnement multimodal et de suivi à long horizon.

En résumé, OmniToM démontre que si les LLM peuvent souvent récupérer les faits narratifs, ils manquent actuellement du mécanisme robuste pour transformer ces faits en représentations d'états mentaux précises, spécifiques aux acteurs et évolutives dans le temps.