💻 computer science

Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

Cet article présente StorySim, un cadre programmable pour générer des invites d'histoires nouvelles et exemptes de contamination afin d'évaluer les grands modèles de langage, révélant qu'ils obtiennent généralement de meilleurs résultats dans la modélisation du monde que dans les tâches de théorie de l'esprit et qu'ils s'appuient souvent sur des heuristiques plutôt que sur un raisonnement approfondi.

Auteurs originaux : Nathaniel Getachew, Abulhair Saparov

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nathaniel Getachew, Abulhair Saparov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment comprendre les pensées humaines. Vous voulez savoir si le robot peut deviner ce que quelqu'un d'autre pense, même si les pensées de cette personne sont erronées. Cette capacité s'appelle la Théorie de l'Esprit (ToM).

Pendant longtemps, les scientifiques ont testé des robots (des Modèles de Langage à Grande Échelle ou LLM) en utilisant une histoire classique pour enfants appelée « Sally-Anne ». Dans cette histoire, Sally cache un jouet, quitte la pièce, et Anne déplace le jouet. Lorsque Sally revient, où cherche-t-elle ? Un humain sait que Sally cherchera à l'endroit d'origine car elle ne sait pas que le jouet a bougé. Mais si vous modifiez l'histoire ne serait-ce qu'un tout petit peu, ces robots sont souvent confus, ce qui suggère qu'ils pourraient simplement mémoriser l'histoire plutôt que de vraiment comprendre les esprits des personnages.

Pour résoudre ce problème, les auteurs de cet article ont créé un nouvel outil appelé StorySim. Imaginez StorySim comme un ensemble de LEGO programmable pour les histoires.

L'Ensemble de LEGO (StorySim)

Au lieu d'écrire une histoire à la main ou de demander à une autre IA de l'écrire (ce qui pourrait accidentellement copier des éléments que le robot a déjà vus), les chercheurs utilisent un « Storyboard ».

Le Storyboard : C'est un plan strict. Il indique : « Le personnage A entre dans la pièce 1 à la minute 1. Le personnage B entre dans la pièce 2 à la minute 2. » Il contrôle exactement qui voit quoi et quand.
Le Constructeur : Le système remplit le reste de l'histoire automatiquement, en veillant à ce que les règles ne soient jamais enfreintes. Parce que les histoires sont construites à partir de zéro à l'aide de ces plans, les robots ne les ont jamais vues auparavant. C'est comme construire un tout nouveau puzzle à chaque fois que vous jouez.

Le Test : Esprit contre Carte

Les chercheurs ont utilisé cet ensemble de LEGO pour mener trois types de tests différents sur divers modèles d'IA :

Le test « Esprit » (Théorie de l'Esprit) : Ils ont demandé : « Où Bob pense-t-il qu'Anne se trouve ? » Pour répondre à cela, le robot doit ignorer la vérité réelle et suivre ce que Bob a vu et ce qu'il croit.
Le test « Carte » (Modélisation du Monde) : Ils ont demandé : « Où Anne est-elle allée en réalité ? » Cela demande simplement au robot de se souvenir des faits de l'histoire, comme suivre un objet en mouvement sur une carte.
Le test « Objet » : Ils ont posé la même question « Carte », mais au lieu de personnes, l'histoire portait sur des objets inanimés (comme une balle déplacée). Cela vérifie si le robot traite les personnes différemment des objets.

Ce qu'ils ont découvert

Les résultats étaient un peu surprenants, comme découvrir qu'un élève qui a réussi l'examen de mathématiques lutte avec l'énigme logique :

Les robots sont meilleurs avec les Cartes qu'avec les Esprits : La plupart des modèles d'IA étaient beaucoup meilleurs pour suivre où les choses ont réellement été (Modélisation du Monde) que pour deviner ce qu'un personnage pensait qu'il se passait (Théorie de l'Esprit). Ils pouvaient suivre l'intrigue, mais ils avaient du mal à se mettre à la place d'un personnage.
Personnes contre Objets : Les robots étaient légèrement meilleurs pour suivre les mouvements de personnes que d'objets. Il semble que les modèles soient « préparés » à prêter plus d'attention aux personnages humains, peut-être parce qu'ils sont entraînés sur tant de conversations humaines.
Le piège de la « Récence » : Les chercheurs craignaient que les robots ne trichent en devinant simplement le dernier endroit où ils ont vu quelqu'un. Ils ont testé cela en faisant en sorte que le « mensonge » de l'histoire se produise il y a longtemps. Surprenamment, les robots ne semblaient pas tomber dans ce piège simple de « deviner le dernier événement » autant que prévu.
L'habitude de la « Première Rencontre » : Lorsque les robots ont échoué au test « Esprit », ils ont souvent fait une erreur spécifique : ils ont deviné l'endroit où les personnages se sont rencontrés pour la première fois, plutôt que l'endroit où ils se sont vus pour la dernière fois. C'est comme un élève qui se souvient du premier jour de classe mais oublie ce qui s'est passé hier.

La Grande Image

L'article conclut que, bien que l'IA moderne devienne plus intelligente dans le raisonnement, elle lutte toujours pour comprendre véritablement les « états mentaux » des autres. Elle peut suivre parfaitement les événements d'une histoire, mais lorsqu'on lui demande d'imaginer ce qu'un personnage pense (surtout si cette pensée est erronée), elle échoue souvent.

Les auteurs ont créé StorySim non pas pour donner aux robots une note finale, mais pour leur offrir un test équitable et frais sur lequel ils ne pourraient pas tricher en mémorisant d'anciennes réponses. Ils espèrent que cet outil aidera les futurs chercheurs à construire une IA capable de vraiment comprendre les perspectives humaines, et pas seulement de réciter des faits.

1. Énoncé du problème

Les grands modèles de langage (LLM) ont montré des améliorations significatives dans les tâches de raisonnement (mathématiques, codage, logique), mais leur capacité à raisonner sur la Théorie de l'Esprit (ToM) — la capacité d'attribuer des états mentaux, des croyances et des perspectives à autrui — reste incertaine.

Contamination des données : Les benchmarks ToM existants (par exemple, le test de Sally-Anne, TOMI) sont probablement présents dans les données de préentraînement des LLM modernes. Par conséquent, les modèles peuvent « mémoriser » les réponses plutôt que de raisonner véritablement, ce qui conduit à des métriques de performance gonflées.
Manque de contrôle : Les benchmarks synthétiques antérieurs reposent souvent sur des LLM pour générer eux-mêmes les histoires, ce qui introduit des incohérences et rend difficile l'isolation de variables spécifiques (par exemple, la perspective d'un personnage par rapport au timing des événements).
Le vide : Il existe un besoin d'un cadre robuste et exempt de contamination pour évaluer si les LLM peuvent véritablement modéliser des états mentaux ou s'ils reposent sur des heuristiques (comme le biais de récence) et la mémorisation.

2. Méthodologie : Le cadre StorySim

Les auteurs introduisent StorySim, un cadre synthétique programmable conçu pour générer des histoires nouvelles afin d'évaluer les capacités de ToM et de Modélisation du Monde (WM).

Composants principaux

Le STORYBOARD : Une spécification symbolique de haut niveau définie comme $D = (C, \phi, G, E, n)$ $D = (C, ϕ, G, E, n)$ , où :
- $C$ : Ensemble de personnages.
- $G$ : Un graphe orienté représentant les lieux et la connectivité.
- $E$ : Un ensemble d'événements clés déterministes et horodatés (par exemple, « Le personnage A se déplace vers la Chambre 2 à $t=5$ »).
- $n$ : Nombre total d'événements.
- $\phi$ : Types d'actions (par exemple, entrer, se déplacer).
Processus de génération :
1. Génération symbolique : StorySim génère une séquence d'événements qui adhère strictement aux contraintes du STORYBOARD. Il remplit les détails non déterministes de manière aléatoire tout en assurant la cohérence logique (par exemple, les personnages ne peuvent se déplacer que vers des lieux adjacents).
2. Traduction : Les événements sont convertis en langage naturel à l'aide de modèles.
3. Paraphrase (optionnelle) : Les histoires peuvent être davantage paraphrasées par un LLM (GPT-4o-mini) pour augmenter le naturalisme linguistique, bien que la logique centrale reste ancrée au storyboard symbolique.
Nouveauté : Comme les histoires sont générées algorithmiquement avec des contraintes spécifiques et des variations aléatoires, la probabilité qu'une histoire générée apparaisse dans les données de préentraînement est « astronomiquement faible ».

Conception expérimentale

Les auteurs ont conçu trois types de prompts spécifiques pour isoler différentes capacités cognitives :

Prompt ToM : Demande la croyance d'un personnage concernant l'emplacement d'un autre (par exemple, « Où Bob pense-t-il qu'Alice est ? »). Cela teste la capacité à modéliser une perspective qui diffère de la réalité.
Prompt WM-Human : Demande l'emplacement objectif d'un personnage basé sur les événements observés (par exemple, « Où Alice est-elle allée quand Bob était dans la pièce ? »). Cela teste la modélisation du monde sans nécessiter de prise de perspective.
Prompt WM-Inanimate : Similaire à WM-Human mais utilise des objets inanimés déplacés par des forces externes. Cela teste si le raisonnement du modèle est sensible à la nature « animée » des agents.

Variables clés manipulées :

Distance de tromperie (Mislead Distance) : Le nombre d'étapes temporelles entre la dernière fois qu'un personnage ( $S1$ ) a vu un autre ( $T$ ) se déplacer et l'emplacement final de $T$ . Cela teste le biais de récence (prédire l'emplacement le plus récent plutôt que le dernier emplacement observé).
Ordre de la ToM : Premier ordre (A pense que B est à X) contre deuxième ordre (A pense que B pense que C est à X).
Nombre de personnages : Faire varier le nombre de personnages pour tester la généralisation au-delà des structures d'histoires simples et familières.

3. Contributions clés

Cadre StorySim : Un benchmark synthétique entièrement contrôlable qui élimine les risques de contamination des données et permet une manipulation précise des variables narratives (perspective, timing, structure du graphe).
Découplage de la ToM et de la WM : L'étude fournit une méthode pour évaluer la ToM indépendamment de la modélisation générale du monde, révélant que les modèles excellent souvent dans le suivi des événements physiques (WM) mais échouent dans le suivi des états mentaux (ToM).
Identification des heuristiques : Le cadre a permis d'identifier des modes d'échec spécifiques, tels que l'heuristique de la première localisation commune (prédire où les personnages se sont rencontrés pour la première fois plutôt que où ils se trouvent actuellement) et le biais de récence.
Évaluation complète : Le papier évalue une large gamme de modèles (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) dans des configurations zero-shot et few-shot.

4. Résultats clés

Discrépance ToM vs WM : La plupart des modèles ont obtenu une précision plus élevée sur les tâches de Modélisation du Monde (WM) que sur les tâches de Théorie de l'Esprit (ToM). Cela suggère que les LLM sont meilleurs pour suivre les états physiques que pour simuler les perspectives subjectives d'autrui.
Effet « Humain » : Les modèles ont obtenu des résultats significativement meilleurs sur les tâches WM impliquant des sujets humains par rapport à des objets inanimés, suggérant que la présence d'« agents » déclenche des voies de raisonnement différentes (et plus précises).
Corrélation avec la taille du modèle :
- Dans la famille Llama 3.1, il y avait une corrélation positive claire entre la taille du modèle (paramètres) et les performances en ToM.
- DeepSeek R1 a montré la précision ToM globale la plus élevée et l'écart le plus faible entre les performances ToM et WM.
- GPT-5.4 excellait en WM mais peinait en ToM, soulignant que la puissance de raisonnement brute n'équivaut pas automatiquement au raisonnement social.
Échec du test de Sally-Anne : Lorsqu'ils ont été testés sur une configuration standard de Sally-Anne, les modèles ont atteint 100 % de précision. Cependant, lorsqu'ils ont été testés sur des histoires générées aléatoirement de même longueur, la précision a chuté considérablement (par exemple, à environ 75-87 %), confirmant que le test classique est un mauvais indicateur de la ToM véritable en raison de la contamination des données.
Dépendance aux heuristiques :
- Biais de récence : L'étude n'a trouvé aucune preuve significative que les modèles reposent sur le biais de récence (prédire le dernier emplacement connu) comme mode d'échec principal ; les performances sont restées stables sur des « distances de tromperie » variables.
- Heuristique de la première localisation commune : Un motif d'erreur dominant consistait à prédire l'emplacement où les personnages se sont d'abord croisés, plutôt que de suivre leurs mouvements réels.
- Problèmes de longueur de contexte : Les modèles axés sur le raisonnement (comme R1) ont souvent échoué en raison d'une longueur de contexte insuffisante lors de la génération de chaînes de pensée longues, entraînant un « refus de prompt » ou des erreurs hallucinées.
Complexité : Augmenter le nombre de personnages dans une histoire n'a pas dégradé significativement les performances ToM pour les modèles de premier plan, suggérant une robustesse dans la gestion de graphes sociaux complexes.

5. Importance et travaux futurs

Redéfinition des benchmarks : Le papier soutient que le domaine doit s'éloigner des jeux de données statiques et potentiellement contaminés (comme Sally-Anne) vers des benchmarks synthétiques dynamiques comme StorySim pour évaluer véritablement les capacités des LLM.
Implications pour la sécurité : L'absence d'une ToM robuste est une préoccupation critique pour la sécurité. Si un LLM ne peut pas comprendre qu'un utilisateur a une perspective différente ou une intention cachée, il peut échouer à détecter des scénarios nuisibles ou manipuler des utilisateurs.
Voies futures : Les auteurs suggèrent d'utiliser StorySim pour explorer des scénarios plus complexes, y compris le raisonnement contrefactuel, l'attribution d'objectifs et la modélisation des préférences. Ils soulignent également la nécessité d'améliorer la gestion du contexte des modèles pour soutenir des chaînes de raisonnement plus profondes requises pour des tâches ToM complexes.

En conclusion, le papier démontre que, bien que les LLM s'améliorent, ils continuent de lutter avec le saut cognitif spécifique requis pour la Théorie de l'Esprit, reposant souvent sur des heuristiques ou échouant à distinguer les états objectifs du monde des croyances subjectives. StorySim fournit l'outil nécessaire pour mesurer et améliorer rigoureusement ces capacités.