Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

Résumé Technique : Au-delà de Sally-Anne : Évaluer la Théorie de l'Esprit dans les LLM via des points de Schelling épistémiques

Énoncé du problème
Les évaluations actuelles de la Théorie de l'Esprit (ToM) dans les modèles de langage de grande taille (LLM) reposent principalement sur des tests cognitifs statiques et textuels adaptés de la psychologie humaine, tels que la tâche de fausse croyance de Sally-Anne. Les auteurs soutiennent que ces critères de référence souffrent de deux défauts méthodologiques critiques :

1. Contamination par pré-entraînement : Les LLM peuvent « tricher » dans ces tests en reconnaissant les structures de tâches ou les indices linguistiques issus de leurs données d'entraînement, plutôt qu'en inférant réellement des états mentaux.
2. Manque de robustesse fonctionnelle : Une haute performance sur des benchmarks statiques n'indique pas nécessairement la capacité d'appliquer la ToM dans des contextes dynamiques et naturalistes. Plus précisément, il reste incertain si les modèles peuvent suivre de manière cohérente les états mentaux pour prendre des décisions contextuellement appropriées dans des scénarios interactifs.

La littérature existante suggère que, bien que les LLM réussissent bien dans ces tâches, la robustesse de leurs inférences et leur capacité de raisonnement social généralisé et interactif ne sont pas vérifiées.

Méthodologie : La tâche de Schelling épistémique (A)symétrique (EAST)
Pour remédier à ces limitations, les auteurs introduisent EAST, un jeu de coordination textuel à deux joueurs conçu pour évaluer la ToM fonctionnelle.

• Mécanique du jeu : Deux agents LLM, chacun recevant une identité distincte (par exemple, un tailleur et un chirurgien), se voient présenter une liste de quatre mots : deux mots spécifiques à la persona ($w_{p1}, w_{p2}$), un mot partagé ($w_s$), et un mot non lié de haute fréquence ($w_u$). Les agents doivent sélectionner indépendamment le même mot sans communication.
• Conditions épistémiques : La tâche fait varier la « transparence épistémique » entre les joueurs pour tester différents niveaux de raisonnement social :
  • Symétrique : Les deux joueurs connaissent l'identité de l'autre. La solution normative est le mot partagé ($w_s$).
  • Asymétrique : Seul le Joueur 1 connaît l'identité du Joueur 2 ; le Joueur 2 est « aveugle ». La solution normative exige que le Joueur 1 modélise l'ignorance du Joueur 2 pour sélectionner le mot de la persona du Joueur 2 ($w_{p2}$), tandis que le Joueur 2 doit anticiper l'accommodation du Joueur 1.
  • Connaissance nulle : Aucun des deux joueurs ne connaît l'identité de l'autre. La solution normative est le mot non lié ($w_u$), car toute association spécifique à une persona est épistémiquement arbitraire.
• Configuration expérimentale : L'étude a évalué 14 modèles, allant de 1B à 31B de paramètres (incluant des modèles à poids ouverts comme Gemma, Llama, Mistral, Qwen et DeepSeek) ainsi que des modèles de pointe (Gemini 3.1 Pro). Chaque modèle a joué 90 parties à travers 10 scénarios, trois conditions épistémiques et trois stratégies de prompting (Direct, Chaîne de pensée standard, et ToM stratégique).
• Analyse : Les auteurs ont utilisé une approche de l'LLM comme juge pour annoter les traces de raisonnement selon la profondeur de la ToM (allant de l'inférence superficielle à la ToM récursive) et la cohérence avec les contraintes épistémiques. Ils ont également catégorisé les échecs de coordination en erreurs cognitives spécifiques, incluant les erreurs d'identité/sémantique, les erreurs de suivi épistémique et les échecs d'exécution stratégique.

Résultats clés

1. Écart de capacité : Un écart de performance significatif existe entre les modèles de pointe et les modèles plus petits ou à poids ouverts. Seuls les modèles de pointe (spécifiquement Gemini 3.1 Pro) ont réussi à naviguer les exigences de raisonnement social à travers toutes les conditions. Les modèles plus faibles ont systématiquement échoué dans les conditions plus exigeantes cognitivement que sont l'Asymétrie et la Connaissance nulle.
2. Le suivi épistémique comme goulot d'étranglement : Le principal moteur de l'échec a été identifié comme étant les erreurs de suivi épistémique. Les modèles ont fréquemment confondu leur propre connaissance privée avec la connaissance mutuelle ou ont échoué à représenter avec précision l'état épistémique du partenaire. Par exemple, dans la condition Asymétrique, les joueurs « sachant » ont souvent échoué à rendre compte de l'ignorance du joueur « aveugle », sélectionnant leur propre mot de persona au lieu de celui du partenaire.
3. Raisonnement vs Performance : Bien que le prompting par Chaîne de pensée (CoT) et la ToM stratégique aient réduit les correspondances « accidentelles » ou heuristiques, un raisonnement plus profond n'a traduit son succès en coordination que pour les modèles les plus capables. Les modèles plus faibles se sont souvent engagés dans un raisonnement de ToM incohérent qui contredisait les contraintes épistémiques du prompt.
4. Limites des benchmarks statiques : L'étude démontre qu'une haute performance sur les benchmarks traditionnels ne corrèle pas avec la capacité de réaliser une inférence sociale robuste dans des contextes interactifs où les agents doivent supprimer les biais autoréférentiels pour parvenir à la coordination.

Signification et contributions
L'article apporte quatre contributions principales :

1. Benchmark EAST : Il introduit un nouveau benchmark multi-agents qui atténue la contamination par pré-entraînement et évalue le raisonnement social robuste sous diverses contraintes épistémiques.
2. Preuve empirique des écarts : Il révèle un écart de capacité significatif dans le raisonnement social robuste à travers le paysage actuel des modèles, soulignant que même les grands modèles peinent avec la ToM fonctionnelle dans des environnements d'information asymétriques.
3. Analyse diagnostique : À travers l'analyse des traces de raisonnement, il identifie les erreurs de suivi épistémique (spécifiquement l'échec à découpler la connaissance de soi de la connaissance de l'autre) comme un goulot d'étranglement critique.
4. Directions futures : Les auteurs proposent la robustesse épistémique — la capacité de maintenir des représentations robustes des états épistémiques d'autrui et de les découpler de ses propres — comme une cible concrète pour l'évaluation et l'alignement futurs des modèles. Ils suggèrent que l'entraînement dans des environnements multi-agents interactifs, où la prise de perspective est intrinsèque au succès, pourrait être plus efficace que le fine-tuning sur des récits statiques.

Les auteurs maintiennent une position modeste, notant que EAST est une première itération consolidée du paradigme. Ils reconnaissent les limites telles que l'utilisation de dyades homogènes (auto-jeu) et l'absence d'information trompeuse, suggérant que les travaux futurs devraient explorer les interactions hétérogènes et le bruit adversaire pour tester davantage ces capacités.