Résumé technique : Les LLM et leur Théorie de l'Esprit limitée

Énoncé du problème

La performance efficace des équipes humaines repose sur un Modèle Mental Partagé (MMP), c'est-à-dire une compréhension cohérente entre les membres de l'équipe concernant les tâches, les objectifs et les états de croyances latents. Alors que les humains saisissent implicitement le sous-texte des dialogues situés (hypothèses, intentions et connaissances), il reste incertain si les grands modèles de langage (LLM) peuvent inférer et annoter avec précision ces états de croyances internes en se basant uniquement sur les interactions de dialogue. Les évaluations actuelles de la Théorie de l'Esprit (ToM) dans les LLM reposent souvent sur des tâches statiques et décontextualisées (par exemple, des questions à choix multiples) qui ne parviennent pas à capturer le raisonnement dynamique et en temps réel requis pour la coordination située. Cet article traite de l'écart dans l'évaluation de la capacité des LLM à tracer les états de croyance dans des contextes d'équipe interactifs et ancrés, et à détecter les écarts entre les modèles mentaux inférés et la vérité de terrain.

Méthodologie

Les auteurs proposent un nouveau cadre en deux étapes pour évaluer les LLM en tant que générateurs de traces de modèles mentaux et en tant que détecteurs automatisés de divergences.

1. Jeu de données et configuration

• Corpus : L'étude utilise le corpus Cooperative Remote Search Task (CReST), comprenant des interactions basées sur des tâches situées entre un « chercheur » (présent physiquement dans un environnement) et un « directeur » (à distance, visionnant une carte incomplète).
• Vérité de terrain : Six dialogues associés à des enregistrements vidéo (caméra embarquée du chercheur et écran du directeur) ont été sélectionnés pour établir les traces de modèles mentaux de référence (vérité de terrain).
• Générateurs de traces : Trois LLM indépendants (OpenAI o3-mini, Anthropic Claude Sonnet 4, Google Gemma 8.5B) et deux groupes d'annotateurs humains ont été chargés de générer des traces de modèles mentaux pour les six dialogues.
  • Condition Naïve : Les LLM et une paire d'humains n'ont reçu que la transcription audio (pas de vidéo).
  • Condition Vérité de Terrain : Une seconde paire d'humains a reçu les transcriptions plus les preuves vidéo pour établir les traces de vérité de terrain.
• Schéma d'annotation : Les traces ont été générées sous forme d'objets JSON mettant à jour les états de croyance, d'objectif et d'engagement pour chaque énoncé, en utilisant un vocabulaire verbal spécifique pour assurer la comparabilité.

2. Cadre d'analyse des divergences

Un « LLM juge » distinct a comparé les traces basées sur l'audio uniquement (provenant des LLM et des humains naïfs) par rapport aux traces de vérité de terrain ancrées dans la vidéo. Le cadre définit quatre types de divergences spécifiques :

1. Contradictions de croyances : Propositions mutuellement exclusives détenues par les agents dans la trace par rapport à la vérité de terrain.
2. Fausses croyances : Propositions dans la trace qui ne sont pas en accord avec la vérité de terrain (même s'il ne s'agit pas de négations directes).
3. Croyances non étayées : Propositions dans la trace qui manquent de base évidentielle dans la vérité de terrain (hallucinations).
4. Omissions : Mises à jour de croyances ou d'objectifs manquantes, présentes dans la vérité de terrain mais absentes de la trace.

Un score de divergence pondéré ($S_{m,d}$) a été calculé, normalisé entre [0, 1], pour quantifier l'alignement avec la vérité de terrain, en tenant compte de la longueur du dialogue et de la gravité des erreurs.

Principales contributions

• Première étude du genre : À la connaissance des auteurs, il s'agit de la première étude utilisant des traces de l'état de croyance de dialogues basés sur des tâches réelles comme un prisme pour évaluer la ToM dans les LLM.
• Cadre novateur : Introduction d'un pipeline d'évaluation reproductible en deux étapes pour la cohérence du MMP, distinguant les informations perceptuelles manquantes des erreurs d'inférence.
• Publication du jeu de données : Création d'un jeu de données contenant des traces de modèles mentaux humaines et de LLM, ainsi que des traces de vérité de terrain dérivées de la vidéo, permettant de futures recherches sur la ToM située.
• Taxonomie des divergences : Définition et opérationnalisation de quatre types d'erreurs distinctes (Contradictions, Fausses croyances, Croyances non étayées, Omissions) avec un classement de sévérité.

Résultats

L'évaluation à travers six dialogues (1 142 énoncés) a révélé des écarts de performance significatifs entre les modèles et les humains :

• Performance des modèles :
  • Claude Sonnet 4 a présenté le nombre total de divergences le plus élevé (dépassant 700 dans le Dialogue 3) et les scores normalisés les plus bas. Il a fréquemment généré des croyances non étayées et des contradictions de croyances, suggérant une tendance au raisonnement spéculatif et à la généralisation excessive.
  • o3-mini et Gemma 8.5B ont produit nettement moins de divergences. Cependant, ils affichent des profils distincts : o3-mini présentait des taux d'omission élevés, tandis que Gemma présentait presque aucune omission mais des taux plus élevés de contradictions de croyances.
  • Les fausses croyances étaient notablement rares dans tous les modèles, indiquant que les erreurs proviennent souvent d'une extrapolation non ancrée plutôt que d'une identification erronée affirmée.
• Humains vs LLM :
  • Les annotateurs humains naïfs ont surpassé les LLM dans la limitation des croyances non étayées (hallucinations) mais ont montré des taux comparables ou plus élevés de contradictions de croyances et d'omissions.
  • L'analyse statistique (ANOVA à deux facteurs) a confirmé un effet principal fort du modèle ($p < 2e-16$), Claude différant significativement de Gemma et o3-mini.
• Profils d'erreurs : L'analyse qualitative a indiqué que les LLM échouent systématiquement dans les scénarios nécessitant un raisonnement spatial ou la désambiguïsation de disfluences au niveau de la transcription. Les erreurs se sont regroupées dans les tours où l'ancrage environnemental était critique mais indisponible par le texte seul.

Signification et affirmations

L'article affirme que, bien que les LLM puissent simuler des comportements limités et mesurables de type ToM (en maintenant des structures de croyances internes cohérentes), ils manquent de raisonnement situationnel ancré.

• ToM limitée : Les LLM semblent inférer des états mentaux à partir de la régularité linguistique plutôt que d'une compréhension intégrée spatiale, temporelle et épistémique. Ils produisent des traces cohérentes pour des tâches de langage naturel simples, mais échouent lorsque des contraintes spatiales ou un ancrage environnemental sont requis.
• Validation par tâche de substitution : L'étude propose la génération de traces de dialogue situé comme une tâche de substitution viable pour sonder les capacités de ToM dans les systèmes d'IA, allant au-delà des benchmarks statiques.
• Implications : Les conclusions soulignent que les LLM actuels sont davantage pilotés par des motifs linguistiques que par le raisonnement dynamique en temps réel qui sous-tend la ToM humaine. Cette limitation est critique pour les applications impliquant le travail d'équipe humain-IA, où des modèles mentaux partagés précis sont essentiels à la coordination.

Les auteurs restent modestes, reconnaissant des limites telles que la nature non déterministe des sorties des LLM, l'échelle spécifique du sous-ensemble CReST, et l'absence d'une condition où les LLM auraient accès à la vidéo (entrée multimodale), ce qu'ils identifient comme une direction pour les travaux futurs.