Dynamic Theory of Mind as a Temporal Memory Problem: Evidence from Large Language Models

Cette étude propose le cadre DToM-Track pour démontrer que, contrairement à la capacité des grands modèles de langage à inférer les croyances actuelles d'autrui, leur incapacité à maintenir et à récupérer les états de croyance antérieurs après une mise à jour révèle que la théorie de l'esprit dynamique est fondamentalement un problème de mémoire temporelle et d'interférence.

L'essentiel

🧠 Le Concept : La "Théorie de l'Esprit" Dynamique

Imaginez que vous jouez à un jeu de rôle avec un ami. Vous devez deviner ce qu'il pense, ce qu'il veut et ce qu'il sait. C'est ce qu'on appelle la Théorie de l'Esprit (ou Theory of Mind). C'est la capacité magique qui nous permet de comprendre que les autres ont des pensées différentes des nôtres.

Jusqu'à présent, les chercheurs testaient les intelligences artificielles (les IA) sur ce sujet comme on prendrait une photo instantanée. On leur demandait : "À cet instant précis, que croit Paul ?" C'est comme vérifier si l'IA peut deviner un secret à un moment donné.

Mais dans la vraie vie, les conversations ne sont pas des photos. Ce sont des films. Les gens changent d'avis, apprennent de nouvelles choses et oublient leurs anciennes idées. C'est là que l'étude intervient : elle se demande si les IA peuvent suivre le film entier, pas juste la photo finale.

🎬 L'Expérience : "DToM-Track" (Le Suivi de la Mémoire)

Les auteurs ont créé un nouveau test appelé DToM-Track. Imaginez une scène de théâtre où deux robots (des IA) discutent.

1. Le scénario : Ils parlent de quelque chose, disons, la réservation d'un restaurant.
2. Le secret : L'un des robots a un "monologue intérieur" (des pensées secrètes) que l'autre ne voit pas.
3. Le twist : Au milieu de la conversation, le robot change d'avis. Il apprend une nouvelle information et modifie sa croyance.
4. Le test : Après la conversation, on pose des questions à l'IA qui observe :
   • Question facile : "Que pense le robot maintenant ?" (Après le changement).
   • Question difficile : "Que pensait le robot avant qu'il ne change d'avis ?" (Avant le changement).
   • Question de détection : "À quel moment précis a-t-il changé d'avis ?"

🍦 La Découverte Surprenante : Le Syndrome de la "Glace Fondue"

Le résultat est fascinant et un peu triste pour les robots.

• Pour les questions actuelles : Les IA sont excellentes ! Elles disent : "Ah oui, maintenant il pense qu'il faut réserver 24h à l'avance." C'est comme si elles avaient une mémoire très fraîche.
• Pour les questions passées : Les IA échouent lamentablement. Quand on leur demande : "Mais qu'est-ce qu'il pensait avant de recevoir cette info ?", elles répondent souvent la nouvelle réponse au lieu de l'ancienne.

L'analogie de la glace :
Imaginez que la croyance du robot est une boule de glace à la vanille (l'ancienne idée). Soudain, on verse du sirop de chocolat chaud par-dessus (la nouvelle information).

• L'IA voit très bien le chocolat (la nouvelle idée).
• Mais elle a oublié qu'il y avait de la vanille dessous. Elle ne peut plus "goûter" l'ancienne idée parce que le chocolat l'a recouverte et a fait fondre la mémoire de la vanille.

En psychologie, on appelle cela un biais de récence (on se souvient mieux de ce qu'on vient de voir) et un effet d'interférence (la nouvelle info bouscule l'ancienne).

🤖 Ce que cela signifie pour l'avenir

Cette étude nous dit deux choses importantes :

1. Les IA ne sont pas encore des humains : Elles sont très douées pour analyser le "présent", mais elles ont du mal à garder une trace de l'histoire des pensées d'une personne. Elles oublient vite ce qui a été dit il y a quelques minutes si une nouvelle info arrive.
2. Ce n'est pas un problème de "puissance" : Même les plus gros et les plus intelligents modèles d'IA (les plus gros cerveaux) font la même erreur. Ce n'est pas qu'ils sont "trop petits", c'est que leur façon de stocker les souvenirs dans le temps est différente de la nôtre.

💡 En résumé

Cette recherche nous rappelle que pour qu'une IA soit vraiment sociale et capable de discuter avec nous sur le long terme, elle ne doit pas seulement être intelligente pour deviner nos pensées actuelles. Elle doit aussi apprendre à garder une trace de notre histoire, à ne pas oublier nos anciennes idées quand nous en avons de nouvelles, et à comprendre que nos esprits sont des films en mouvement, pas des photos fixes.

C'est un premier pas pour créer des robots qui ne nous oublient pas juste parce qu'on a changé d'avis cinq minutes plus tôt !

Résumé technique

1. Problématique

La Théorie de l'esprit (ToM) désigne la capacité à représenter et à raisonner sur les états mentaux d'autrui (croyances, intentions, désirs). Bien que les Grands Modèles de Langage (LLM) aient démontré des compétences en ToM, les évaluations actuelles traitent majoritairement ce concept comme un jugement statique à un instant donné (souvent via des tests de « fausses croyances »).

Cette approche statique néglige une dimension cruciale de la cognition sociale : la dynamique temporelle. Dans les interactions réelles, les croyances sont révisées, corrigées ou déplacées au fil du temps. Le problème central identifié par les auteurs est le suivant : les LLM sont-ils capables de suivre les trajectoires de croyances au cours d'une interaction, c'est-à-dire de maintenir, mettre à jour et surtout récupérer des états de croyance antérieurs après qu'une mise à jour a eu lieu, ou se contentent-ils d'inférer l'état actuel ?

2. Méthodologie : Le Framework DToM-Track

Pour répondre à cette question, les auteurs introduisent DToM-Track, un cadre d'évaluation conçu pour tester le raisonnement temporel sur les croyances dans des conversations multi-tours contrôlées.

A. Génération de Données Contrôlées

Le framework utilise une approche de génération LLM-LLM avec les caractéristiques suivantes :

• Parole Intérieure (Inner Speech) : Chaque agent verbalise ses états mentaux (croyances, intentions, etc.) avant chaque énoncé, mais ces pensées restent cachées à l'interlocuteur. Cela crée une asymétrie d'information simulant des situations de fausses croyances.
• Mises à Jour Planifiées : Les mises à jour de croyances sont explicitement planifiées à des tours spécifiques (généralement entre le tour 4 et 8) via des instructions système.
• Marqueurs Linguistiques : Les changements de croyance sont signalés par des marqueurs naturels (ex: « En fait... », « Je réalise que... ») ou des négations explicites.
• Suivi des États : Un module de suivi enregistre la source, le type, le statut de mise à jour et le contenu antérieur de chaque croyance, permettant de générer des requêtes temporelles précises.

B. Types de Questions Évaluées

Le dataset DToM-Track contient 5 794 questions à choix multiples couvrant cinq catégories d'états mentaux (croyance, intention, désir, émotion, connaissance) et six types de questions, dont trois nouvelles pour évaluer la dynamique temporelle :

1. Pré-mise à jour (Pre-update) : « Quelle était la croyance de X avant le changement au tour T ? » (Test de la récupération de l'état antérieur).
2. Post-mise à jour (Post-update) : « Quelle est la croyance actuelle de X après le changement ? » (Test de l'inférence de l'état actuel).
3. Détection de mise à jour (Update detection) : « À quel moment la croyance de X a-t-elle changé ? »
4. Questions standards : Temporelles, d'ordre supérieur (second-order) et de fausses croyances.

C. Protocole Expérimental

Six LLMs (open-source et propriétaires) de différentes échelles (de 3B à 70B paramètres), notamment les familles LLaMA 3, Mistral et GPT-4o-mini, ont été évalués en zero-shot sur ce dataset.

3. Résultats Clés

A. Performance Globale et Dissociation

Les modèles obtiennent des scores supérieurs au hasard (25 %), allant de 35,7 % (LLaMA 3.2-3B) à 63,3 % (LLaMA 3.3-70B). Cependant, une dissociation marquée apparaît :

• Inférence actuelle (Post-update) : Les modèles excellent (63,9 % en moyenne). Ils identifient correctement la croyance actuelle après une mise à jour.
• Récupération antérieure (Pre-update) : Les modèles échouent massivement (27,7 % en moyenne). Ils peinent à maintenir l'accès aux croyances précédentes une fois l'information mise à jour.

B. Biais de Récence et Interférence

L'écart significatif entre les performances « Post-update » et « Pre-update » (environ 36 points de pourcentage) suggère un biais de récence fort. Les informations récentes dominent le processus de raisonnement et interfèrent avec l'accès aux états mentaux antérieurs.

• Ce phénomène persiste même chez les modèles les plus grands (70B), indiquant que la limite n'est pas une question de capacité brute (scale), mais de mécanisme de représentation et de récupération temporelle.
• La difficulté des questions « Pré-mise à jour » est même supérieure à celle des tâches classiques de fausses croyances (27,7 % vs 44,7 %), montrant que le suivi temporel est un défi distinct et plus complexe.

C. Détection et Ordre Supérieur

• La détection de mise à jour est la tâche la plus réussie (67,5 %), suggérant que les modèles repèrent bien quand un changement se produit.
• Les questions d'ordre supérieur (ce que A pense que B croit) montrent des performances intermédiaires, confirmant que l'asymétrie d'information induite fonctionne, mais que la complexité temporelle reste un obstacle majeur.

4. Contributions Principales

1. Redéfinition de la ToM : L'article propose de voir la ToM non seulement comme une compétence de représentation statique, mais comme un problème de mémoire temporelle soumis à des contraintes de récupération et d'interférence.
2. Framework DToM-Track : Introduction d'un outil d'évaluation standardisé capable de dissocier l'inférence de l'état actuel de la récupération des états passés, comblant le vide laissé par les évaluations statiques existantes.
3. Preuve de Limites Cognitives des LLM : Démonstration que même les LLMs les plus avancés souffrent de biais de récence et d'interférence dans le raisonnement social, simulant des mécanismes cognitifs humains documentés (biais de récence, interférence rétroactive).

5. Signification et Implications

• Pour la Cognition et l'IA : Ces résultats connectent la ToM aux mécanismes fondamentaux de la mémoire humaine. Ils suggèrent que les échecs des LLMs dans les interactions sociales prolongées ne sont pas nécessairement dus à une incapacité à comprendre les croyances, mais à une difficulté à maintenir des trajectoires de croyances dans le temps face à de nouvelles informations.
• Pour les Interactions Humain-AI : Dans des scénarios réels où les objectifs et les croyances des utilisateurs évoluent, les systèmes actuels risquent de « perdre » l'historique des croyances de l'utilisateur, conduisant à des incohérences ou à une adaptation inadéquate.
• Futur de la Recherche : L'étude ouvre la voie à l'exploration de techniques (comme le fine-tuning ou des architectures de mémoire externe) pour atténuer ces biais de récence et améliorer la cohérence temporelle des agents conversationnels.

En conclusion, ce travail établit que le suivi dynamique des croyances est un défi distinct et sous-estimé pour l'IA, nécessitant des mécanismes de mémoire temporelle plus robustes que ceux actuellement présents dans les architectures de LLMs standards.