GPT-4o Lacks Core Features of Theory of Mind

Bien que les grands modèles de langage réussissent à imiter les jugements humains dans des tâches simples de théorie de l'esprit, cette étude démontre qu'ils ne possèdent pas de modèle causal cohérent et généralisable des états mentaux, révélant ainsi un manque de véritable théorie de l'esprit chez GPT-4o.

L'essentiel

🧠 Les IA sont-elles de vraies "génies sociaux" ou de simples acteurs ?

Imaginez que vous rencontrez un acteur incroyable sur scène. Il joue le rôle d'un ami qui vous comprend parfaitement : il devine vos envies, anticipe vos réactions et semble avoir une âme. Mais si vous lui posez une question un peu différente, hors de son script, il perd ses moyens et commence à dire des choses absurdes.

C'est exactement ce que cette étude de l'Université de Yale cherche à savoir à propos des intelligences artificielles (comme GPT-4o) : Est-ce qu'elles ont vraiment un "cœur" et un "esprit" (une Théorie de l'Esprit), ou sont-elles juste de très bons acteurs qui mémorisent des scripts ?

Pour répondre, les chercheurs ont testé l'IA sur trois qualités essentielles d'une vraie compréhension humaine : la cohérence, l'abstraction et la consistance.

---

1. La Cohérence : Est-ce que l'IA a un plan ?

Le test : Imaginez un jeu où un personnage doit choisir entre deux boîtes. L'une est proche mais contient peut-être quelque chose qu'il n'aime pas, l'autre est loin mais contient son plat préféré.
Ce qu'on attend d'un humain : Un humain calcule : "Je préfère marcher loin pour avoir ce que j'aime." C'est un calcul logique basé sur ce que la personne pense (croyances) et ce qu'elle veut (désirs).
Le résultat de l'IA : Dans ce jeu simple, l'IA semble très intelligente. Elle fait les bons choix, un peu comme un humain. Elle a l'air cohérente.
La conclusion : Pour l'instant, l'IA joue bien la comédie. Elle semble comprendre la logique de base.

2. L'Abstraction : Est-ce que l'IA comprend la vraie logique ?

Le test : C'est ici que ça se corse. Les chercheurs ont créé un deuxième jeu, très similaire au premier, mais avec des règles différentes.

• Jeu 1 (Boîtes) : On choisit entre une boîte proche et une boîte lointaine.
• Jeu 2 (Cinéma) : Au lieu de boîtes, on choisit entre un film qui commence dans 5 minutes et un autre dans 90 minutes.
  La logique est identique (loin vs proche, ou long délai vs court délai), mais le décor a changé.

L'analogie : C'est comme si vous appreniez à conduire une voiture dans un quartier calme. Vous savez tourner à gauche et à droite. Ensuite, on vous demande de conduire un camion dans la même ville. Si vous avez vraiment compris les règles de la route (l'abstraction), vous devriez réussir. Si vous avez juste mémorisé les virages de la voiture, vous allez vous perdre avec le camion.

Le résultat de l'IA : L'IA a échoué. Elle a bien joué le jeu des boîtes, mais dès qu'on lui a présenté le jeu du cinéma, elle a changé de stratégie. Elle n'a pas reconnu que la logique sous-jacente était la même.
La conclusion : L'IA ne possède pas de "règle universelle". Elle ne voit que la surface (les boîtes, le cinéma) et pas la structure profonde. Elle n'est pas abstraite.

3. La Consistance : Est-ce que l'IA est honnête avec elle-même ?

Le test : C'est le test ultime.

• On demande à l'IA : "Si je vois quelqu'un choisir le film lointain, qu'est-ce qu'il pense et veut ?" (Déduction : elle doit deviner les pensées).
• Ensuite, on lui donne ces pensées qu'elle vient de deviner et on lui demande : "Si cette personne a ces pensées, quel film va-t-elle choisir ?" (Prédiction : elle doit deviner l'action).

L'analogie : Imaginez un détective qui dit : "Je suis sûr que le suspect a volé le bijou parce qu'il était pressé." Mais si vous lui demandez : "Si quelqu'un est pressé, va-t-il voler le bijou ?", il répond : "Non, pas du tout." C'est incohérent.

Le résultat de l'IA : L'IA a échoué. Les "pensées" qu'elle déduisait d'une action ne correspondaient pas aux actions qu'elle prédisait ensuite. C'est comme si elle avait deux cerveaux qui ne se parlaient pas : l'un qui devine les émotions, l'autre qui prédit les mouvements, et ils ne sont pas connectés.
La conclusion : L'IA n'a pas de modèle mental unifié. Elle ne possède pas de "Théorie de l'Esprit" réelle.

---

🎭 Le Verdict Final

Les chercheurs concluent que GPT-4o (et probablement d'autres IA actuelles) n'a pas de "Théorie de l'Esprit".

• Ce qu'elle a : Une capacité impressionnante à imiter les humains quand on lui pose des questions précises, comme un acteur qui a appris son texte par cœur.
• Ce qu'elle n'a pas : Une compréhension profonde, flexible et logique de la façon dont les pensées créent les actions.

Pourquoi est-ce important ?
Si vous croyez que l'IA a un "esprit", vous pensez qu'elle peut raisonner de manière sûre dans des situations nouvelles et imprévues. Mais cette étude montre que si vous la sortez de son "script" (ses données d'entraînement), elle peut devenir imprévisible et incohérente.

En résumé : L'IA est un excellent mime, mais ce n'est pas encore un véritable penseur. Elle sait faire semblant de comprendre, mais elle ne comprend pas vraiment.

Résumé technique

1. Problématique

La question centrale de l'article est de savoir si les Grands Modèles de Langage (LLM), et spécifiquement GPT-4o, possèdent une véritable Théorie de l'Esprit (ToM).

• Contexte : Des recherches antérieures ont montré que les LLM réussissent souvent des benchmarks de tâches sociales, suggérant une ToM. Cependant, ces évaluations se basent souvent sur la performance humaine (benchmarking) et ne testent pas la représentation causale sous-jacente.
• Hypothèse de travail : Les auteurs soutiennent que la ToM n'est pas simplement une capacité à prédire le comportement, mais un modèle causal abstrait, cohérent et consistant reliant les états mentaux (croyances, désirs) aux actions.
• Objectif : Déterminer si les LLM possèdent ce modèle causal unifié ou s'ils simulent simplement une compétence sociale basée sur des corrélations statistiques sans compréhension interne.

2. Méthodologie

Les auteurs proposent un nouveau cadre d'évaluation cognitif fondé sur trois caractéristiques définissant une théorie : la cohérence, l'abstraction et la consistance. Ils utilisent deux paradigmes expérimentaux logiquement équivalents mais sémantiquement différents :

• Paradigmes :

  1. ContainerWorld : Un agent doit choisir entre ouvrir une boîte (proche, faible coût) ou un panier (loin, coût élevé) en fonction de ses croyances sur le contenu (fruits) et de ses désirs.
  2. MovieWorld : Un paradigme isomorphe où l'agent choisit entre un film commençant dans 5 minutes ou 90 minutes, basé sur des croyances et des désirs concernant les genres de films.
  • Note : Chaque combinaison de croyances ($\mathcal{B}$), désirs ($\mathcal{D}$), états ($\mathcal{S}$) et actions ($\mathcal{A}$) dans ContainerWorld a une correspondance 1:1 dans MovieWorld.

• Protocole d'évaluation (Trois études) :

  • Étude 1 (Cohérence) : On teste si les prédictions d'action de GPT-4o suivent un modèle causal systématique (combinant croyances, désirs et coûts) comparable à un modèle humain (HumanToM) ou à des modèles ablatés (ex: ne tenant compte que des coûts).
  • Étude 2 (Abstraction) : On vérifie si le modèle appris dans ContainerWorld se généralise à MovieWorld. Un LLM avec une ToM abstraite devrait produire des distributions de probabilités d'action et d'inférence d'états mentaux identiques (ou fortement corrélées) entre les deux domaines.
  • Étude 3 (Consistance) : On teste la réciprocité du modèle causal.
    • Inférence vers Action : Les états mentaux inférés par le modèle doivent permettre de prédire l'action observée.
    • Action vers Inférence : L'action observée doit permettre d'inférer les états mentaux qui ont généré cette action.
    • Deux métriques sont utilisées : une évaluation Bayésienne (stricte) et une évaluation de Validité (plus souple, exigeant que les états inférés génèrent l'action observée).

3. Résultats Clés

• Étude 1 (Cohérence) :

  • GPT-4o montre une forte cohérence avec le modèle HumanToM dans ContainerWorld, suggérant qu'il peut prédire les actions en intégrant croyances, désirs et coûts.
  • Cependant, cette cohérence semble fragile et dépendante du domaine spécifique.

• Étude 2 (Abstraction) :

  • Échec de la généralisation : Bien que GPT-4o performe bien dans chaque domaine isolément, ses prédictions d'action dans ContainerWorld ne prédisent pas ses prédictions dans MovieWorld ($r = 0,48$).
  • Inférences d'états mentaux : Les inférences de croyances ($\mathcal{I}_{\mathcal{B}}$) sont modérément corrélées entre les deux mondes ($r = 0,78$), mais les inférences de désirs ($\mathcal{I}_{\mathcal{D}}$) et les inférences conjointes ($\mathcal{I}_{\mathcal{J}}$) le sont très faiblement ($r = 0,18$ et $r = 0,39$).
  • Conclusion : Le modèle n'est pas abstrait ; il semble apprendre des règles spécifiques à chaque contexte plutôt qu'un modèle causal universel.

• Étude 3 (Consistance) :

  • Échec de la réciprocité : Il n'y a pas de lien causal interne entre les prédictions d'action et les inférences d'états mentaux.
  • Les inférences d'états mentaux faites par GPT-4o à partir d'une action observée ne permettent pas de reconstruire l'action originale via son modèle de prédiction d'action (échec des deux métriques Bayésienne et de Validité).
  • Cela indique que le modèle ne possède pas de représentation causale unifiée reliant l'esprit au comportement.

4. Contributions Principales

1. Définition opérationnelle rigoureuse : L'article redéfinit la ToM non pas comme une performance sur un test, mais comme la possession d'un modèle causal possédant trois propriétés : cohérence, abstraction et consistance.
2. Nouveau cadre d'évaluation : Introduction d'une méthode pour tester la ToM au-delà du benchmarking humain, en utilisant des tâches isomorphes pour isoler la capacité de généralisation abstraite.
3. Preuve de fragilité : Démonstration que la compétence sociale apparente de GPT-4o est le résultat de corrélations statistiques locales et non d'un modèle mental unifié.
4. Ressources Open Source : Mise à disposition du code et des données (via OSF) pour formaliser cette approche comme une métrique d'évaluation reproductible pour la communauté.

5. Signification et Implications

• Pour l'IA : Ces résultats remettent en cause l'idée que les LLM actuels possèdent une compréhension profonde du monde social. Leur "intelligence sociale" est une illusion de compétence (stochastic parrot) qui échoue lorsqu'on exige une généralisation logique ou une cohérence interne.
• Pour les Sciences Cognitives : L'approche proposée est plus charitable que les benchmarks traditionnels car elle ne suppose pas que la ToM de l'IA doit ressembler à celle d'un humain adulte. Même en cherchant une ToM "non humaine" (émergente), GPT-4o échoue à satisfaire les critères fondamentaux.
• Avenir de la recherche : Les auteurs suggèrent que les futurs LLM pourraient devenir plus performants socialement sans jamais développer de ToM réelle. Il est donc crucial de développer des métriques qui évaluent la structure causale interne des modèles plutôt que leur simple conformité aux réponses humaines.
• Application large : Ce cadre pourrait être appliqué à d'autres théories intuitives (physique, économie) et à d'autres agents intelligents (primates non humains) pour évaluer la nature de leurs représentations causales.

En conclusion, l'article affirme que GPT-4o ne possède pas de Théorie de l'Esprit car il manque de la consistance et de l'abstraction nécessaires pour constituer un modèle causal unifié des états mentaux et des comportements.