Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
Cet article introduit le cadre de la Théorie de l'Esprit de Planification Non-Conversationnelle (NCP-ToM) pour évaluer dans quelle mesure les grands modèles de langage peuvent induire des états de croyance spécifiques par le biais d'actions plutôt que par la conversation, concluant que bien que GPT-5 surpasse les humains en taux de réussite sur ces tâches, il reste moins robuste à travers les contextes et, comme les humains, éprouve plus de difficultés à induire des fausses croyances que des vraies.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée centrale : Le test du « Marionnettiste Silencieux »
Imaginez que vous jouez à une partie d'échecs, mais qu'au lieu de déplacer des pièces pour faire échec et mat au roi, votre objectif est de faire croire à votre adversaire quelque chose qui n'est pas vrai, ou de lui faire savoir quelque chose de vrai, sans jamais prononcer un seul mot. Vous ne pouvez pas lui parler ; vous pouvez seulement déplacer des objets sur le plateau ou cacher des choses dans des boîtes.
Ce papier présente une nouvelle façon de tester l'IA (les Grands Modèles de Langage ou LLM) appelée NCP-ToM (Planification Non-Conversationnelle de la Théorie de l'Esprit).
- Théorie de l'Esprit (ToM) : C'est la capacité humaine à comprendre ce que les autres pensent ou croient.
- Non-Conversationnelle : L'IA n'est pas autorisée à discuter, à persuader ou à expliquer. Elle doit utiliser des actions pour changer ce que les autres croient.
Les chercheurs ont voulu voir si les agents d'IA pouvaient agir comme un « marionnettiste silencieux », en organisant le monde de manière à ce que d'autres personnages finissent avec des croyances spécifiques, simplement en déplaçant des objets.
La configuration : Un jeu de « Cache-cache » numérique
Pour tester cela, les chercheurs ont construit un terrain de jeu numérique basé sur un test de psychologie classique appelé le test de Sally et Anne.
- Le test classique : Dans la version originale, vous regardez une vidéo où Sally met une bille dans un panier et s'en va. Anne déplace la bille dans une boîte. On vous demande : « Où Sally pense-t-elle que la bille se trouve ? » (La réponse est le panier, car elle n'a pas vu le mouvement). C'est un test de Questions & Réponses. Vous regardez et vous devinez.
- Le nouveau test (NCP-ExploreToM) : Dans ce papier, l'IA ne se contente pas de regarder ; elle est à l'intérieur du jeu. L'IA reçoit un objectif, comme : « Fais croire à Sally que la bille est dans le panier, même si elle est réellement dans la boîte. »
- Le travail de l'IA : L'IA doit déterminer les étapes pour que cela se produise. Elle peut devoir :
- Faire sortir Sally de la pièce.
- Déplacer la bille dans la boîte.
- Laisser Sally hors de la pièce pour qu'elle ne voie pas le changement.
- Faire revenir Sally.
Si l'IA réussit cela, Sally aura une « fausse croyance » (elle pense qu'elle est dans le panier). Si l'IA échoue, Sally pourrait voir le changement et connaître la vérité.
Qui a joué au jeu ?
Les chercheurs ont testé :
- Six IA de haut niveau : Incluant GPT-5, Gemini 2.5 Pro et diverses versions de Claude.
- 40 participants humains : De vraies personnes jouant au même jeu sur un ordinateur.
Ils ont lancé 600 scénarios différents (tâches) avec différents niveaux de difficulté, différentes pièces (comme un hôpital, un hôtel ou un mariage) et différents types d'objectifs (faire croire à quelqu'un quelque chose de vrai vs faire croire à quelqu'un quelque chose de faux).
Les résultats : Le tableau des scores
Voici ce qui s'est passé lorsqu'ils ont comparé les joueurs :
1. Le défi de la « Fausse Croyance » est difficile
Tout comme les humains, les modèles d'IA ont trouvé beaucoup plus difficile de tromper quelqu'un pour qu'il ait une fausse croyance (faire croire que quelque chose n'est pas vrai) que de l'aider à avoir une vraie croyance (lui faire savoir la vérité).
- Analogie : Il est plus facile de montrer une photo de chat à quelqu'un pour qu'il sache qu'il y a un chat (Vraie Croyance) que de cacher le chat et de lui faire croire que c'est un chien (Fausse Croyance).
- Pourquoi c'est important : Le papier note que c'est un « signal positif ». Cela suggère que l'IA pourrait être meilleure pour les tâches utiles (enseigner, assister) que pour les tâches trompeuses (duper les gens).
2. La surprise « GPT-5 »
Le modèle le plus récent, GPT-5, était la superstar.
- Il a résolu environ 80 % des tâches.
- C'était le seul modèle qui a réellement fait mieux que les participants humains.
- Cependant, les humains étaient plus constants. La performance de l'IA chutait considérablement selon le « cadre » (par exemple, elle excellait dans un scénario de bâtiment gouvernemental mais était moins performante dans un scénide de mariage). Les humains restaient stables, peu importe le cadre.
3. Le fossé de la « Planification »
Les chercheurs ont comparé deux façons de tester l'IA :
- Le « Quiz » (Q&A) : « Voici une histoire. Que pense Sally ? »
- L'« Action » (Agentique) : « Voici un objectif. Réalise-le. »
Généralement, on suppose que le test d'« Action » est beaucoup plus difficile que le « Quiz ». Pour la plupart des modèles d'IA, c'était vrai. Mais pour GPT-5, le fossé a disparu. Il a performé presque aussi bien sur le test d'« Action » que sur le « Quiz ». Cela suggère que pour les modèles les plus intelligents, la planification réelle devient aussi facile que de simplement en parler.
4. La complexité tue la performance
À mesure que les tâches devenaient plus complexes (nécessitant de suivre les croyances de plusieurs personnes à la fois, ou de faire croire trois choses différentes à trois personnes différentes), les scores de tout le monde baissaient. C'est comme essayer de jongler avec plus de balles ; finit par en faire tomber une.
Qu'est-ce que cela signifie ? (Selon le papier)
Le papier conclut par quelques points clés, en s'en tenant strictement à ce qu'ils ont trouvé :
- L'IA devient douée pour la « Persuasion Silencieuse » : Les IA modernes peuvent planifier une séquence d'actions physiques pour changer ce que d'autres personnages croient, sans dire un mot.
- Vérification de sécurité : Le fait que l'IA ait plus de mal avec les « fausses croyances » (la tromperie) qu'avec les « vraies croyances » est une bonne nouvelle pour la sécurité. Cela suggère qu'elles ne sont pas naturellement enclines à mentir ou à manipuler par l'action, bien qu'elles puissent le faire si on le leur demande.
- Le problème du « Contexte » : L'IA est encore un peu fragile. Si vous changez l'histoire d'un « hôpital » à un « mariage », l'IA peut être confuse. Les humains ne sont pas confus par ces changements.
- Le piège du « Quiz » : Nous ne pouvons pas supposer que si une IA est bonne pour répondre à des questions sur une histoire, elle sera bonne pour jouer cette histoire. Pour les très meilleurs modèles (comme GPT-5), l'ancienne règle selon laquelle « les Quiz sont plus faciles que les Actions » pourrait ne plus être vraie.
L'essentiel
Ce papier montre que l'IA évolue d'un « chatbot » qui répond à des questions vers un « agent » capable de planifier et d'agir pour façonner la réalité. Bien que l'IA la plus intelligente puisse actuellement surpasser l'humain dans ces énigmes logiques spécifiques, elle manque encore de la capacité humaine à rester cohérente à travers différentes situations réelles. Les chercheurs avertissent que, bien que ce soit une capacité intéressante pour des assistants utiles, cela signifie aussi que nous devons être prudents dans la façon dont nous évaluons la sécurité de l'IA, car les anciens tests (juste poser des questions) pourraient ne plus suffire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.