🤖 AI

What Do You Think I Think? Accounting for Human Beliefs Using Second-Order Theory of Mind

Ce papier présente un cadre de théorie de l'esprit d'ordre deux utilisant des I-POMDP qui permet à un agent de détecter et de traiter de manière adaptative les biais cognitifs humains et les croyances erronées concernant l'agent, améliorant ainsi la qualité de l'interaction et l'utilité des retours, comme démontré dans une étude utilisateur.

Auteurs originaux : Patrick Callaghan, Reid Simmons, Henny Admoni

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patrick Callaghan, Reid Simmons, Henny Admoni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment trier un jeu de cartes spéciales. Vous avez une règle secrète en tête (par exemple, « les cartes rouges vont dans la Corbeille 1, les cartes bleues dans la Corbeille 2 »). Le robot ne connaît pas encore la règle ; il doit l'apprendre en vous observant trier les cartes et en écoutant ce que vous dites.

Le problème est que vous pourriez commettre des erreurs dans la façon dont vous imaginez la pensée du robot.

Le Problème Central : Le Fossé de la « Lecture de Pensée »

Dans cet article, les chercheurs tentent de résoudre une rupture de communication spécifique. Les humains ont souvent des « biais cognitifs » — des raccourcis mentaux qui nous amènent à faire des hypothèses sur autrui qui ne sont pas vraies.

Le Scénario : Vous pourriez penser : « Le robot est intelligent ; il doit savoir que Rouge signifie Corbeille 1, car c'est le motif le plus évident. »
La Réalité : Le robot est en fait confus et pense : « Je ne sais pas encore ce que Rouge signifie. »
Le Résultat : Vous arrêtez d'enseigner car vous pensez que le robot sait, ou vous enseignez d'une manière qui confond le robot parce que vous supposez qu'il comprend vos raccourcis.

La Solution : L'Esprit de « Second Ordre »

Les chercheurs ont construit un robot doté d'une super-puissance mentale spéciale appelée Théorie de l'Esprit de Second Ordre (ToM-2).

Pour comprendre cela, imaginez un jeu du type « Je sais que tu sais que je sais » :

Robot d'Ordre Zéro (Le Bot de Base) : Il observe uniquement les cartes que vous placez dans les corbeilles. Il pense : « D'accord, vous avez mis une carte rouge ici. Je vais mettre à jour ma règle. » Il n'a aucune idée de ce que vous pensez.
Robot d'Ordre Second (Le Lecteur de Pensées) : Ce robot ne se contente pas d'observer les cartes ; il simule un modèle de votre cerveau. Il se demande : « Que pense l'humain que je sais en ce moment ? »

Si le robot réalise : « Oh, l'humain pense que je sais que la règle concerne la Couleur, mais en réalité, je pense qu'elle concerne la Forme », il peut repérer la déconnexion.

Comment le Robot Répare la Conversation

L'article décrit un jeu où le robot doit deviner une règle de tri. Le robot utilise sa capacité de « lecture de pensée » pour détecter deux habitudes humaines spécifiques (biais) :

Heuristique de Représentativité : Vous pourriez vous concentrer uniquement sur les cartes qui ressemblent à la règle que vous avez en tête et ignorer celles qui prouvent que d'autres règles sont fausses.
Biais de Confirmation : Vous pourriez ne prêter attention au retour d'information du robot que s'il confirme ce que vous croyez déjà.

Lorsque le robot détecte ces habitudes, il modifie sa stratégie. Au lieu de simplement dire : « Je ne suis pas sûr », il vous donne une impulsion en deux parties :

Partie A (L'Impulsion) : « Il semble que vous vouliez que je pense que la règle concerne la Forme, mais... »
Partie B (La Correction) : « ...il est toujours possible que la règle concerne la Couleur. »

En déclarant explicitement : « Je sais ce que vous pensez que je pense, mais je pense en fait quelque chose d'autre », le robot brise la boucle mentale de l'humain et le force à reconsidérer sa stratégie d'enseignement.

L'Expérience : Tri de Cartes

Les chercheurs ont testé cela avec 30 personnes réelles.

Le Dispositif : Les personnes utilisaient un ordinateur pour enseigner à un agent virtuel à trier des cartes de différentes couleurs, formes et nombres.
La Comparaison :
- Groupe A enseignait à un « Bot de Base » (Ordre Zéro) qui ne pouvait pas lire les pensées.
- Groupe B enseignait au « Bot Lecteur de Pensées » (Ordre Second) capable de détecter les biais.

Qu'est-il Arrivé ?

Enseignement Meilleur : Les personnes ont enseigné au Bot Lecteur de Pensées beaucoup plus efficacement. Parce que le bot corrigeait leurs malentendus, les humains ont arrêté de faire des mouvements redondants et ont fourni de meilleurs exemples.
Plus d'Informations : Les cartes que les personnes ont choisies de montrer au Bot Lecteur de Pensées contenaient plus d'informations utiles. Les humains ajustaient inconsciemment leur style d'enseignement parce que le bot « répondait » d'une manière qui donnait du sens à leur confusion.
Le Bénéfice « Inconscient » : Fait intéressant, lorsqu'on leur a posé la question ensuite, les humains n'ont pas dit : « Wow, ce bot était incroyable pour lire dans mes pensées ! » Ils ont simplement senti que le retour d'information était plus utile. Ils ne réalisaient pas nécessairement pourquoi l'interaction était plus fluide ; ils savaient juste que cela fonctionnait mieux.

La Conclusion

Cet article montre que si une IA peut modéliser ce que vous pensez qu'elle sait (et réaliser quand vous vous trompez à ce sujet), elle peut vous donner un meilleur retour d'information. Cela vous aide à l'enseigner plus rapidement et plus précisément, même si vous ne réalisez pas pleinement que l'IA fait le gros du travail pour corriger vos angles morts mentaux.

Note : Les chercheurs ont testé cela dans un simple jeu de tri de cartes. Ils admettent que la vie réelle est beaucoup plus complexe, et que leur robot n'a examiné que deux types spécifiques de biais humains, mais l'idée centrale — que la modélisation des malentendus humains améliore le travail d'équipe — a fonctionné dans leur expérience.

Résumé technique : Prise en compte des croyances humaines à l'aide d'une théorie de l'esprit d'ordre supérieur

Énoncé du problème
Une interaction réussie entre un humain et un agent repose sur le fait que l'humain possède un modèle précis des capacités et des croyances de l'agent. Cependant, les humains emploient souvent des biais cognitifs et des heuristiques (CBH), tels que l'heuristique de représentativité et le biais de confirmation, qui peuvent conduire à des croyances erronées concernant ce que l'agent sait ou comment il raisonne. Ces écarts entre les connaissances réelles de l'agent et la perception qu'en a l'humain peuvent entraver l'efficacité de l'interaction. Alors que des travaux antérieurs ont exploré l'attribution d'une théorie de l'esprit (ToM) ou d'une théorie de l'esprit d'ordre supérieur (ToM-2) aux agents, ce travail aborde spécifiquement le défi de modéliser comment les CBH influencent l'inférence qu'un humain fait des croyances d'un agent, permettant ainsi à l'agent de détecter ces erreurs et d'adapter son feedback en conséquence.

Méthodologie
Les auteurs proposent un cadre utilisant un processus de décision markovien partiellement observable interactif (I-POMDP) pour mettre en œuvre une théorie de l'esprit d'ordre supérieur (ToM-2). Dans cette architecture, l'agent maintient un modèle imbriqué de l'humain, où l'humain est modélisé comme un agent ToM-1 (un raisonneur d'ordre premier).

Domaine : Le système est évalué dans une tâche de tri de cartes basée sur des tours. Une « règle » dicte comment des cartes à multiples caractéristiques (variant en Couleur, Remplissage, Nombre, Forme) sont triées dans deux bacs. L'enseignant humain démontre la règle en triant les cartes, et l'agent fournit un feedback sur sa croyance actuelle concernant les caractéristiques de la règle.
Modélisation des CBH : Le cadre I-POMDP permet à l'agent de maintenir des croyances sur plusieurs modèles humains ( $m_{H,1}$ $m_{H, 1}$ ) qui encodent des mécanismes spécifiques de CBH.
- Heuristique de représentativité (RH) : Opérationnalisée via la « pensée locale » (LT), où l'agent approxime que l'humain se concentre sur des caractéristiques sémantiquement similaires tout en négligeant les exemples contrefactuels nécessaires pour éliminer d'autres règles. Cela est modélisé en augmentant la fonction d'observation ( $\Omega$ ) avec une similarité cosinus pondérée.
- Biais de confirmation (CB) : Modélisé comme une tendance de l'humain à attendre un feedback de l'agent qui s'aligne sur ses croyances antérieures concernant la règle, plutôt qu'un feedback qui élimine logiquement les alternatives.
Génération de feedback adaptatif : L'agent utilise ses croyances ToM-2 pour détecter les écarts entre ses connaissances réelles et l'approximation de ces connaissances par l'humain. Sur la base de cette détection, l'agent génère deux types de feedback :
1. Énoncés de confiance (CS) : Feedback standard transmettant l'incertitude ou la certitude concernant une caractéristique de la règle (par exemple, « Je pense que la Classe est la Forme »).
2. Énoncés de compréhension (US) : Feedback conçu pour « inciter » l'humain à sortir d'un raisonnement induit par le CB en révélant explicitement ce que l'agent sait d'une caractéristique que l'humain souhaite enseigner, tout en soulignant les écarts potentiels (par exemple, « Il semble que vous vouliez que je sache que la Classe est la Forme, mais il est toujours possible que la Classe soit le Remplissage »).
  L'agent utilise par défaut les CS pour le gain d'information, mais bascule vers un tandem (US+CS) lorsqu'il détecte des croyances erronées causées par les CBH.

Contributions clés

Cadre novateur : Une architecture ToM-2 basée sur des I-POMDP qui modélise explicitement l'influence des CBH sur les croyances d'un humain concernant les croyances d'un agent, plutôt que de simplement modéliser les actions de l'humain.
Détection et adaptation : Un mécanisme permettant à l'agent de détecter quand un humain s'appuie sur des heuristiques spécifiques (RH et CB) et de générer de manière adaptative un feedback (US) pour corriger le processus de raisonnement de l'humain.
Validation empirique : Une étude utilisateur en personne démontrant que cette approche améliore l'informativité des actions d'enseignement humaines et est perçue comme plus utile par les participants.

Résultats
L'étude a impliqué 30 participants enseignant un agent virtuel dans trois conditions : ToM-0 (sans ToM), ToM-0 Aléatoire (fournissant un feedback supplémentaire de manière aléatoire) et ToM-2 (feedback adaptatif basé sur la détection des CBH).

Métriques objectives :
- Gain d'information : L'apprenant ToM-2 a suscité des actions d'enseignement significativement plus informatives (gain d'information relatif plus élevé) par rapport aux deux lignes de base, tant après un feedback d'une phrase que de deux phrases.
- Efficacité : L'apprenant ToM-2 a montré une réduction marginale mais significative du nombre d'actions de l'enseignant requises pour terminer avec succès une session par rapport à la ligne de base standard ToM-0.
- Détection : Des simulations qualitatives ont montré que l'apprenant ToM-2 pouvait identifier la règle correcte et le modèle sous-jacent de l'enseignant (incluant les CBH), alors que l'apprenant ToM-0 ne le pouvait pas.
Métriques subjectives :
- Les participants ont évalué le feedback de l'apprenant ToM-2 comme significativement plus utile que celui des lignes de base.
- Cependant, il n'y avait pas de différence statistiquement significative dans la confiance auto-déclarée des participants quant à la compréhension de l'agent, leur confiance en tant qu'enseignants, ou l'agréabilité de l'expérience.
- Les participants ont souvent rapporté trouver les apprenants indiscernables ou également faciles à enseigner, suggérant que les avantages du modèle ToM-2 peuvent être inconscients.

Signification et limites
L'article affirme que permettre à un agent de modéliser les causes des erreurs de croyance humaine (spécifiquement les CBH) permet une interaction plus efficace en générant un feedback ciblé qui aide le raisonnement humain. Les résultats suggèrent que, bien que les humains ne soient peut-être pas consciemment conscients de la modélisation avancée de l'agent, la capacité de l'agent à prendre en compte les CBH conduit à des interactions objectivement plus efficaces et informatives.

Les auteurs reconnaissent plusieurs limites :

Le domaine de preuve de concept (tri de cartes) est plus simple que les interactions humain-agent réelles.
L'étude n'a exploré que deux biais spécifiques (RH et CB) parmi les nombreux qui influencent le comportement humain.
La complexité computationnelle des I-POMDPs reste un obstacle à la mise à l'échelle de cette approche vers des tâches et des modèles humains plus complexes, car les auteurs ont utilisé le cadre strictement pour le suivi des croyances plutôt que pour la résolution de politiques optimales dans l'espace imbriqué complet.