Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Cet article introduit MOSAIC, un benchmark multimodal révélant que les modèles de vision-langage actuels échouent à traduire le raisonnement de la Théorie de l'Esprit en actions sociales coordonnées en raison de goulots d'étranglement dans la génération de signaux non verbaux cohérents et l'interprétation des comportements d'autrui, alors que les modèles dotés d'un couplage explicite entre croyance et action réussissent.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La connexion humaine repose sur un échange silencieux et rapide qui va bien au-delà des mots. Lorsque nous parlons, nous modifions également notre regard, ajustons notre posture et changeons nos expressions faciales, tout en essayant de deviner ce que l'autre personne pense et ressent. Cette capacité à comprendre l'esprit d'autrui pour ensuite utiliser cette compréhension afin de guider nos propres actions est connue sous le nom de théorie de l'esprit. Pendant des décennies, les scientifiques ont étudié cette capacité, souvent en demandant aux gens de répondre à des questions sur des histoires ou en observant la façon dont ils réagissent à de simples énigmes sociales. L'objectif était de voir si l'intelligence artificielle pouvait faire de même. Mais un fossé critique subsistait : savoir ce que quelqu'un pense est différent de l'action de réagir à cette connaissance en temps réel. Un système peut deviner correctement qu'une personne cache un secret, mais peut-il ensuite décider de détourner le regard, de sourire ou de bouger son corps d'une manière qui encourage subtilement cette personne à le révéler ? Jusqu'à présent, aucun test n'avait été capable de mesurer si une IA pouvait traduire une supposition mentale en un signal social physique coordonné.
Des chercheurs de l'Université Paris-Saclay et de Sorbonne Université ont entrepris de combler ce fossé avec une nouvelle expérience appelée MOSAIC. Ils ont construit un monde virtuel où deux agents numériques interagissaient dans un jeu de recherche de trésor. Dans ce scénario, un agent, le sujet, savait où se trouvait la récompense cachée, tandis que l'autre, le participant, ne le savait pas. La tâche du sujet était soit d'aider le participant à trouver le trésor, soit, selon les règles du tour, de le tromper pour qu'il choisisse la mauvaise boîte. Le jeu a été conçu comme un test rigoureux d'intelligence sociale. Sur dix tours d'interaction, les agents devaient communiquer en utilisant un mélange de paroles, de mouvements corporels, de direction du regard et d'expressions faciales. Les chercheurs ont fait varier la difficulté en changeant les règles : parfois le sujet devait être honnête, et d'autres fois il devait être trompeur. Crucialement, ils ont également modifié les instructions internes du sujet, demandant à certains d'agir selon leurs propres désirs sans penser à l'autre personne, et demandant à d'autres de modéliser explicitement les croyances du participant et de tenter de les influencer.
Les chercheurs ont testé treize modèles d'intelligence artificielle différents dans cet environnement, incluant onze modèles de vision-langage capables de voir et de parler, et un modèle uniquement textuel. Ils ont effectué deux cents essais pour chaque modèle afin de recueillir suffisamment de données pour observer des schémas clairs. Les résultats sont frappants. La plupart des systèmes d'IA avancés ont échoué à produire le comportement coordonné nécessaire pour réussir. Lorsqu'on leur demandait de tromper, les modèles ne parvenaient pas à générer le mélange nécessaire de mots trompeurs et de langage corporel contradictoire. Lorsqu'on leur demandait d'aider, ils échouaient souvent à bouger ou à regarder d'une manière qui guidait l'autre agent. L'étude a identifié deux points de rupture spécifiques dans le processus. Premièrement, la majorité des modèles ne pouvaient pas produire de signaux non verbaux qui faisaient sens directionnellement ; leurs mouvements et leur regard étaient souvent aléatoires ou pointaient dans la mauvaise direction. Deuxièmement, même lorsqu'un modèle produisait un signal clair, l'autre agent de la simulation ne le remarquait pas ou n'agissait pas en conséquence. Les agents d'IA semblaient parler et bouger, mais ils ne communiquaient pas véritablement.
Un modèle s'est distingué comme une exception complète. Un système hybride appelé PCM-LLM, qui a été construit avec un module structuré spécifique conçu pour gérer les croyances et les intentions, a réussi dans toutes les conditions. Il a pu guider avec succès le participant vers le trésor lorsqu'on lui demandait d'aider, et il a pu tromper avec succès quand on lui demandait de décevoir. Ce succès suggère que l'échec des autres modèles n'était pas dû à la difficulté de la tâche elle-même, mais plutôt à une pièce manquante dans leur architecture. Les modèles standards, qui traitent ensemble le langage et les images, semblaient manquer du mécanisme interne pour lier une croyance sur une autre personne directement à une action physique. Les chercheurs ont constaté que pour la plupart des modèles, l'entrée visuelle qu'ils recevaient agissait en fait comme une distraction plutôt que comme un indice utile. Dans certains cas, supprimer l'image visuelle entièrement améliorait la capacité du modèle à envoyer un signal directionnel clair, suggérant que les données visuelles interféraient avec leur raisonnement plutôt que de le soutenir.
L'étude a également exploré si ces modèles pouvaient apprendre à faire mieux avec la pratique. Les chercheurs ont pris l'un des modèles défaillants et l'ont entraîné en utilisant des exemples de comportements réussis générés par le système hybride performant. Bien que cet entraînement ait légèrement modifié le comportement du modèle, il n'a pas résolu le problème fondamental. Le modèle ne pouvait toujours pas coordonner ses mots, ses yeux et son corps en un seul signal social cohérent. Cela suggère que le simple fait de montrer à une IA comment bouger ne suffit pas ; elle a besoin d'un changement architectural plus profond pour comprendre que ses actions sont destinées à influencer un autre esprit. Les conclusions indiquent que les systèmes d'IA actuels, malgré leur capacité à discuter de scénarios sociaux complexes par texte, n'ont pas encore appris à incarner ces idées. Ils peuvent parler de la théorie de l'esprit, mais ils ne peuvent pas encore la vivre. Le fossé entre l'inférence de ce que quelqu'un pense et l'action basée sur cette inférence de manière coordonnée et physique reste une limitation distincte et mesurable de la technologie actuelle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.