CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
Cet article introduit CARD, une méthode de diagnostic qui révèle que les modèles vision-langage échouent à acheminer efficacement les représentations de croyances internes vers leurs prédictions d'action, une limitation identifiée grâce à un nouveau benchmark de monde de grille coopératif appelé Relay Chain.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le domaine en pleine expansion de l'intelligence artificielle, les chercheurs s'intéressent de plus en plus à la question de savoir si les machines peuvent comprendre l'esprit d'autrui. Cette capacité, connue sous le nom de « théorie de l'esprit », permet à une personne d'inférer ce qu'une autre personne voit, sait ou veut, même lorsque cette information est cachée de sa propre vue. C'est le ciment mental qui rend la coopération possible, nous permettant de prédire le prochain mouvement d'un partenaire en nous basant sur sa perspective plutôt que sur la nôtre. À mesure que les systèmes d'intelligence artificielle sont déployés pour travailler aux côtés des humains — en tant qu'assistants robotiques, copilotes ou membres d'une équipe — les scientifiques ont besoin de savoir si ces systèmes possèdent cette même capacité. Si une IA ne peut pas véritablement saisir ce que son partenaire sait, elle ne peut pas coopérer efficacement, peu importe son intelligence par ailleurs.
Pour mener cette investigation, une équipe de chercheurs de l'Université de Stuttgart a développé une nouvelle façon de regarder à l'intérieur du « cerveau » des modèles de vision-langage modernes. Il s'agit de programmes informatiques avancés capables de voir des images et de comprendre le langage simultanément. Les chercheurs voulaient savoir si ces modèles utilisent réellement leur compréhension interne de l'état mental d'un partenaire pour décider de l'action suivante à entreprendre. Ils ont créé un nouvel environnement de test appelé Relay Chain, un jeu coopératif se jouant sur une grille numérique. Dans ce jeu, deux agents tiennent des leviers qui ouvrent des portes pour permettre à un troisième agent de passer. Le succès dépend entièrement du fait que les agents sachent si leur partenaire voit le voyageur traverser. Si un agent ne peut pas voir la traversée, il doit maintenir le levier ; s'il peut la voir, il doit relâcher le levier. Cette configuration force l'IA à prendre des décisions basées sur ce qu'elle croit que son partenaire voit, plutôt que sur ce qui se passe simplement dans le monde.
Les chercheurs ont utilisé une technique appelée pilotage par activation (activation steering) pour sonder les modèles. Imaginez les pensées internes de l'IA comme un vaste paysage de signaux. L'équipe a identifié des signaux spécifiques qui représentaient la « croyance » — l'enregistrement interne de l'IA sur ce que son partenaire voit. Ils ont ensuite artificiellement renforcé ou affaibli ces signaux de croyance pendant que l'IA jouait au jeu, poussant essentiellement l'état interne du modèle à être plus ou moins certain de la vue de son partenaire. Si l'IA utilisait réellement sa compréhension de l'esprit du partenaire pour prendre des décisions, modifier cette croyance interne devrait changer l'action choisie par l'IA. Par exemple, si le modèle était poussé à croire que le partenaire pouvait voir le voyageur, il devrait relâcher le levier. S'il était poussé à croire que le partenaire ne pouvait pas voir, il devrait maintenir le levier.
Les résultats ont révélé un échec critique dans le fonctionnement de ces modèles. Les expériences ont montré que les modèles possédaient effectivement une représentation claire et lisible de la croyance du partenaire. Lorsqu'on leur demandait directement : « Votre partenaire voit-il le voyageur ? », les modèles répondaient correctement, et les chercheurs pouvaient même modifier la réponse en pilotant les signaux internes. Cependant, lorsqu'on demandait aux modèles d'effectuer l'action coopérative — décider de relâcher ou de maintenir le levier — leurs signaux de croyance internes étaient complètement ignorés. Même lorsque les chercheurs modifiaient de force la croyance interne du modèle sur ce que le partenaire voyait, la décision du modèle sur ce qu'il devait faire restait exactement la même. Il agissait comme s'il avait une mémoire parfaite de la vue du partenaire, mais choisissait simplement de ne pas utiliser cette mémoire pour effectuer un mouvement.
Ce décalage était constant à travers quatre types différents de modèles open-source testés, allant de systèmes plus petits à des systèmes plus larges. Les modèles ne faiblissaient pas parce qu'ils manquaient d'informations, mais parce qu'ils ne transmettaient pas ces informations à la partie du système qui décide des actions. Les chercheurs ont écarté plusieurs autres possibilités, telles que la confusion des modèles face à la formulation des questions ou une méthode de pilotage trop faible pour être enregistrée. Ils ont testé des dizaines de façons différentes de formuler les instructions et ont constaté qu'aucune quantité de prompting ne pouvait forcer les modèles à utiliser leurs croyances internes pour guider leurs actions. Les modèles étaient effectivement « aveugles » à leur propre connaissance lorsqu'il s'agissait de passer à l'acte.
L'étude conclut que, bien que ces systèmes d'intelligence artificielle puissent être entraînés pour décrire l'état mental d'un partenaire, ils ne connectent pas automatiquement cette description à leur propre comportement. Ils peuvent parler de ce que quelqu'un d'autre sait, mais ils n'utilisent pas cette connaissance pour décider de ce qu'ils doivent faire. Cela suggère que le simple fait d'enseigner à un modèle comment répondre à des questions sur les croyances ne suffit pas à créer un agent véritablement coopératif. Pour que l'IA travaille de manière fluide avec les humains, la compréhension interne d'autrui doit être directement câblée dans le processus de décision, une connexion que les modèles actuels semblent ne pas posséder.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.