Egocentric Bias in Vision-Language Models

Cette étude introduit le benchmark FlipSet pour évaluer la prise de perspective visuelle de niveau 2 dans les modèles vision-langage, révélant un biais égocentrique systématique et un déficit compositionnel qui empêchent ces systèmes d'intégrer la conscience sociale aux opérations spatiales.

L'essentiel

🧠 Le Problème : Les IA sont égoïstes (et un peu aveugles)

Imaginez que vous jouez à un jeu avec un ami. Vous êtes assis face à face sur une table. Devant vous, il y a une carte avec le chiffre "81" écrit dessus.

• Vous voyez "81".
• Votre ami, de l'autre côté, voit le chiffre à l'envers : "18".

Si je vous demande : "Qu'est-ce que ton ami voit ?", vous n'avez qu'à tourner votre tête (ou votre esprit) pour répondre "18". C'est ce qu'on appelle la prise de perspective. C'est une compétence sociale fondamentale chez les humains.

Mais si vous posez la même question à une Intelligence Artificielle (IA) moderne, voici ce qui se passe : elle vous répond "81".

Pourquoi ? Parce que l'IA est "égo-centrée". Elle regarde l'image qu'elle reçoit (la photo prise par la caméra) et elle répète ce qu'elle voit, sans jamais essayer de se mettre à la place de l'ami qui est en face. C'est comme si l'IA disait : "Je vois 81, donc tout le monde voit 81".

🎯 L'Expérience : Le "FlipSet" (Le Test du Singe)

Les chercheurs ont créé un jeu appelé FlipSet pour tester 103 IA différentes.

• Le décor : Une carte avec des chiffres ou des lettres (comme "81" ou "pond") posée sur le sol.
• Les acteurs : Une caméra qui prend la photo (vue de face) et un singe en peluche assis de l'autre côté, face à la carte.
• La question : "Que voit le singe ?"

Pour bien répondre, l'IA doit faire deux choses dans sa tête :

1. Comprendre que le singe voit quelque chose de différent (c'est la "Théorie de l'Esprit").
2. Tourner mentalement l'image de 180 degrés pour deviner ce que le singe voit (c'est la "Rotation Mentale").

📉 Les Résultats : Un Échec Catastrophique

Les résultats sont surprenants et un peu inquiétants :

• 91 % des IA ont échoué. Elles ont donné une réponse pire que le hasard.
• 76 % des erreurs étaient "égo-centrées". L'IA a simplement copié ce que la caméra voyait ("81") au lieu de faire l'effort de se mettre à la place du singe.
• Même en demandant à l'IA de "réfléchir étape par étape" (ce qu'on appelle le Chain-of-Thought), cela ne l'aide pas. Au contraire, cela l'incite souvent à justifier son erreur avec plus de conviction !

🧩 Le Mystère Résolu : Le "Déficit de Composition"

C'est ici que l'histoire devient fascinante. Les chercheurs ont démonté le cerveau de l'IA pour voir où ça coince. Ils ont testé les IA sur deux tâches séparées :

1. Tâche Sociale (ToM) : "Est-ce que le singe voit quelque chose de différent que la caméra ?"
   • Résultat : Les IA sont excellentes ! (90 % de réussite). Elles comprennent la théorie : "Ah oui, le singe est de l'autre côté, donc il voit autre chose."
2. Tâche Géométrique (Rotation) : "Si je tourne ce mot '81' de 180 degrés, à quoi ça ressemble ?"
   • Résultat : C'est moyen (26 % de réussite), juste un peu mieux que le hasard.

Le problème n'est pas qu'elles ne savent pas faire l'une ou l'autre. Le problème, c'est qu'elles ne savent pas les combiner.

C'est comme si vous aviez un cuisinier qui sait parfaitement éplucher des pommes (compétence sociale) et un autre qui sait parfaitement les couper en dés (compétence géométrique). Mais quand vous leur demandez de faire une tarte aux pommes (la tâche complexe), ils ne savent pas assembler les deux étapes. Ils épluchent la pomme, la posent sur la table, et disent : "Voilà, c'est fini".

💡 La Conclusion : Pourquoi c'est important ?

Cette étude nous dit quelque chose de fondamental sur les IA actuelles :

• Elles sont très douces pour reconnaître des motifs (comme dire "c'est un singe", "c'est un chiffre").
• Mais elles sont très mauvaises pour simuler un monde en 3D ou pour imaginer comment les choses changent quand on bouge.

Elles manquent de ce qu'on appelle un "modèle interne" du monde. Elles ne construisent pas de petites maquettes mentales qu'elles peuvent tourner dans leur tête. Elles se contentent de coller des étiquettes sur ce qu'elles voient.

En résumé : Les IA actuelles sont comme des enfants très intelligents mais qui sont coincés dans une phase de développement où ils pensent que tout le monde voit le monde exactement comme eux. Pour qu'elles deviennent vraiment intelligentes et capables de vivre avec nous, elles devront apprendre à tourner leur esprit et pas seulement à regarder l'écran.

Résumé technique

Titre : Biais Égocentrique dans les Modèles Vision-Langage : Une Évaluation de la Prise de Perspective Visuelle de Niveau 2

1. Problématique

La prise de perspective visuelle (Visual Perspective Taking - VPT) est une capacité fondamentale de la cognition sociale, permettant de raisonner sur la façon dont le monde apparaît depuis le point de vue d'un autre agent. La littérature en sciences cognitives distingue deux niveaux :

• Niveau 1 (L1) : Déterminer si un objet est visible depuis un certain point de vue.
• Niveau 2 (L2) : Déterminer comment un objet apparaît depuis ce point de vue (par exemple, comprendre qu'un "6" vu de l'autre côté d'une table ressemble à un "9").

Bien que les modèles Vision-Langage (VLM) aient fait des progrès remarquables en perception et en raisonnement, leur capacité à effectuer un VPT de niveau 2 reste inexplorée. Le défi réside dans la nécessité de simuler une transformation spatiale (rotation mentale) tout en intégrant une conscience sociale (comprendre que l'autre voit différemment). Les benchmarks existants souffrent souvent de facteurs confondants (complexité 3D, occlusion) qui empêchent d'isoler les mécanismes cognitifs défaillants.

2. Méthodologie : Le Benchmark FlipSet

Les auteurs introduisent FlipSet, un benchmark diagnostique conçu pour isoler la composante de transformation spatiale du VPT de niveau 2, tout en contrôlant la complexité des scènes 3D.

• Conception de la tâche :

  • L'image montre une carte avec une chaîne de caractères 2D (ex: "81") face à la caméra, et un singe en peluche assis de l'autre côté, face au dos de la carte.
  • Question : "Que voit le singe sur la carte ?"
  • Solution requise : Le modèle doit effectuer une rotation mentale de 180° de la chaîne de caractères pour simuler la perspective du singe (ex: "81" devient "18").
  • Avantage : L'utilisation de chaînes 2D élimine les confusions liées à la profondeur, à l'occlusion ou au suivi d'objets multiples, isolant ainsi purement la capacité de transformation spatiale.

• Design des réponses (Analyse des erreurs) :
  Pour chaque item, quatre choix de réponse sont proposés, permettant une analyse fine des modes d'échec :

  1. Correct : Rotation réussie (ex: "18").
  2. Égocentrique : Reproduction de la vue de la caméra (ex: "81").
  3. Confusable : Choix visuellement similaire mais incorrect (ex: "78").
  4. Aléatoire : Choix sans rapport logique.
  5. Échec : Sortie invalide ou refus.

• Expériences de contrôle :
  Pour dissocier les mécanismes cognitifs, les auteurs ont conçu trois tâches distinctes utilisant les mêmes stimuli visuels :

  1. Théorie de l'Esprit (ToM) : "Le singe voit-il une chaîne différente de celle visible ici ?" (Jugement de visibilité, sans transformation spatiale).
  2. Rotation Mentale (MR) : "Si la chaîne est tournée de 180°, que devient-elle ?" (Transformation géométrique pure, sans agent social).
  3. VPT de Niveau 2 (L2 VPT) : La tâche principale combinant les deux.

• Échelle de l'évaluation :

  • 103 modèles VLM publics ont été évalués en condition zero-shot (sans ajustement ni exemples en contexte).
  • Une sous-ensemble de 24 modèles a été testé sur les trois tâches de contrôle pour analyser les corrélations.

3. Résultats Clés

A. Biais Égocentrique Systématique

• Performance globale : 91,3 % des modèles performent en dessous du niveau de chance (25 %). La précision moyenne est de 8,96 %.
• Distribution des erreurs : La grande majorité des erreurs (75,88 %) sont de nature égocentrique. Les modèles reproduisent simplement ce que la caméra voit, ignorant complètement la perspective de l'agent.
• Échec du Chain-of-Thought (CoT) : L'utilisation de la pensée en chaîne (CoT) ne mitige pas ce biais ; elle l'amplifie souvent en générant des justifications linguistiques fluides mais spatialement incorrectes.

B. Déficit Compositionnel (Analyse des contrôles)
L'analyse des 24 modèles révèle une dissociation critique entre les capacités composantes et la capacité intégrée :

• Théorie de l'Esprit (ToM) : Très élevée (90,4 %). Les modèles comprennent que les agents voient des choses différentes.
• Rotation Mentale (MR) : Modeste (26,1 %), légèrement au-dessus du hasard, indiquant une capacité limitée à transformer des formes géométriques isolées.
• VPT de Niveau 2 (L2 VPT) : Catastrophique (10,3 %).
• Le Déficit : La performance en L2 VPT est systématiquement inférieure à ce que la combinaison des performances ToM et MR devrait prédire (produit des probabilités).
  • Exemple : Un modèle peut avoir un score ToM de 1,0 et un score MR de 0,5, mais un score L2 VPT de 0,34 (au lieu de 0,5).
  • Conclusion : Les modèles possèdent les "briques cognitives" (conscience sociale et transformation spatiale) mais échouent à les intégrer dans un contexte de raisonnement situé.

4. Contributions Principales

1. Introduction de FlipSet : Un benchmark contrôlé utilisant des rotations 2D pour isoler la transformation spatiale de la complexité 3D, permettant la première évaluation à grande échelle (103 modèles) des capacités de prise de perspective.
2. Identification du Biais Égocentrique : Démonstration que les erreurs dominantes ne sont pas dues à une méconnaissance de la tâche, mais à un biais systématique reproduisant la vue de la caméra (75,88 % des erreurs).
3. Preuve d'un Déficit Compositionnel : Mise en évidence par réduction comportementale que les VLM actuels ne peuvent pas lier la conscience sociale (ToM) aux opérations spatiales (MR), révélant une limitation fondamentale de leur architecture actuelle.

5. Signification et Implications

• Limites Architecturales : Les résultats suggèrent que les VLM actuels reposent sur des associations visuo-linguistiques apprises plutôt que sur des représentations spatiales structurées permettant des transformations systématiques. Ils manquent de mécanismes pour simuler des scènes internes (modèle-based reasoning).
• Analogie avec le Développement Humain : Ce comportement rappelle l'égocentrisme de la "période préopératoire" décrite par Piaget, où l'enfant ne peut pas coordonner sa propre perspective avec celle d'autrui via des opérations mentales structurées.
• Voies Futures : Pour progresser, l'IA devra probablement intégrer des architectures permettant une simulation basée sur des modèles, des entraînements sur des données multi-vues (égocentrique vs allocentrique), et des mécanismes explicites de liaison entre la conscience sociale et le raisonnement spatial.

En résumé, l'article démontre que malgré leurs avancées, les modèles VLM actuels échouent fondamentalement à simuler l'expérience visuelle d'autrui, non pas par manque de connaissances sociales ou spatiales isolées, mais par une incapacité à intégrer ces deux capacités dans un raisonnement unifié.