Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts

Cette étude démontre que les modèles vision-langage ne souffrent pas d'un aveugle perceptif mais d'une défaillance d'arbitrage, car ils encodent correctement les preuves visuelles mais échouent à les utiliser dans leurs réponses finales, un problème que l'on peut atténuer par des interventions ciblées sur les couches précoces.

L'essentiel

🍌 Le Dilemme de la Banane Bleue

Imaginez que vous montrez une photo d'une banane bleue à un robot très intelligent (un modèle de langage vision). Vous lui demandez : « De quelle couleur est cette banane ? ».

Le robot regarde la photo. Ses yeux (le capteur visuel) voient parfaitement le bleu. Il le note dans sa mémoire. Mais quand il ouvre la bouche pour répondre, il dit : « Jaune ».

Pourquoi ? Est-ce que le robot est aveugle ? Est-ce qu'il ne voit vraiment pas le bleu ?

La réponse de cette étude est surprenante : Non, il n'est pas aveugle. Il voit très bien le bleu. Le problème, c'est qu'il décide de mentir (ou de se tromper) parce qu'il est trop influencé par ce qu'il a appris dans ses livres avant de voir la photo.

---

🕵️‍♂️ L'Enquête en Trois Actes

Les chercheurs ont enquêté sur dix de ces robots pour comprendre ce qui se passe dans leur cerveau numérique. Voici ce qu'ils ont découvert, expliqué avec des métaphores :

1. Le "Témoin" et le "Juge" (La dissociation)

Imaginez que le robot est une cour de justice.

• Le Témoin (la vision) : Il arrive et dit : « J'ai vu une banane bleue ! ». Il apporte la preuve visuelle.
• Le Juge (le langage) : Il a lu des milliers de livres qui disent « Les bananes sont jaunes ».

L'étude montre que le Témoin est très clair. Il crie « BLEU ! » très fort, même dans les cas où le robot répond « Jaune ». Le robot encode (enregistre) parfaitement l'image bleue.
Le problème n'est pas que le témoin est muet. Le problème, c'est que le Juge refuse d'écouter le témoin. Il dit : « Non, selon mes livres, c'est jaune », et il annule la preuve visuelle.

En résumé : Le robot ne souffre pas d'« aveugle perceptif » (il ne voit pas), mais d'un « conflit d'arbitrage » (il choisit de ne pas suivre ce qu'il voit).

2. Le Moment du Basculement (MAC)

Les chercheurs ont regardé le cerveau du robot couche par couche (comme des étages d'un immeuble). Ils ont cherché le moment précis où la voix du « Bleu » (visuel) devient plus forte que la voix du « Jaune » (mémoire).

• Ils ont trouvé un étage précis (appelé MAC) où le robot commence à hésiter.
• Sur les petits robots, ce moment arrive tard (vers le 70e étage sur 100).
• Sur les gros robots, ça arrive plus tôt.
• Le constat : Même si le robot entend le « Bleu » très fort, il finit souvent par laisser le « Jaune » gagner au dernier étage, juste avant de répondre.

3. La Preuve par la Chirurgie (Le Patching)

Pour être sûrs que ce n'est pas un problème de vision, les chercheurs ont fait une expérience de « chirurgie du cerveau ».

• Ils ont pris un robot qui voyait une banane bleue mais répondait « Jaune ».
• Ils ont injecté dans son cerveau, à l'étage critique, les pensées d'un robot qui voyait une banane bleue et répondait correctement « Bleu ».
• Résultat : Le robot a changé d'avis ! Il a répondu « Bleu ».

Cela prouve que l'information « bleu » était bien là, mais qu'elle avait été étouffée par la mémoire « jaune ». C'est comme si vous aviez la bonne réponse dans votre tête, mais que vous aviez peur de la dire à voix haute.

---

🛠️ Comment réparer le robot ? (Sans le rééduquer)

Puisqu'on sait que le robot voit bien, mais qu'il a du mal à agir en conséquence, les chercheurs ont essayé de le « guider » sans le réapprendre de zéro (ce qui prendrait des mois et des milliers de dollars).

Ils ont utilisé deux méthodes de « steering » (pilotage) :

1. Le Pousseur Linéaire : Comme donner une petite pichenette au robot au début de son raisonnement pour l'encourager à écouter ses yeux plutôt que ses livres.
2. Le Guide Fin (SAE) : Comme un chef d'orchestre qui coupe les instruments qui jouent faux (les souvenirs de bananes jaunes) et amplifie ceux qui jouent juste (la vision de la banane bleue).

Le résultat ? En agissant très tôt dans le processus de réflexion (aux premiers étages), ils ont réussi à améliorer la précision du robot de 3,8 %. C'est peut-être peu en pourcentage, mais pour un robot, c'est énorme ! Et le plus important : cela fonctionne sans avoir à réentraîner le modèle.

---

💡 La Conclusion en une phrase

Les modèles d'intelligence artificielle qui voient et parlent voient très bien. Le problème n'est pas leurs yeux, c'est leur courage (ou leur mécanisme de décision) de faire confiance à ce qu'ils voient plutôt qu'à ce qu'ils savent déjà.

Si vous voulez un robot fiable, ne lui apprenez pas à mieux voir ; aidez-le à écouter ce qu'il voit.

Résumé technique

1. Problématique

Les modèles Vision-Langage (VLM) comme LLaVA, Qwen2-VL ou InternVL excellent sur de nombreux benchmarks, mais échouent souvent lorsque les preuves visuelles contredisent des biais linguistiques forts (priors).

• Exemple classique : Un VLM voit une banane bleue mais répond « jaune » en raison de sa connaissance préalable du monde.
• Hypothèse traditionnelle : Cet échec est attribué à une « cécité perceptuelle » (perceptual blindness), c'est-à-dire que l'encodeur visuel ne capture pas correctement les détails de l'image, privant ainsi le module linguistique d'informations cruciales.
• Question centrale : Est-ce un problème de perception (l'information n'est pas vue) ou un problème d'arbitrage (l'information est vue mais ignorée au profit du prior linguistique) ?

2. Méthodologie

Les auteurs ont étudié 10 VLMs de différentes tailles (de 7B à 72B paramètres) et architectures en utilisant une approche en quatre étapes :

A. Analyse de Crossover d'Arbitrage Multimodal (MAC)

• Technique : Utilisation d'une sonde « Logit Lens » couche par couche pour suivre les logits (probabilités non normalisées) des tokens visuels (ex: "bleu") et des tokens de prior linguistique (ex: "jaune").
• Protocole : Comparaison de 6 variantes de tokens (minuscules, majuscules, préfixés par un espace, hexadécimaux) pour chaque réponse.
• Objectif : Identifier la couche « MAC » où le logit visuel dépasse de manière stable le logit du prior.

B. Dissociation Encodage-Ancrage (Encoding-Grounding)

• Hypothèse testée : Si l'échec est perceptuel, l'encodage de l'information visuelle devrait être faible dans les cas d'échec.
• Mesure : Calcul de la distance $L_2$ entre les états cachés d'images standards et d'images contrefactuelles à différentes profondeurs du réseau.
• Sondage linéaire : Entraînement de classifieurs linéaires pour vérifier si les attributs visuels sont décodables à partir des états cachés.

C. Validation Causale par Patching d'Activation

• Limitation des méthodes LLM classiques : Le patching du dernier token (standard en interprétabilité LLM) échoue car l'information visuelle est distribuée sur toute la séquence de tokens d'image.
• Nouvelle approche : Patching de séquence complète (Full-sequence activation patching). Injection des états cachés d'une exécution « standard » (ex: banane jaune) dans une exécution « contrefactuelle » (ex: banane bleue) au niveau des couches MAC identifiées.
• Décomposition : Analyse séparée du patching des tokens d'image vs tokens de texte.

D. Intervention par Guidage d'Activation (Steering)

• Méthodes : Application de deux techniques sans réentraînement (training-free) sur les couches précoces :
  1. Guidage linéaire : Ajout d'une direction de contraste ($h_{cf} - h_{std}$) aux états cachés.
  2. Guidage par Autoencodeur Épars (SAE) : Identification et manipulation de caractéristiques spécifiques (features) via un SAE, avec une stratégie résiduelle pour éviter la perte d'information.

3. Résultats Clés

A. Encodage vs Arbitrage

• Encodage robuste : Les modèles encodent correctement l'information visuelle (ex: la couleur bleue) même lorsqu'ils répondent incorrectement (« jaune »). La force d'encodage ($L_2$) est statistiquement identique entre les cas de succès et d'échec.
• Dissociation : Il existe une dissociation claire : les modèles « voient » bien, mais échouent à agir sur cette vision.
• Prédicteur de succès : Ce n'est pas la force de l'encodage qui prédit le succès, mais l'écart de logits (logit gap) à la dernière couche entre le token visuel et le prior. Une corrélation forte ($\rho = 0.847$) existe entre cet écart et le résultat final.

B. Dynamique d'Arbitrage (MAC)

• Point de bascule : Le moment où le visuel l'emporte sur le prior varie considérablement selon l'architecture (de 36 % à 71 % de la profondeur du réseau).
• Effet de l'échelle (Scaling) : Les modèles plus grands (ex: Qwen2-VL-72B) basculent plus tôt vers la réponse visuelle et avec des marges plus larges, mais la dissociation persiste même à grande échelle.
• Spécificité des attributs : Le point de bascule diffère selon l'attribut (couleur vs taille), suggérant des voies d'arbitrage distinctes.

C. Validation Causale

• Échec du patching du dernier token : Le patchage du seul dernier token ne modifie que 0-1 % des sorties, confirmant que l'information visuelle est distribuée.
• Succès du patching complet : Le remplacement des états cachés sur toute la séquence de tokens d'image inverse 60 à 84 % des réponses (de la réponse visuelle au prior).
• Rôle des tokens : Les tokens d'image portent presque tout l'effet causal, tandis que les tokens de texte n'ont aucun impact causal significatif.

D. Interventions

• Amélioration sans entraînement : Le guidage d'activation (steering) appliqué aux couches précoces (avant la formation du régime d'arbitrage) améliore l'ancrage visuel de +1,4 % à +3,8 %.
• SAE vs Linéaire : Le guidage par SAE est plus précis (moins de dégradations) car il cible des sous-espaces de caractéristiques distribuées, contrairement à une simple direction vectorielle.
• Fenêtre d'intervention : L'intervention doit se faire avant la couche MAC (là où la décision est observée), car c'est là que les états cachés sont encore malléables.

4. Contributions Principales

1. Réfutation de la cécité perceptuelle : Preuve empirique que les échecs d'ancrage (grounding) dans les conflits visuel-linguistique sont dus à un mécanisme d'arbitrage défaillant, et non à une incapacité à percevoir l'image.
2. Méthodologie MAC : Introduction d'une analyse de crossover couche par couche pour cartographier la compétition entre priors et preuves visuelles.
3. Patching de séquence complète : Démonstration que les techniques d'interprétabilité LLM standard (dernier token) sont inadéquates pour les VLMs, nécessitant une intervention sur l'ensemble de la séquence de tokens d'image.
4. Solutions pratiques : Démonstration que des interventions légères et sans réentraînement peuvent améliorer la fiabilité des VLMs en agissant sur les mécanismes d'arbitrage.

5. Signification et Implications

• Compréhension des modèles : Ce travail change la perspective sur les hallucinations visuelles. Le problème n'est pas que le modèle « ne voit pas », mais qu'il « choisit » de ne pas suivre ce qu'il voit.
• Sécurité et Fiabilité : Pour les déploiements critiques (médical, industriel), il est crucial de corriger les mécanismes d'arbitrage plutôt que d'essayer d'améliorer la perception visuelle.
• Architecture future : Les résultats suggèrent que les architectures actuelles de VLM (connecteurs entre vision et langage) ont un goulot d'étranglement structurel dans la gestion des conflits, indépendant de la capacité du modèle (scaling).
• Interventions ciblées : La possibilité d'améliorer les performances par simple guidage d'activation (steering) ouvre la voie à des correctifs dynamiques et réversibles sans coût de réentraînement massif.

En résumé, les auteurs concluent que « les modèles voient déjà bien, le défi est de les amener à agir sur ce qu'ils voient ».