💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Cet article introduit un cadre mécaniste centré sur les opérations pour analyser les défaillances des modèles de vision-langage dans le cadre de la VQA compositionnelle, révélant quatre modes de défaillance distincts et démontrant qu'ils se propagent à travers des voies de calcul spécifiques et dissociées, établissant ainsi une base pour des améliorations ciblées de la fiabilité.

Auteurs originaux : Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Publié 2026-07-20

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Détective, la Carte et le Cerveau Défaillant

Imaginez que vous essayiez d'apprendre à un robot à devenir un détective. Vous lui donnez l'image d'une pièce en désordre et une question comme : « Le chat rouge est-il assis sur la chaise bleue ? » Pour répondre, le robot ne peut pas simplement deviner ; il doit effectuer une série d'étapes mentales. D'abord, il doit trouver le chat (sélection de l'objet). Ensuite, il doit vérifier si le chat est rouge (vérification de l'attribut). Enfin, il doit regarder la chaise et comprendre la relation spatiale entre les deux (raisonnement). Ce domaine d'étude s'appelle la Modélisation Vision-Langage, où les ordinateurs tentent de comprendre simultanément les images et le texte.

Pendant longtemps, ces robots sont devenus très doués pour répondre aux questions de manière générale. Mais il y avait un piège : ils « trichaient » parfois. Au lieu de réellement regarder l'image, ils pouvaient simplement deviner la réponse en se basant sur la façon dont les mots s'assemblent habituellement dans le langage humain. Par exemple, si on demande : « Est-ce que le ciel est habituellement bleu ? », le robot pourrait répondre « oui » sans même regarder l'image. Les scientifiques voulaient savoir : quand ces robots se trompent, pourquoi échouent-ils ? Est-ce parce qu'ils ne voient pas l'objet ? Est-ce parce qu'ils n'arrivent pas à comprendre la relation ? Ou ignorent-ils complètement l'image ? Comprendre cela est crucial car, si nous voulons que ces robots soient des assistants fiables dans le monde réel, nous devons savoir exactement quelle partie de leur cerveau dysfonctionne afin de pouvoir la réparer.

L'Autopsie Centrée sur l'Opération

Dans cet article, les chercheurs ont décidé de ne plus se contenter de regarder le score final, mais de pratiquer une « autopsie mécaniste » sur le cerveau du robot. Ils ont utilisé un ensemble de données spécifique appelé GQA, qui contient des questions nécessitant l'enchaînement de plusieurs étapes, comme une recette. Ils se sont concentrés sur un modèle appelé Qwen2.5-VL-3B, un grand modèle de langage doté d'une composante visuelle. Au lieu de simplement demander : « A-t-il réussi ? », ils ont demandé : « Comment y est-il parvenu, et où le signal s'est-il brisé ? »

Ils ont développé une méthode ingénieuse pour tester le câblage interne du robot. Imaginez le cerveau du robot comme une usine dotée de deux lignes d'assemblage principales : l'une est la Ligne d'Attention, où les « yeux » du robot scannent l'image et décident quelles parties focaliser, et l'autre est la Ligne MLP (Réseau de neurones à propagation avant), où le robot traite et transforme cette information en une pensée finale. Les chercheurs ont utilisé des « interventions causales », ce qui est une façon sophistiquée de dire qu'ils ont temporairement cassé des parties spécifiques du cerveau du robot pour voir ce qui se passait. Ils bloquaient la capacité du robot à regarder un objet spécifique, ou l'empêchaient de traiter les détails de cet objet, puis observaient si la réponse changeait.

Les Quatre Façons dont les Robots Échouent

En cassant le cerveau du robot de manières très spécifiques, les auteurs ont découvert qu'il n'existe pas seulement des réponses « justes » et « fausses ». Il existe en réalité quatre types de défaillances distinctes, et chaque échec se produit dans une partie différente de l'usine :

L'Échec du « Point Aveugle » (Échec de l'Ancrage) :
Cela se produit lorsque le robot est incapable de trouver l'objet dans l'image. C'est comme essayer de trouver une voiture rouge spécifique dans un parking, mais avec les yeux du robot fermés. Les chercheurs ont découvert que lorsque le robot échoue ainsi, c'est parce qu'il n'a jamais réellement fixé les détails visuels de l'objet. Ce type d'échec est géré par la Ligne MLP (l'usine de traitement). Si vous bloquez le MLP pour le traitement de l'objet, le robot échoue complètement. Cela suggère que le robot peine à transformer les données d'image brutes en un « objet » reconnaissable dans son esprit.
L'Échec de la « Sur-Focalisation » (Échec du Raisonnement) :
C'est le cas le plus intéressant et le plus contre-intuitif. Ici, le robot voit parfaitement l'objet, mais il reste bloqué en train de le fixer. Imaginez que le robot voit un chat et une chaise, mais au lieu de penser : « Le chat est sur la chaise », il s'obsède sur la texture des poils du chat et oublie de le comparer à la chaise. Le robot est en état de « sur-ancrage ». L'étude a montré que ce type d'échec circule via la Ligne d'Attention (le mécanisme de balayage), spécifiquement dans les couches tardives du cerveau. Le robot regarde la bonne chose, mais ne parvient pas à utiliser ce regard pour établir une connexion logique.
L'Échec de la « Mauvaise Propriété » (Échec d'Extraction d'Attribut) :
Dans ce scénario, le robot trouve l'objet et sait exactement où il se trouve, mais il se trompe sur les détails. Il voit un chariot doré mais l'appelle argenté. Le robot possède le signal visuel, mais l'étape finale de conversion de ce signal en un mot échoue. Cela se produit également dans la Ligne MLP, mais spécifiquement à la toute fin, lors de la génération de la réponse. C'est comme si l'usine avait la bonne matière première, mais que la machine qui appose l'étiquette finale était cassée.
L'Échec du « Tricheur » (Dominance du Prior Linguistique) :
Parfois, le robot ne regarde même pas l'image. Si la question est « La chaîne est-elle noire ou jaune ? » et que le robot sait grâce à son entraînement que les chaînes sont généralement noires, il répond simplement « noire » sans vérifier l'image. Les chercheurs ont constaté que pour ce type de questions, le cerveau visuel du robot est à peine actif. Il s'appuie entièrement sur son « cerveau linguistique » pour deviner la réponse. C'est un contournement complet du système visuel.

La Grande Division des Voies

La découverte la plus significative de l'article est une « dissociation des voies ». Les chercheurs ont montré que différents types d'erreurs circulent par des fils différents dans le cerveau du robot.

Si le robot échoue à trouver l'objet (Ancrage) ou échoue à le décrire correctement (Extraction d'Attribut), le problème se situe dans la ligne de traitement MLP.
Si le robot échoue à raisonner sur la relation entre les objets (Raisonnement), le problème se situe dans la ligne de balayage de l'Attention.

C'est un point majeur car cela signifie que l'on ne peut pas corriger toutes les erreurs de robot avec un seul outil. Si vous essayez de corriger une erreur de « raisonnement » en modifiant la ligne de traitement des objets, vous n'y arriverez pas. Vous devez cibler le fil spécifique où l'erreur se produit.

Cela arrive-t-il à tous les robots ?

Les chercheurs ont également vérifié si cela était vrai pour un autre robot, LLaVA-1.5. Ils ont découvert que les échecs de type « Tricheur » et « Mauvaise Propriété » se produisaient chez les deux robots, suggérant qu'il s'agit de problèmes fondamentaux liés à la génération de réponses. Cependant, les échecs de type « Point Aveugle » et « Sur-Focalisation » n'apparaissaient que chez le premier robot (Qwen2.5-VL). Pourquoi ? Parce que le premier robot possède un encodeur de vision qui conserve des informations très détaillées et au pixel près sur l'emplacement des objets. Le second robot (LLaVA) utilise un encodeur de vision qui résume l'image de manière plus globale, perdant ainsi une partie de ce détail spatial fin. Comme le second robot ne possède pas le même niveau de « carte » détaillée, il ne souffre pas des mêmes types spécifiques d'erreurs de « Point Aveugle » ou de « Sur-Focalisation ». Cela suggère que certaines erreurs ne surviennent que lorsqu'un robot possède une carte à haute résolution dans laquelle il peut s'égarer.

L'Essentiel à Retenir

L'article conclut que nous ne pouvons plus traiter les Modèles Vision-Langage comme une boîte noire unique qui fonctionne ou ne fonctionne pas. Ce sont des machines complexes dotées de différentes lignes d'assemblage pour différentes tâches. Lorsqu'elles échouent, elles échouent de manières spécifiques et prévisibles : parfois elles ne voient pas, parfois elles ne pensent pas, et parfois elles se contentent de deviner. En identifiant exactement quel « fil » est cassé pour chaque type de question, les auteurs fournissent une feuille de route pour construire de meilleurs robots, plus fiables, qui regardent réellement l'image avant de parler.

Résumé Technique : Comment les VLM échouent-ils ? Désalignement Vision-Opération dans le VQA Compositionnel

Énoncé du Problème

Le Questionnement Visuel Compositionnel (VQA) nécessite que les Modèles Vision-Langage (VLM) exécutent des opérations de raisonnement en chaîne — telles que la sélection d'objets, la résolution de relations spatiales et la vérification d'attributs — sur des preuves visuelles ancrées. Bien que les VLM modernes affichent une forte précision globale sur des benchmarks comme GQA, cette performance masque des schémas d'échec systématiques. Les modèles réussissent souvent via des raccourcis linguistiques sur des opérations faciles, tout en échouant sur des tâches exigeant un véritable ancrage visuel et une inférence multi-étapes.

Les analyses existantes se concentrent largement sur des types d'échecs globaux (ex: hallucination d'objets) ou sur le flux d'information intermodal, mais manquent d'une compréhension mécaniste de comment et où les échecs se produisent. Plus précisément, il reste incertain de savoir si différentes opérations compositionnelles échouent par des voies de calcul internes distinctes (ex: mécanismes d'attention vs réseaux de neurones à propagation avant/feedforward) et comment ces échecs sont liés aux opérations de raisonnement spécifiques effectuées.

Méthodologie

Les auteurs proposent un cadre mécaniste centré sur l'opération pour décomposer les échecs des VLM en fonction de l'opération de raisonnement spécifique et de la voie de calcul interne impliquée. L'étude utilise le jeu de données GQA, qui fournit des annotations de programmes fonctionnels et des graphes de scènes, permettant aux auteurs d'identifier les jetons (tokens) visuels causalement pertinents pour chaque étape de raisonnement plutôt que d'abstraire uniformément tous les jetons visuels.

La méthodologie emploie trois interventions causales complémentaires appliquées à travers les 36 couches du modèle Qwen2.5-VL-3B-Instruct :

Ablation de la Moyenne Causale (Causal Mean Ablation) : Remplace les états cachés de jetons d'ancrage spécifiques (associés à un objet cible) par une base neutre (activation moyenne de tous les jetons de vision). Cela mesure la dépendance causale totale vis-à-vis de la représentation visuelle de l'objet.
Élimination de l'Attention (Attention Knockout) : Définit à zéro les poids d'attention des jetons de l'objet d'ancrage vers le jeton de la réponse à des couches spécifiques, isolant ainsi la voie d'attention inter-jetons.
Élimination du MLP (MLP Knockout) : Annule la sortie du Réseau de Propagation Avant (MLP) aux positions de jetons spécifiques (soit à la position de l'objet, soit à la position de la réponse), isolant ainsi la voie de propagation avant intra-jeton.

Les auteurs définissent la Force d'Ancrage (Grounding Strength) comme la dégradation maximale de la log-probabilité de la réponse correcte sous l'ablation de la moyenne. Ils calculent également le Décalage de Spécificité d'Ancrage (Grounding Specificity Shift - GSS) (Cohen's d) pour quantifier la différence de dégradation entre les prédictions correctes et incorrectes, ce qui sert de métrique primaire pour classifier les modes d'échec.

Contributions Clés

1. Taxonomie des Échecs Sensible aux Opérations

Le papier identifie quatre modes d'échec mécanistiquement distincts, chacun caractérisé par une relation unique entre la force d'ancrage visuel et la justesse de la réponse :

Échec d'Ancrage (Grounding Failure) : Se produit lorsque les réponses correctes présentent une force d'ancrage substantiellement plus élevée que les réponses incorrectes. Le modèle échoue car il ne développe jamais de dépendance causale envers la région visuelle de l'objet cible (ex: l'opération select).
Échec de Raisonnement (Reasoning Failure) : Se produit lorsque la relation s'inverse ; les réponses incorrectes présentent une force d'ancrage plus élevée que les réponses correctes. Le modèle localise l'objet mais s'ancre excessivement sur sa représentation visuelle lors des étapes où l'inférence relationnelle abstraite devrait dominer (ex: l'opération relate).
Échec d'Extraction d'Attribut (Attribute Extraction Failure) : Se produit lorsque la force d'ancrage est élevée quel que soit le résultat. Le modèle ancre l'objet avec succès, mais la computation finale convertissant la représentation ancrée en une réponse échoue (ex: verify, query, exist).
Échec de Dominance du Prior Linguistique (Language Prior Dominance Failure) : Se produit lorsque la force d'ancrage est faible pour les réponses correctes comme incorrectes. Le modèle s'appuie sur des motifs linguistiques et des connaissances du monde plutôt que sur le calcul visuel (ex: choose, filter).

2. Dissociation des Voies de Calcul

Une découverte centrale est la dissociation des voies de calcul à travers les modes d'échec :

Les Échecs d'Ancrage et d'Extraction d'Attribut passent principalement par le Réseau de Propagation Avant (MLP). Pour select, l'échec réside dans le traitement de la représentation de l'objet ; pour verify et query, l'échec réside dans la capacité du MLP à la position de la réponse à extraire le bon attribut d'une représentation bien ancrée.
Les Échecs de Raisonnement passent principalement par l'Attention des Couches Tardives (Late-Layer Attention). Pour relate, les erreurs sont pilotées par le jeton de la réponse qui porte attention aux jetons visuels de l'objet dans les couches tardives (28–35), indiquant une dépendance excessive au contenu visuel plutôt qu'à l'abstraction relationnelle.

3. Validation Trans-Architecture et Trans-Benchmark

Benchmark VSR : La validation sur le benchmark de Raisonnement Spatial Visuel (VSR) confirme que les erreurs de raisonnement spatial sont médiées par le MLP au stade de l'encodage de l'objet (spécifiquement dans le traitement des jetons de boîte englobante/bounding box), et non au stade du décodage de la réponse. Cela distingue les échecs de raisonnement spatial des éches d'extraction d'attributs.
Analyse LLaVA-1.5-7B : Appliquée à LLaVA-1.5 (qui utilise un encodeur CLIP gelé), les modes d'échec d'Extraction d'Attribut et de Prior Linguistique restent cohérents (indépendants de l'architecture). Cependant, les échecs d'Ancrage et de Raisonnement disparaissent. Cela suggère que ces modes sont dépendants de l'encodeur, n'émergeant que lorsque l'encodeur visuel préserve une granularité spatiale suffisante pour que le modèle de langage échoue à la traiter.

Résultats

Échec d'Ancrage (select) : Montre une forte association positive entre la force d'ancrage et la justesse ( $d = +0.75$ ). L'échec est localisé dans le MLP à la position de la réponse, indiquant que la reconnaissance d'objet repose sur des transformations intra-jetons plutôt que sur le routage de l'attention.
Échec de Raisonnement (relate) : Montre une association négative ( $d = -0.17$ ), où les réponses incorrectes sont plus dépendantes des jetons visuels de l'objet. L'élimination de l'attention amplifie cet effet, avec des erreurs concentrées dans les couches tardives, confirmant que le modèle "sur-ancre" sur le contenu visuel lorsqu'il devrait raisonner de manière abstraite.
Extraction d'Attribut (verify, query, exist) : Montre une force d'ancrage absolue élevée mais aucune discrimination de justesse significative lors de l'élimination de l'attention. Les échecs sont localisés dans le MLP à la position de la réponse (pour verify) ou aux positions de l'objet (pour exist), indiquant une rupture dans la conversion des représentations ancrées en attributs spécifiques.
Prior Linguistique (choose, filter) : Montre une force d'ancrage négligeable et aucun effet significatif sur les voies de calcul, confirmant que ces opérations contournent le calcul visuel.

Signification

Le papier affirme fournir une base fondée sur des principes pour des améliorations ciblées de la fiabilité des VLM dans le raisonnement multimédia. En démontrant que différents types d'échecs nécessitent des stratégies correctives fondamentalement différentes, ce travail soutient que les solutions universelles ("one-size-fits-all") sont inefficaces. Spécifiquement :

Des interventions ciblant le traitement de propagation avant (feedforward) sont nécessaires pour les erreurs d'ancrage et d'extraction d'attributs.
Des interventions ciblant le routage de l'attention (particulièrement dans les couches tardives) sont nécessaires pour les erreurs de raisonnement.
La distinction entre les modes d'échec de niveau tâche (indépendants de l'architecture) et ceux dépendants de l'encodeur offre un cadre de diagnostic pour comprendre les limitations des modèles basées sur leurs capacités d'encodage visuel.

Les auteurs soulignent que leur contribution est diagnostique, offrant une carte mécaniste de comment les VLM échouent, plutôt que de proposer une intervention corrective spécifique. Cette compréhension granulaire est présentée comme un prérequis pour développer des VLM plus robustes et fiables.