🤖 machine learning

Diagnosing Visual Ignorance in Vision-Language Models

Cet article étudie la dépendance systématique des modèles vision-langage aux priors linguistiques au détriment des preuves visuelles en révélant des échecs de routage interne par une analyse couche par couche et en démontrant que les benchmarks actuels récompensent souvent l'ignorance visuelle via une métrique de décomposition visuelle progressive.

Auteurs originaux : Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : L'étudiant « intelligent » qui ne regarde pas

Imaginez un étudiant passant un examen. Cet étudiant a lu des millions de livres et connaît les réponses à presque toutes les questions grâce à ce qu'il a lu auparavant. Cependant, l'examen comprend aussi des images qui sont censées être la source des réponses.

Le problème découvert par cet article est que cet étudiant ignore souvent les images. Même quand l'image est floue, à l'envers ou complètement noire, l'étudiant écrit avec assurance la réponse qu'il juge la « plus probable » d'après ses lectures, et non ce qui se trouve réellement dans l'image. L'article appelle cela l'« ignorance visuelle ».

Les chercheurs ont voulu savoir :

Comment le modèle décide-t-il d'ignorer l'image ? (Le mécanisme interne)
À quel point ce problème est-il grave sur les tests standards ? (Le comportement externe)

Partie 1 : À l'intérieur de la machine (L'analogie de l'usine)

Pour comprendre comment le modèle fonctionne, imaginez le cerveau de l'IA comme une longue chaîne de montage d'usine avec plus de 30 stations (couches). L'image et la question entrent au début, et la réponse finale sort à la fin.

Les chercheurs ont découvert que l'usine présente une panne en deux étapes :

Les stations du milieu (Le problème du « colis perdu ») :
Dans le milieu de la chaîne de montage, les ouvriers (les couches) sont censés saisir les détails visuels de l'image. Mais souvent, ils font tomber le colis. Ils ne parv'ient pas à saisir les détails spécifiques et minuscules (comme compter exactement combien de pattes possède un animal). Ils sont trop occupés à lire les instructions textuelles.
Les stations finales (Le problème du « manager qui impose sa volonté ») :
Même si un ouvrier au milieu de la chaîne parvient à saisir le bon détail visuel, les managers à la toute fin de la ligne le jettent souvent. Ils disent : « Non, cela ne correspond pas à ce que nous savons de nos livres. » Ils suppriment activement la vérité visuelle et la remplacent par une supposition basée sur des schémas linguistiques.

L'expérience :
Les chercheurs ont essayé de remplacer les ouvriers de différentes stations par des ouvriers « intelligents » formés pour prêter attention aux images.

Résultat : Remplacer uniquement les managers finaux aidait un peu, mais pas assez. Remplacer les ouvriers du milieu aidait un peu, mais pas assez. Ils ont dû remplacer les deux pour régler le problème. Cela a prouvé que l'« ignorance visuelle » est un effort d'équipe entre le milieu et la fin du cerveau.

Partie 2 : Le test de la « photo floue » (L'analogie du « plissement d'yeux »)

Pour voir à quel point ce problème est présent sur les tests du monde réel, les chercheurs ont inventé une nouvelle façon de noter les modèles.

Imaginez que vous passiez un QCM. Habituellement, si vous ne connaissez pas la réponse, vous pouvez deviner. Mais si le test est difficile, vous pourriez avoir de la chance. Pour empêcher les modèles de tricher par la chance, les chercheurs ont utilisé un test de « flou progressif » :

Ils ont pris une photo claire et ont posé une question.
Ensuite, ils ont rendu la photo légèrement floue (comme si l'on plissait les yeux).
Ensuite, ils l'ont rendue très floue (comme si l'on regardait à travers une vitre embuée).
Enfin, ils en ont fait un bloc gris complet (aucune image du tout).

La métrique :
Ils ont vérifié : Le modèle donne-t-il exactement la même réponse à chaque étape ?

Si le modèle changeait sa réponse à mesure que l'image devenait plus floue, c'est qu'il regardait réellement l'image.
Si le modèle donnait la même réponse même lorsque l'image était un bloc gris, cela signifiait que le modèle ignorait totalement l'image et se contentait de deviner en fonction des schémas textuels.

Le résultat choc :
Sur de nombreux tests populaires, 20 % à 40 % des questions étaient répondues correctement même lorsque l'image était complètement détruite. Les modèles étaient essentiellement en train de « tricher » en utilisant leur mémoire des schémas linguistiques au lieu de regarder les preuves visuelles.

Partie 3 : Pourquoi cela importe (L'analogie de la « mauvaise carte »)

L'article soutient que notre façon actuelle de tester l'IA est comparable à l'utilisation d'une mauvaise carte.

Le problème : Les tests (benchmarks) sont conçés de telle sorte que l'IA peut « tricher ». Comme les questions présentent souvent des schémas qui peuvent être résolus simplement en lisant les mots, l'IA apprend à sauter l'étape la plus difficile (regarder l'image).
La conséquence : Nous pensons que l'IA devient plus intelligente parce que ses scores sont élevés, mais elle devient en réalité simplement meilleure pour deviner à partir du texte. C'est comme un étudiant qui mémorise le corrigé au lieu d'apprendre la matière.

La conclusion : Comment réparer cela

L'article suggère que nous ne pouvons pas simplement rendre l'IA plus grande ou plus intelligente ; nous devons changer les règles du jeu.

Réparer l'usine : Nous devons entraîner les ouvriers du « milieu » et de la « fin » à travailler ensemble, en veissant à ce que l'information visuelle ne soit pas jetée.
Réparer la carte : Nous devons créer de nouveaux tests où la réponse ne peut pas être devinée par le texte seul. Les questions doivent être conçues de manière à ce que, si vous ne regardez pas l'image, vous ne puissiez tout simplement pas résoudre l'énigme.

En bref : L'IA « hallucine » actuellement des détails visuels parce qu'elle fait plus confiance à ses habitudes de lecture qu'à ses yeux. Les chercheurs ont trouvé précisément où cela se produit dans le cerveau et ont prouvé que nos tests actuels sont trop faciles, laissant l'IA tricher en ne regardant pas.

Résumé technique : Diagnostiquer l'ignorance visuelle des modèles de vision-langage

Énoncé du problème

Les modèles de vision-langage (VLM) présentent fréquemment une « ignorance visuelle », un phénomène où les modèles génèrent des réponses confiantes basées sur des priors linguistiques ancrés plutôt que sur des preuves visuelles. Bien que cette tendance comportementale soit bien documentée, les mécanismes internes qui pilotent cette dépendance et son impact spécifique sur la validité des benchmarks restent insuffisamment compris. La littérature actuelle suggère que le simple passage à l'échelle des paramètres ne résout pas le problème ; les modèles continuent de synthétiser des détails illusoires même en l'absence d'images (l'effet de mirage). De plus, alors que les encodeurs de vision préservent souvent les primitives géométriques, le VLM intégré échoue à les utiliser, ce qui suggère un goulot d'étranglement dans le routage et la suppression de l'information au sein de la pile du décodeur de langage plutôt qu'un échec de la perception visuelle initiale. Les méthodes d'évaluation existantes ne parviennent pas à distinguer la compréhension multimodale authentique de la dépendance aux raccourcis textuels, récompensant par inadvertance les modèles qui ignorent l'entrée visuelle.

Méthodologie

Les auteurs proposent un cadre à double perspective pour diagnostiquer la dépendance aux priors linguistiques, en analysant à la fois les mécanismes internes du modèle et les manifestations comportementales externes à travers des benchmarks standards.

1. Analyse mécaniste interne

Pour tracer la manière dont la sémantique visuelle de vérité terrain entre en compétition avec la sémantique des priors linguistiques, les auteurs emploient deux techniques complémentaires :

Remplacement de couches contrefactuel : Les auteurs affinent une variante débiaisée du décodeur de langage (en utilisant le jeu de données VLMBias) et remplacent systématiquement des couches du modèle de base par celles de la version affinée. Cela isole les contributions causales de plages de couches spécifiques (intermédiaires vs tardives) à la dépendance aux priors linguistiques.
Sondage par MLP supervisé couche par couche : Contra la projections de vocabulaire zero-shot (ex: LogitLens) qui peuvent être instables dans les premières couches, les auteurs entraînent des classificateurs de perceptrons multicouches (MLP) supervisés sur les états cachés de chaque couche du décodeur. En utilisant le jeu de données Pixmo-Count, ces sondes cartographient les états cachés bruts vers des distributions de probabilité sur les réponses de vérité terrain versus les réponses de priors linguistiques, révélant l'évolution dynamique de la compétition sémantique à travers la profondeur du transformer.

2. Analyse comportementale externe

Pour quantifier la dépendance aux priors linguistiques dans les benchmarks standards, les auteurs introduisent une Métrique de Dégradation Visuelle Progressive :

Flou Gaussien Multi-étapes : Les images d'entrée sont dégradées à travers une séquence de noyaux gausiens (de $1\times1$ à $61\times61$ ).
Indicateur de Réponse Conécutivement Identique : Les auteurs suivent si la réponse d'un modèle reste invariante à travers tous les niveaux de dégradation. Cette métrique filtre le bruit de l'estimation aléatoire inhérent aux espaces de réponses contraints (ex: binaire ou choix multiples), fournissant une limite inférieure statistiquement fiable pour les cas où le modèle ignore totalement le contexte visuel.
Évaluation de Benchmark : Ce cadre est appliqué à douze benchmarks de questions-réponses visuelles (VQA) (incluant RePOPE, HallusionBench, MMMU et MMStar) en utilisant trois VLM représentatifs (Qwen2.5-VL-3B/7B et LLaVA-v1.6-Mistral-7B).

Principaux résultats

Échecs de routage interne

L'analyse révèle un goulot d'étranglement coopératif multi-étapes au sein du décodeur de langage :

Couches intermédiaires : Ces couches échouent souvent à extraire efficacement les informations visuelles granulaires et localisées de l'encodeur de vision.
Couches tardives : Même lorsque les signaux visuels survivent aux couches intermédiaires, les couches profondes suppriment activement ces signaux au profit des biais de l'espace textuel.
Compétition dynamique : Les résultats de sondage montrent que, bien que les signaux visuels de vérité terrain puissent égaler ou dépasser les probabilités des priors linguistiques dans certaines couches intermédiaires, la probabilité des réponses de priors linguistiques augmente brusquement et domine dans le dernier quart à un tiers de la pile du décodeur. Cela indique que l'ignorance visuelle n'est pas un échec ponctuel, mais le résultat de défaillances de routage cumulatives et d'une suppression active.

Vulnérabilités des Benchmarks

L'évaluation externe démontre que les benchmarks actuels ne parviennent souvent pas à pénaliser l'ignorance visuelle :

Taux d'invariance élevés : À travers les datasets évalués, 20 % à 40 % des instances produisent des réponses entièrement invariantes, même sous une obfuscation visuelle sévère ou totale.
Absence de pénalité de performance : Pour le sous-ensemble d'échantillons où les réponses restent consécutivement identiques à travers tous les niveaux de flou, la précision du modèle reste souvent stable, voire augmente, à mesure que l'image se dégrade. Cela indique que ces benchmarks récompensent par inadvertance les modèles pour leur dépendance à des attentes linguistiques aveugles plutôt qu'à des preuves visuelles.
Contamination des données : Des modèles comme LLaVA-v1.6-Mistral-7B présentent des taux d'invariance et une précision plus élevés sur les images dégradées par rapport aux modèles Qwen, suggérant une mémorisation potentielle des réponses de benchmark lors du pré-entraînement.

Principales contributions

Diagnostic mécaniste : Le papier fournit la première carte couche par couche de la manière dont les priors linguistiques supplantent les signaux visuels, identifiant que la dépendance est pilotée à la fois par une récupération inefficace dans les couches intermédiaires et une suppression active dans les couches tardives.
Nouvelle métrique d'évaluation : L'introduction de la métrique de dégradation visuelle progressive offre une méthode robuste pour filtrer l'estimation aléatoire et isoler la véritable dépendance aux priors linguistiques dans les benchmarks standards.
Preuve empirique des failles des benchmarks : L'étude démontre qu'une fraction substantielle d'exemples dans les benchmarks VQA de premier plan est soluble sans traitement visuel, remettant en question la validité des protocoles d'évaluation actuels.

Signification et implications

Les auteurs soutiennent que la dépendance aux priors linguistiques est un échec de routage systématique affectant à la fois l'intérieur des modèles et la validité des benchmarks. Les conclusions suggèrent que :

Les paradigmes d'entraînement actuels sont insuffisants : Le simple chevauchement de caractéristiques visuelles sur des backbones dominés par le texte crée des conflits de représentation où l'objectif de prédiction de texte autorégressif domine, éloignant les représentations de la preuve visuelle.
Les protocoles d'évaluation doivent être redessinés : Les benchmarks standards ne parviennent pas à imposer la dépendance visuelle. Les auteurs préconisent de futurs cadres d'évaluation construits sur des données structurellement isolées ou contrefactuelles où les statistiques de l'espace textuel sont fondamentalement non informatives de l'état visuel.
Décalage de la distribution d'entraînement : Pour imposer un véritable ancrage cross-modal, la recherche future doit concevoir des distributions d'entraînement qui brisent les corrélations linguistiques spécieuses entre les prompts et les réponses, forçant les modèles à s'appuyer sur les preuves visuelles plutôt que sur les priors textuels mémorisés.

Le papier conclut que remédier à l'ignorance visuelle nécessite un changement fondamental tant dans la manière dont les modèles sont entraînés (découplage des distributions vision et langage) que dans la manière dont ils sont évalués (imposer la dépendance visuelle par l'isolement structurel).