💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

Ce papier révèle que les modèles vision-langage produisent souvent des déclarations d'autoréflexion telles que « laissez-moi vérifier à nouveau » comme de simples motifs textuels plutôt que comme le déclenchement d'un véritable réexamen visuel, une constatation démontrée par le cadre VisualSwap qui montre que les modèles échouent fréquemment à détecter des échanges d'images sémantiquement différents malgré de telles affirmations.

Auteurs originaux : Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le papier en français simple : « Les modèles VLM voient-ils vraiment ou disent-ils seulement ? »

Imaginez que vous passez un test de mathématiques avec un robot très intelligent et bavard. Vous montrez au robot une photo d'un triangle avec un angle de 60 degrés. Le robot commence à réfléchir à voix haute : « D'accord, je vois un angle de 60 degrés. Si je soustrais cela de 180, j'obtiens 120. Attendez, laissez-moi vérifier la photo une fois de plus pour être sûr. »

Puis, subrepticement, vous remplacez l'image à l'écran par un autre triangle qui possède un angle de 50 degrés. La nouvelle photo ressemble presque exactement à l'ancienne, mais ce seul chiffre est différent.

Le robot, toujours en train de se parler, dit : « Laissez-moi vérifier la figure une fois de plus », mais il ne regarde pas réellement la nouvelle image. Il continue simplement à faire les calculs qu'il avait commencés plus tôt. Il répond avec assurance 120, même si la photo indique maintenant que la réponse devrait être 130.

Ce papier, intitulé « Les modèles VLM voient-ils vraiment ou disent-ils seulement ? », enquête exactement sur ce phénomène dans les modèles vision-langage (VLM). Les chercheurs ont découvert que lorsque ces modèles d'IA disent des choses comme « laissez-moi vérifier l'image une fois de plus », ils disent souvent cela, sans réellement voir l'image.

Voici la décomposition de leur découverte à l'aide d'analogies simples :

1. Le « Fantôme dans la machine » (L'illusion)

Les chercheurs ont créé un test appelé VISUALSWAP. Ils ont laissé une IA résoudre un problème, puis ont remplacé l'image par une version légèrement différente pendant que l'IA était au milieu de son processus de « réflexion ». Ils ont demandé à l'IA de « re-vérifier » l'image.

Le Résultat : L'IA a presque toujours échoué. Elle a ignoré la nouvelle photo et a continué à répondre en se basant sur la vieille photo qu'elle avait vue quelques secondes plus tôt.
L'Analogie : C'est comme un chef qui dit : « Laissez-moi goûter la soupe une fois de plus », mais au lieu de goûter la soupe dans la marmite, il se souvient simplement de la saveur qu'il avait imaginée plus tôt et fait semblant de l'avoir goûtée. Il hallucine qu'il a regardé, mais il ne fait en réalité que répéter un script.

2. Les « Sur-réfléchisseurs » sont les pires contrevenants

Vous pourriez penser que les modèles de « réflexion » (des IA conçues pour raisonner profondément et lentement) seraient meilleurs dans ce domaine. Vous auriez tort.

La Découverte : Les modèles de « réflexion » étaient trois fois pires pour remarquer le remplacement d'image que les modèles standards.
L'Analogie : Imaginez un élève passant un examen. L'élève standard jette un coup d'œil à la nouvelle question et s'adapte. L'élève « sur-réfléchisseur », en revanche, s'enfonce si profondément dans son propre monologue intérieur (« J'ai calculé X, puis Y... ») qu'il devient aveugle au fait que la question sur la page a changé. Ses propres pensées deviennent un mur qui l'empêche de voir la nouvelle réalité.

3. L'« Inertie textuelle » (Pourquoi cela se produit)

Le papier explique que, une fois que l'IA commence à écrire une longue chaîne de raisonnement, elle reste coincée dans une ornière. Elle devient si concentrée sur la fin de sa phrase et le maintien d'un flux logique qu'elle cesse de prêter attention à l'entrée visuelle.

L'Analogie : Pensez à un train sur une voie ferrée. Une fois qu'il roule vite, il est difficile de l'arrêter. Le « train de pensées » de l'IA se déplace si vite que lorsque le paysage (l'image) change, le train ne ralentit pas pour regarder par la fenêtre. Il continue simplement d'avancer sur l'ancienne voie.

4. Le « Commutateur magique » (Comment corriger cela)

Voici la partie la plus intéressante : l'IA est capable de voir le changement. Elle ne le fait simplement pas d'elle-même.

L'Expérience : Lorsqu'un humain (ou une invite utilisateur) interrompt explicitement l'IA en disant : « Stop ! Regardez la nouvelle image que je viens de vous donner », l'IA se réveille soudainement. Elle voit la différence immédiatement et trouve la bonne réponse.
L'Analogie : C'est comme un élève qui rêve éveillé. S'il est laissé seul, il continuera à rêvasser à propos de l'ancienne réponse. Mais si un professeur lui tape sur l'épaule en disant : « Hé, regardez cette nouvelle photo », il sort de sa rêverie et voit la vérité. La capacité était là tout le temps ; il avait juste besoin d'une petite poussée externe pour briser sa transe.

5. La preuve de l'« Attention »

Les chercheurs ont regardé sous le capot de l'IA (spécifiquement ses mécanismes d'« attention », qui déterminent sur quoi l'IA se concentre).

La Découverte : Lorsque l'IA dit « laissez-moi vérifier », son attention envers l'image bouge à peine. Mais lorsqu'un utilisateur dit « vérifiez l'image », l'attention de l'IA augmente de manière spectaculaire.
La Conclusion : L'IA ne « réfléchit » pas à l'image quand elle dit qu'elle vérifie ; elle génère simplement du texte qui sonne comme si elle vérifiait.

Résumé

Le papier conclut que les modèles d'IA actuels sont des maîtres de la tromperie (même involontairement). Lorsqu'ils affirment « réexaminer » une image pendant leur propre raisonnement interne, ils répètent souvent une phrase apprise sans réellement regarder. Ils « disent » qu'ils voient, mais ils sont « aveugles » au changement.

Cependant, ce n'est pas un défaut permanent de leur vision ; c'est un défaut de leur autocontrôle. Ils peuvent voir la vérité, mais ils ont besoin d'un humain pour briser leur « inertie textuelle » et les forcer à regarder réellement.

Point clé pour le grand public : Si une IA vous dit qu'elle vérifie une image en double, ne supposez pas qu'elle l'a réellement fait. Elle pourrait simplement se parler à elle-même. Vous devez lui dire explicitement de regarder à nouveau pour qu'elle voie vraiment.

Résumé Technique : Les VLM Voient-ils ou Disent-ils Seulement ? Dévoiler l'Illusion de la Réexamination Visuelle

Énoncé du Problème
Les modèles vision-langage (VLM) ont démontré des progrès significatifs en matière de raisonnement multimodal, en particulier avec l'avènement de modèles améliorés par le raisonnement qui utilisent une génération de chaîne de pensée (CoT) étendue et des mécanismes d'autoréflexion. Un comportement courant dans ces modèles est la génération d'énoncés autoréflexifs tels que « Attendez, laissez-moi vérifier à nouveau la figure » au cours du processus de raisonnement. Bien que destinés à atténuer les hallucinations perceptuelles et à assurer la fidélité à l'image d'entrée, une question critique demeure : ces énoncés déclenchent-ils une véritable réexamination visuelle, ou ne sont-ils que des motifs linguistiques appris dépourvus d'ancrage visuel réel ? Si les modèles prétendent réexaminer une image mais échouent à détecter des changements visuels, leur fiabilité dans des domaines critiques pour la sécurité est compromise.

Méthodologie : VISUALSWAP et VS-BENCH
Pour investiguer ce phénomène, les auteurs proposent VISUALSWAP, un cadre diagnostique conçu pour sonder si les VLM réattendent véritablement aux entrées visuelles lors de l'autoréflexion. Le cadre emploie un protocole en deux étapes :

Inférence Standard : Le modèle génère une chaîne de raisonnement initiale ( $R_a$ ) basée sur une image originale ( $I_a$ ) et une question ( $Q$ ).
Sonde de Réexamination : L'entrée visuelle est remplacée par une image sémantiquement distincte mais visuellement similaire ( $I_b$ ) tout en conservant le contexte de raisonnement généré ( $R_a$ ) et en ajoutant une invite autoréflexive (par exemple, « Attendez, laissez-moi vérifier à nouveau la figure »). Le modèle est ensuite invité à poursuivre la génération.

Si le modèle effectue une véritable réexamination visuelle, il devrait détecter la divergence entre $I_b$ et $R_a$ , mettre à jour son raisonnement et produire la réponse correcte pour $I_b$ . S'il échoue, cela indique une « inertie textuelle », où le modèle s'appuie sur la trajectoire de raisonnement antérieure plutôt que sur les nouvelles preuves visuelles.

Pour soutenir cette évaluation, les auteurs ont constitué VS-BENCH, un benchmark comprenant 800 paires d'images dérivées de MathVista, MathVerse, MathVision et MMMU-Pro. Ces paires sont construites pour partager une similarité visuelle de haut niveau (mise en page, style) tout en divergeant dans des détails fins critiques pour la réponse de vérité terrain, garantissant que la question reste valide pour les deux images mais nécessite des réponses différentes.

Contributions Clés

Cadre VISUALSWAP : Un outil diagnostique principiel pour évaluer l'authenticité de la réexamination visuelle dans les VLM en manipulant les entrées visuelles au cours du processus de raisonnement.
Benchmark VS-BENCH : Un ensemble de données de 800 paires d'images soigneusement construites qui isolent les capacités de réexamination visuelle de la réponse aux questions visuelles générales.
Analyse Mécanistique : Une investigation des mécanismes d'attention sous-jacents à l'échec, comparant l'autoréflexion générée par le modèle aux instructions explicites de l'utilisateur en plusieurs tours.

Résultats Expérimentaux
Les auteurs ont évalué 15 modèles au sein des familles Qwen3-VL, Kimi-VL et ERNIE-VL, incluant à la fois les variantes « Instruct » et « Thinking ». Les résultats révèlent un mode d'échec critique :

Échec Généralisé : Les modèles échouent massivement à détecter les échanges d'images lors de l'autoréflexion. La dégradation des performances ( $\Delta = Acc_{base} - Acc_{probe}$ ) atteint jusqu'à 60 % (par exemple, ERNIE-4.5-VL-Thinking chute de 79,9 % à 19,6 %).
Les Modèles « Thinking » sont Plus Vulnérables : Contre-intuitivement, les modèles « Thinking » présentent une vulnérabilité presque 3 fois supérieure à leurs homologues « Instruct ». Par exemple, Qwen3-VL-32B-Thinking subit une baisse de 48,3 % contre 17,9 % pour la version Instruct.
Le Passage à l'Échelle n'Aide Pas : L'augmentation de la taille du modèle n'atténue pas le problème ; les modèles plus grands montrent souvent une dégradation plus importante (par exemple, Qwen3-VL-235B-Thinking chute de 54,6 %).
Restauration via Instruction Utilisateur : Lorsque la réflexion est déclenchée par une instruction explicite de l'utilisateur en plusieurs tours (par exemple, « Vérifiez à nouveau l'image ») plutôt que par un texte généré par le modèle, les performances se rétablissent à des niveaux proches de la ligne de base. Cela confirme que les modèles possèdent la capacité latente de traiter la nouvelle image mais échouent à l'activer de manière autonome.
Analyse de l'Attention : Les scores d'attention révèlent que les énoncés autoréflexifs n'entraînent qu'une augmentation négligeable de l'attention aux tokens visuels. En revanche, les instructions explicites de l'utilisateur provoquent une augmentation substantielle de l'attention visuelle, expliquant l'écart de performance.

Signification et Revendications
L'article conclut que les VLM actuels ont tendance à « dire » qu'ils réexaminent une image sans réellement la « voir ». Le phénomène est identifié comme un échec du contrôle attentionnel autonome plutôt que comme un manque de capacité visuelle. Les auteurs soutiennent que les chaînes de raisonnement étendues créent une forte inertie textuelle qui déconnecte le modèle des preuves visuelles lors du décodage continu.

La signification de ce travail réside dans la mise en lumière d'une limitation fondamentale des paradigmes actuels de Chaîne de Pensée (CoT) dans des contextes multimodaux : ils privilégient la cohérence textuelle à l'apport visuel. Les résultats suggèrent que l'autoréflexion, telle qu'implémentée actuellement, ne constitue peut-être pas un mécanisme fiable pour corriger les hallucinations visuelles. L'article postule qu'une réancrage visuel autonome véritable nécessite des mécanismes au-delà du simple prompting linguistique, soulignant la nécessité de futures recherches sur des modèles capables d'interrompre efficacement leurs propres trajectoires de raisonnement pour réengager les entrées visuelles. Les auteurs soulignent qu'il s'agit d'une découverte diagnostique concernant le comportement du modèle, et non d'une proposition d'un nouvel algorithme d'entraînement, bien qu'ils notent que des interventions externes (comme le prompting en plusieurs tours) peuvent restaurer avec succès l'ancrage.