💻 computer science

Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions

Cet article présente un cadre d'inférence guidé par des outils pour les modèles vision-langage qui, sans aucun entraînement, surmonte leurs biais systématiques face aux illusions optiques en utilisant une combinaison d'outils génériques d'analyse d'image et d'un système de routage, démontrant ainsi une forte capacité de généralisation et révélant des limites importantes dans le raisonnement logique et la sensibilité aux artefacts de compression.

Auteurs originaux : Xuesong Wang, Harry Wang

Publié 2026-04-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuesong Wang, Harry Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎩 Le Problème : Les Magiciens et leurs Assistants

Imaginez que vous avez un assistant très intelligent, un modèle de vision-linguistique (un robot qui voit et parle). Ce robot a lu des millions de livres et vu des milliards d'images. Il est excellent pour reconnaître des chats, des voitures ou des paysages.

Mais il y a un gros problème : il est très confiant, mais souvent trompé par les illusions d'optique.

Prenons l'exemple des cercles d'Ebbinghaus (deux cercles identiques entourés de grands ou de petits cercles qui font paraître l'un plus gros que l'autre).

Si vous montrez une vraie illusion au robot, il dit : « Oh oui, le cercle du milieu est plus gros ! » (Même s'il ne l'est pas).
Si vous modifiez l'image pour que les cercles soient réellement de la même taille, mais que l'illusion visuelle soit toujours là, le robot dit toujours : « Le cercle est plus gros ! ».

Pourquoi ? Parce que le robot a appris avec des données déséquilibrées. Dans son "entraînement" (ses livres), presque toutes les images d'illusions étaient de vraies illusions. Il a appris une règle simpliste : « Si ça ressemble à une illusion, c'est une illusion. » Il ne vérifie pas la réalité, il se fie à son souvenir.

🛠️ La Solution : Le Robot avec sa Boîte à Outils

Les auteurs de ce papier (Xuesong Wang et Harry Wang) ont dit : « Stop ! Ne changeons pas le cerveau du robot (pas de réentraînement), donnons-lui juste une boîte à outils pour vérifier par lui-même. »

Ils ont créé un système où le robot ne se contente pas de regarder l'image. Il doit agir dessus avant de répondre. C'est un peu comme si vous deviez résoudre un casse-tête, mais au lieu de juste le regarder, vous aviez le droit de :

Dessiner une règle sur l'image pour voir si une ligne est vraiment droite.
Couper un morceau de l'image pour le regarder de plus près (zoom).
Mettre deux morceaux côte à côte pour les comparer.
Isoler les couleurs pour voir si c'est vraiment différent.

🧩 La Méthode : Le Chef d'Orchestre et le Journal de Bord

Le système fonctionne avec deux idées clés très intelligentes :

1. Le "Journal de Bord" Immuable (La versioning)
Imaginez que le robot dessine sur une image. S'il se trompe, il ne gomme pas. Au lieu de cela, il prend une nouvelle photo de l'image avec son dessin dessus, et il la range dans un classeur.

Il a l'image originale.
Il a l'image avec la ligne dessinée.
Il a l'image avec le zoom.
Il a l'image avec la comparaison.

Le robot peut revenir en arrière, regarder ses anciennes notes et dire : « Attends, sur la photo n°3, j'ai vu que la ligne était courbe, donc sur la photo n°5, je vais comparer les deux. » C'est comme un détective qui garde toutes ses preuves, même celles qui l'ont mené dans une impasse, pour ne jamais perdre le fil.

2. Le Guide de Voyage (Le "Prompt" de routage)
Au lieu de programmer un robot spécial pour chaque type d'illusion (ce qui serait long et compliqué), ils ont donné au robot un guide de voyage dans sa tête.

Si la question est sur la taille, le guide dit : « Prends la règle et compare ! »
Si la question est sur les couleurs, le guide dit : « Prends l'échantillon de couleur ! »
Si la question est sur une ligne droite, le guide dit : « Dessine une ligne de référence ! »

C'est comme si vous donniez à un cuisinier une recette générique : « Si c'est une soupe, utilise la cuillère. Si c'est un steak, utilise le couteau. » Le robot choisit le bon outil sans avoir besoin d'apprendre une nouvelle recette pour chaque plat.

🔍 Ce qu'ils ont découvert (Les surprises)

En testant ce système, ils ont remarqué trois choses fascinantes sur le comportement du robot :

Le Biais du "Oui" : Le robot est tellement habitué aux illusions qu'il a tendance à dire "OUI, c'est une illusion" même quand c'est faux. C'est comme un chien qui aboie à chaque fois qu'il entend un bruit, même si c'est juste le vent. Il faut le forcer à vérifier.
L'Intelligence "Brouillée" : C'est le plus drôle. Le robot est capable de dessiner une ligne parfaitement droite et de voir clairement que l'autre ligne est courbe (il a la preuve visuelle !). Mais quand il doit conclure, il dit : « Non, elles sont droites ». C'est comme si sa mémoire (ce qu'il a appris avant) était plus forte que ses yeux (ce qu'il voit maintenant). Il voit la vérité, mais il refuse de la croire !
La Sensibilité aux "Artéfacts" : Parfois, les images sont un peu floues ou compressées (comme sur WhatsApp). Ces petits défauts numériques trompent le robot. Il voit une petite différence de couleur qui n'existe pas vraiment à cause de la compression, et il conclut à tort qu'il y a une illusion.

🏆 Le Résultat

Le plus beau de cette histoire, c'est que ce système a fonctionné sans jamais réapprendre le robot. Ils ont juste changé sa façon de travailler.

Ils l'ont testé sur des illusions classiques (cercles, flèches).
Ils l'ont testé sur des variantes nouvelles qu'ils n'avaient jamais vues (des illusions tournées, modifiées).
Résultat : Le robot a continué à bien fonctionner !

En résumé

Ce papier nous dit : « Ne changez pas le cerveau de l'IA, donnez-lui juste des lunettes et un stylo pour vérifier ce qu'elle voit. »

Au lieu de faire confiance à son intuition (qui est souvent biaisée par ses souvenirs), l'IA apprend à penser visuellement : elle dessine, elle coupe, elle compare, et elle ne se contente pas de deviner. C'est une leçon importante pour le futur : parfois, pour rendre l'IA plus intelligente, il ne faut pas la rendre plus complexe, mais lui apprendre à être plus méthodique.

1. Problématique

Les modèles Vision-Langage (VLM) actuels, bien que performants sur des benchmarks standards, présentent un biais systématique lorsqu'ils sont confrontés à des illusions optiques classiques (ex: cercles d'Ebbinghaus, flèches de Müller-Lyer).

Le défaut : Les modèles prédisent massivement que l'illusion est "réelle" (c'est-à-dire qu'ils perçoivent l'effet perceptif), même lorsque l'image a été modifiée de manière contre-factuelle pour supprimer cet effet.
La cause : Ce n'est pas une faiblesse de la représentation visuelle pure, mais un déséquilibre dans les données d'entraînement. Les corpus de pré-entraînement contiennent presque exclusivement des illusions authentiques. Ainsi, le modèle apprend que "l'apparence d'une illusion" implique toujours la présence de l'effet perceptif, écrasant les preuves visuelles directes lorsque l'image est modifiée.
Le défi : Le DataCV 2026 Challenge (Tâches I et II) vise à résoudre ce problème sans aucun réentraînement du modèle (inference-only), en autorisant uniquement le prompting, le routage et l'utilisation d'outils.

2. Méthodologie

L'article propose un framework d'inférence guidé par des outils basé sur une boucle de raisonnement de type ReAct, utilisant des modèles de la famille Gemini Flash.

A. Architecture et Gestion des Ressources

Versionnement immuable des images : Contrairement aux approches qui modifient une image en place, chaque appel d'outil crée une nouvelle ressource image immuable (ex: img_001, img_002) enregistrée dans un registre persistant.
Avantage : Cela permet au modèle de conserver l'historique complet de ses hypothèses visuelles, de revenir en arrière, de comparer différentes vues annotées et de composer des chaînes de raisonnement complexes sans perdre le contexte.

B. Boîte à Outils Générique et Routage par Prompt

Au lieu de créer des modules dédiés pour chaque type d'illusion (comme dans VisProg), l'approche utilise un ensemble compact d'outils génériques, dont l'usage est orchestré par le system prompt :

Outils de base (Tâches I et II) : Dessin de lignes/rectangles/cercles, recadrage (crop), comparaison côte à côte.
Outils d'analyse (Tâche II uniquement) : Extraction de canaux, flou, grille, échantillonnage de couleur, isolation de couleurs.
Stratégie de routage : Le prompt instruit l'agent à classifier la question dans une catégorie perceptuelle (ex: comparaison de taille, linéarité, contenu caché) et lui fournit une séquence recommandée d'appels d'outils spécifique à cette catégorie.

C. Flux de Travail

L'agent reçoit l'image originale et la question.
Il classe la question et sélectionne une stratégie d'outils via le prompt.
Il exécute une boucle itérative (max 10 tours) : appel d'outil $\rightarrow$ génération d'une nouvelle image annotée immuable $\rightarrow$ analyse visuelle $\rightarrow$ décision de la prochaine action.
Il produit une réponse structurée en s'appuyant sur l'ensemble du registre d'images.

3. Contributions Clés

Framework d'annotation visuelle sans entraînement : Une méthode pour le VQA perceptuel ouvert qui repose uniquement sur l'inférence et les outils.
Système de versionnement de ressources : Une architecture permettant un raisonnement visuel multi-étapes avec accès total à l'historique des vues annotées (sémantique de valeur immuable appliquée au visuel).
Design de routage par prompt : Une alternative aux bibliothèques de modules codées en dur, permettant une généralisation transversale à des structures d'illusions inconnues sans réécriture de code.
Observations empiriques : Identification de trois modes d'échec systématiques des VLMs (biais de détection positive, dissociation précision/logique, sensibilité aux artefacts de compression).

4. Résultats Expérimentaux

Performance : Le système maintient une performance cohérente entre l'ensemble de validation et l'ensemble de test, même lorsque le test contient des variantes structurellement nouvelles (ex: bandes de Mach empilées horizontalement au lieu de verticalement).
Généralisation : Grâce à la stratégie de routage basée sur des concepts plutôt que sur des opérations pixeliques fixes, l'agent applique correctement la même logique à des orientations différentes sans modification du prompt.
Utilisation des outils :
- Tâche I : Dominée par les outils géométriques de base (comparaison de crops, dessin de lignes).
- Tâche II : Activation sélective d'outils d'analyse plus complexes (grilles, canaux) selon le besoin.

5. Observations et Signification

L'analyse qualitative révèle des phénomènes critiques sur le comportement des VLMs :

Biais de détection positive systématique : Les modèles ont une forte tendance à prédire "Oui, l'illusion existe" même face à des preuves visuelles contraires. Cela suggère un biais profond lié aux données d'entraînement (absence de variantes négatives) plutôt qu'à une imitation de la perception humaine.
Précision spatiale sans conséquence logique : Les modèles sont capables de dessiner des lignes de référence parfaitement géométriques et de placer des crops avec précision, mais échouent à tirer les conclusions logiques de ces annotations. Par exemple, ils peuvent voir une courbe par rapport à une ligne droite mais conclure que la ligne est droite, car leur "prior" (croyance antérieure) sur l'illusion est plus fort que la preuve visuelle générée.
Sensibilité aux artefacts de compression : Les artefacts JPEG (bruit de luminance, franges grises) peuvent tromper les outils d'analyse, conduisant à des faux positifs ou à une interprétation erronée de différences de couleurs minimes.

Conclusion et Impact :
Cet article démontre que l'amélioration de la robustesse des VLMs face aux stimuli contre-factuels ne nécessite pas uniquement des changements architecturaux, mais surtout une augmentation ciblée des données incluant des instances d'illusions "négatives" (modifiées). L'approche proposée prouve qu'un agent guidé par des outils génériques et une gestion rigoureuse de l'état visuel peut surmonter les limites de raisonnement des modèles de base, offrant une voie prometteuse pour le diagnostic et la correction des biais perceptifs en IA.