Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

Cette étude révèle que les modèles vision-langage échouent systématiquement face à des distorsions chromatiques spatiales qui ne perturbent pas la perception humaine, démontrant ainsi la nécessité d'intégrer des prétraitements inspirés de la perception pour améliorer leur robustesse.

L'essentiel

🎨 Le Test de la "Peinture à Points" : Pourquoi les IA voient-elles des illusions là où nous voyons la réalité ?

Imaginez que vous regardez une photo d'un chat. Si vous vous éloignez de l'écran ou si vous plissez les yeux, le chat reste un chat. C'est facile pour votre cerveau.

Maintenant, imaginez que quelqu'un recouvre cette photo de milliers de minuscules rayures colorées (rouge, vert, bleu) ou de damiers, un peu comme un pointillisme très agressif. Pour un humain, le chat est toujours là, on le reconnaît facilement en "regardant de loin". Mais pour une Intelligence Artificielle (IA) moderne, c'est le chaos total : elle peut dire qu'il s'agit d'un "chien", d'un "ours" ou même inventer des mots sans sens.

C'est exactement ce que les auteurs de ce papier ont découvert en testant les modèles Vision-Langage (ces IA qui voient des images et parlent, comme les assistants intelligents).

1. Le Problème : Des IA qui "lisent" trop les pixels

Les chercheurs ont créé une nouvelle famille d'illusions qu'ils appellent le "Mélange Spatial des Couleurs".

• L'analogie : C'est comme si on prenait une photo et qu'on la découpait en millions de petits carrés, puis qu'on réarrangeait les couleurs de chaque carré selon des règles mathématiques strictes, sans changer la forme globale de l'objet.
• Le résultat : L'image semble bizarre et pixélisée de près, mais l'objet reste reconnaissable pour un humain. Pourtant, les IA tombent en panne. Même les plus grandes et les plus puissantes (avec des milliards de paramètres) échouent lamentablement. Augmenter la taille du cerveau de l'IA ne l'aide pas à mieux voir.

2. Le Test : Humains vs Robots

Les chercheurs ont fait passer le test à deux groupes :

• Les IA : 9 modèles différents (les plus connus du moment).
• Les Humains : 61 volontaires.

Le verdict est sans appel : Les humains sont beaucoup plus résistants. Même avec des images très déformées, les humains continuent de dire "C'est un chat". Les IA, elles, paniquent et donnent des réponses absurdes.

• Pourquoi ? Notre cerveau est un détective qui utilise l'expérience, le contexte et la forme globale. L'IA, elle, est un lecteur de code qui s'arrête trop sur les détails locaux (les pixels individuels) et perd le fil.

3. La Solution : Le "Squint" Numérique (Plisser les yeux)

Les chercheurs ont remarqué quelque chose de fascinant : quand les humains plissent les yeux ou s'éloignent, les rayures colorées se mélangent et l'image redevient claire. C'est un filtre naturel.

Ils ont donc essayé de faire la même chose avec les IA :

• L'expérience : Avant de montrer l'image à l'IA, ils l'ont floutée légèrement ou ils l'ont réduite en taille puis agrandie (ce qui lisse les détails).
• Le résultat : Magique ! En appliquant ce petit "filtre humain", les IA retrouvent une grande partie de leur capacité à reconnaître les objets. C'est comme si on leur donnait des lunettes de soleil pour qu'elles ne se fassent pas aveugler par les couleurs.

4. La Leçon : L'IA ne sait pas qu'elle a tort

Le dernier point crucial est que l'IA ne peut pas décider elle-même d'appliquer ce filtre. Même si on lui donne accès à un outil pour modifier l'image (comme un codeur), elle ne réalise pas que son "vue" est faussée. Elle reste confiante dans son erreur.

🏁 En résumé

Ce papier nous dit que nos IA actuelles sont très fortes pour raisonner, mais très fragiles quand il s'agit de percevoir le monde comme nous le faisons. Elles manquent de cette capacité naturelle à "voir l'ensemble" plutôt que les détails.

La morale de l'histoire : Pour rendre les IA plus robustes, il ne suffit pas de les rendre plus grosses. Il faut peut-être leur apprendre à "plisser les yeux" (prétraiter les images) et à utiliser des outils pour corriger leur propre perception quand elle devient douteuse. C'est un pas vers des IA qui voient le monde un peu plus comme des humains.

Résumé technique

1. Problématique

Bien que les modèles Vision-Language (VLM) obtiennent d'excellents résultats sur les benchmarks standards, ils présentent des faiblesses perceptives systématiques. De petites ou grandes modifications structurées des valeurs des pixels peuvent entraîner des prédictions confiantes mais absurdes, même lorsque la scène sous-jacente reste facilement reconnaissable par les humains.

L'article identifie un décalage fondamental entre la perception humaine et celle des machines :

• Humains : La vision est un processus actif et constructif, intégrant des connaissances a priori et fonctionnant comme une interface évolutive. Elle est robuste aux distorsions de haute fréquence (comme les motifs de rayures) si l'on observe l'image de loin ou en plissant les yeux (réduisant les détails fins).
• Machines (VLM) : Ces modèles minimisent des fonctions de perte (contraste ou cohérence) et sont souvent sensibles aux artefacts de haute fréquence, échouant à extraire le sens sémantique global lorsque les couleurs sont perturbées de manière structurée.

Les travaux existants utilisant des illusions visuelles souffrent souvent de biais (images mémorisées, contraintes linguistiques fortes, prompts visuels). Cet article vise à combler ce vide en utilisant des illusions de mélange de couleurs spatiales générées de manière programmatique.

2. Méthodologie

A. Génération des Illusions (Spatial Colour Mixing)

Les auteurs proposent une famille de 8 variantes de distorsions programmatiques appliquées sur des images naturelles. Ces transformations superposent des motifs structurés (rayures ou grilles) tout en préservant le contenu sémantique global.

• Systèmes de couleurs :
  • RGB (5 variantes) : SCMix-1, SCMix-2, SCMix-3A, SCMix-3B, SCMix-6. Elles décomposent l'image en bandes de couleurs primaires ou secondaires (ex: rayures verticales RVB).
  • Ostwald (3 variantes) : Ostwald RGB, Ostwald Checker, Ostwald Random. Basées sur la géométrie Ostwald (décomposition en noir, blanc et teinte), elles créent des grilles ou des motifs aléatoires où la somme des luminances reconstitue la couleur originale.
• Paramétrisation : Chaque illusion est paramétrée par un degré de distorsion (largeur des rayures ou taille des grilles), permettant un balayage contrôlé de l'intensité de la perturbation sans changer le contenu de la scène.

B. Protocole d'Évaluation

• Modèles : 9 VLMs appartenant à 3 familles (Gemma3, LLaVA, Qwen3) avec différentes échelles de paramètres (de 4B à 34B/30B).
• Jeux de données : 4 ensembles de données distincts pour tester la robustesse :
  1. Animals : Reconnaissance d'animaux (19 classes).
  2. Artworks : Identification d'artistes (8 peintres célèbres).
  3. Landmarks : Reconnaissance de monuments (15 lieux).
  4. MME : Benchmark standard avec 1188 images et 2376 questions (tâches multiples).
• Étude Humaine : Une étude avec 61 participants sur le jeu de données "Animals" (3 degrés d'intensité) pour comparer les performances humaines et celles des modèles.
• Prétraitement inspiré de l'humain : Test de deux stratégies pour simuler le fait de "reculer" ou "plisser les yeux" :
  1. Réduction d'échelle suivie d'une montée d'échelle bilinéaire (Downscale/Upscale - D/U).
  2. Application d'un flou de type "boîte" (Box Blur).

3. Résultats Clés

A. Dégradation de la Performance

• Effondrement rapide : La précision des modèles chute drastiquement dès les premiers degrés de distorsion, même pour des tâches simples comme la reconnaissance d'animaux (passant de ~100% à ~50% ou moins).
• Échelle vs Famille : L'augmentation de la taille du modèle linguistique (scaling) ne mitige pas les échecs. Les performances varient davantage selon la famille du modèle (et son encodeur visuel) que selon sa taille. Par exemple, la famille LLaVA s'avère plus robuste que Gemma3 ou Qwen3 sur certaines illusions.
• Comportements aberrants : Les modèles produisent des réponses non sensées (ex: identifier un animal comme un artiste, répondre dans une langue étrangère, ou décrire l'image comme "pixelisée" sans identifier l'objet).

B. Comparaison Humain-Machine

• Écart de robustesse : Les humains surpassent massivement les VLMs sous les mêmes distorsions. La performance humaine se dégrade beaucoup plus lentement que celle des modèles.
• Interprétation : Cela confirme que les VLMs traitent les images différemment des humains, étant trop sensibles aux détails de haute fréquence (les motifs de l'illusion) et incapables d'intégrer les indices de forme globale aussi efficacement que le système visuel humain.

C. Efficacité du Prétraitement et des Outils

• Prétraitement : L'application de filtres passe-bas (D/U ou flou) récupère une partie significative des performances (jusqu'à +30% pour certains types d'illusions comme Ostwald Checker). Cela suggère que la réduction des hautes fréquences aide les encodeurs visuels à se concentrer sur la forme globale.
• Utilisation d'outils (Tool Use) : L'évaluation de gpt-5-mini avec un interpréteur de code (code-interpreter) montre que la simple disponibilité d'outils n'améliore pas la performance. Les modèles échouent à reconnaître quand leur perception est peu fiable et ne déclenchent pas automatiquement le prétraitement nécessaire.

D. Analyse des Encodeurs Visuels

L'analyse de similarité cosinus des embeddings révèle que :

• L'échelle de l'encodeur a un impact limité.
• L'objectif de pré-entraînement domine : les encodeurs CLIP/SigLIP maintiennent une similarité élevée (mais trompeuse) face aux distorsions, tandis que DINOv3 (auto-supervisé) montre une baisse de similarité plus corrélée à la sévérité de la distorsion, suggérant une meilleure sensibilité structurelle.

4. Contributions Principales

1. Nouvelle famille de perturbations : Introduction d'une suite contrôlée de 8 illusions de mélange de couleurs spatiales (RGB et Ostwald) avec un degré de distorsion ajustable, permettant un stress-test systématique sans altérer le contenu sémantique.
2. Évaluation comparative large : Évaluation de 9 VLMs sur 4 jeux de données, démontrant que le scaling ne résout pas la fragilité perceptuelle.
3. Étude humaine : Publication des résultats d'une étude avec 61 participants, quantifiant l'écart de robustesse entre humains et IA.
4. Stratégies d'amélioration : Démonstration que des prétraitements simples inspirés de la vision humaine (flou, changement d'échelle) peuvent restaurer la performance, et mise en évidence de l'échec actuel des modèles à utiliser ces outils de manière autonome.

5. Signification et Perspectives

Cet article met en lumière une limite fondamentale des VLMs actuels : leur incapacité à gérer les illusions de couleur qui trompent la perception de bas niveau, contrairement aux humains.

• Implications pour la robustesse : Le simple "scaling" (augmenter la taille du modèle) n'est pas une solution miracle pour la perception robuste.
• Direction future : Les auteurs suggèrent deux axes pratiques :
  1. Prétraitement conscient de la perception : Intégrer des étapes de filtrage ou de réduction de fréquence avant l'inférence.
  2. Architectures hybrides : Combiner les encodeurs sémantiques (CLIP/SigLIP) avec des encodeurs perceptifs (comme DINOv3) pour mieux capturer la structure globale.
  3. Gestion de l'incertitude : Développer des mécanismes permettant aux modèles de détecter quand leur perception est dégradée et d'activer des outils de correction (prétraitement) de manière autonome.

En résumé, les illusions de mélange de couleurs spatiales constituent un outil puissant pour révéler les faiblesses perceptives des VLMs et orienter le développement vers des modèles plus robustes et plus proches de la perception humaine.