The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

Résumé technique : L'illusion-illusion : Les modèles de vision-langage voient des illusions là où il n'y en a pas

Énoncé du problème
Les illusions perceptives servent d'outils de diagnostic en sciences cognitives en révélant les écarts entre la réalité et l'apparence, éclairant ainsi les mécanismes de traitement mental sous-jacents. Alors que les recherches antérieures ont examiné si les systèmes artificiels sont victimes des mêmes illusions classiques que les humains, cet article soutient que tester les illusions classiques est insuffisant pour diagnostiquer les modèles de vision-langage (VLM) actuels. L'auteur postule qu'un outil de diagnostic plus révélateur est l'« illusion-illusion » (ou « illusion-illusion ») : des images qui possèdent les caractéristiques visuelles d'une illusion mais qui sont dépourvues de la véritable ruse perceptive. Dans ces cas, la réalité visuelle correspond à l'apparence (par exemple, des lignes qui sont réellement de longueurs différentes, un canard qui est réellement un canard), pourtant elles sont les voisines d'illusions célèbres. Le problème central abordé est de savoir si les VLM actuels perçoivent par erreur ces « illusion-illusions » comme des illusions, révélant ainsi une incapacité à distinguer les véritables anomalies perceptives des faits visuels directs.

Méthodologie
L'étude a employé un cadre d'évaluation comparative impliquant dix illusions visuelles représentatives couvrant divers phénomènes perceptifs (ex. : flèches de Müller-Lyer, cercles d'Ebbinghaus, triangles de Kanizsa, ombres de damier). Pour chaque illusion classique, l'auteur a construit trois types de stimuli :

1. L'Illusion : L'image originale conçue pour susciter une erreur de perception.
2. L'Illusion-Illusion : Une version modifiée où le « tour » est supprimé et où les propriétés visuelles sont littérales (ex. : des flèches avec des longueurs de tige réellement différentes, une image claire d'un canard).
3. Le Contrôle : Des versions simplifiées conçues pour vérifier la compétence de base (ex. : identifier un simple triangle).

L'évaluation a testé huit VLM actuels : GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 et LLaVA-1. Les modèles ont été présentés avec des images et des invites spécifiques ciblant le sujet de l'illusion (ex. : « Laquelle est la plus longue, la ligne bleue ou la ligne rouge ? »). Une condition secondaire consistait à préfixer la phrase « Dans l'illusion visuelle suivante » aux invites pour tester l'influence du contexte.

La performance a été évaluée de manière binaire (0 ou 1) sur la base de l'alignement avec les réponses humaines. Pour les illusions classiques, un score de 1 indiquait le signalement du percept illusionnaire ou la reconnaissance de l'illusion. Pour les illusion-illusions et les contrôles, un score de 1 indiquait le signalement de la vérité littérale telle qu'un humain le ferait. L'auteur note que cette notation est indulgente, tendant à surestimer les performances des modèles.

Résultats clés
Les résultats indiquent une divergence significative entre la perception humaine et les capacités actuelles des VLM :

• Échec sur les illusion-illusions : Les modèles de pointe (GPT-4o, Claude 3, Gemini Pro), qui reconnaissent ou rapportent avec succès les illusions classiques, classent également fréquemment les illusion-illusions comme des illusions. Par exemple, lorsqu'ils sont présentés avec des lignes de longueurs réellement différentes, ces modèles affirment souvent qu'elles ont la même longueur (imitant l'illusion) ou décrivent cela comme une illusion.
• Fragilité contextuelle : Lorsque l'invite étiquetait explicitement une image comme une « illusion visuelle », la performance des trois meilleurs modèles s'est considérablement dégradée sur les illusion-illusions et les contrôles. Ils rapportaient massivement ces images non-illusoires comme étant des illusions, suggérant que leurs réponses sont fortement biaisées par l'invite textuelle plutôt que par l'évidence visuelle.
• Échecs des contrôles : Contrairement à l'hypothèse selon laquelle les contrôles serviraient de base de référence pour la compétence, des modèles comme GPT-4o, Gemini Pro et Claude 3 rapportaient fréquemment des images de contrôle simples (ex. : un seul triangle) comme étant des illusions. Cela suggère que pour ces modèles, le concept d'« illusion » est appliqué largement à des images qui ressemblent simplement à la catégorie d'illusion, plutôt qu'à un jugement perceptif spécifique.
• Comportement des modèles : Le comportement des meilleurs modèles ne s'aligne pas sur un « Modèle B » hypothétique (qui reconnaîtrait les illusions mais pas les illusion-illusions). Au lieu de cela, ils présentent un comportement proche d'une performance « plate » ou d'une tendance à halluciner des illusions là où il n'y en a pas, particulièrement lorsqu'ils sont amorcés par le mot « illusion ».

Contributions clés
L'article introduit le concept d'« illusion-illusion » comme un nouvel outil de diagnostic pour les systèmes artificiels. En inversant l'usage standard des illusions, l'auteur démontre que les VLM actuels souffrent d'un mode d'échec spécifique : ils appliquent le schéma de la reconnaissance d'illusion à des images qui ne le justifient pas. Ce travail souligne que l'incapacité à distinguer une illusion d'une illusion-illusion est un indicateur plus profond des erreurs de traitement que la simple capacité à détecter une illusion classique. L'étude fournit un ensemble de données et un protocole d'évaluation montrant que les modèles échouent souvent à ancrer leurs réponses dans la réalité visuelle littérale lorsque le contexte suggère qu'une illusion est présente.

Signification et affirmations
L'auteur affirme que ces échecs ne sont pas de simples curiosités mais sont indicatifs d'erreurs de traitement plus larges dans les VLM actuels. L'article suggère que lorsqu'un modèle échoue sur une illusion-illusion, cela implique que le système ne s'engage pas dans une reconnaissance réfléchie de l'entrée « ordinaire ». Au lieu de cela, le modèle semble s'appuyer sur une correspondance de similitude de bas niveau avec les données d'entraînement, associant les caractéristiques visuelles d'une image au concept d'une illusion trouvé dans son corpus d'entraînement, plutôt que de mimer les défaillances perceptives spécifiques de la biologie humaine.

La signification de ce travail réside dans sa remise en question de l'hypothèse selon laquelle la capacité d'un modèle à identifier une illusion prouve qu'il possède une compréhension perceptive de type humain. L'auteur soutient que tomber dans le piège d'une illusion est un trait humain, mais tomber pour une « illusion-illusion » (où le tour est absent) est le signe d'un système qui est « trompé » par l'idée d'une illusion plutôt que par les données visuelles elles-mêmes. L'article conclut que ces échecs suggèrent que les systèmes actuels ne sont pas encore robustes pour distinguer l'apparence d'un problème de la réalité de l'entrée, une limitation qui s'étend au-delà de la vision vers d'autres modalités et domaines.