🤖 AI

Probing Perceptual Constancy in Large Vision-Language Models

Cette étude évalue 155 modèles vision-langage à travers 236 expériences sur la constance de la couleur, de la taille et de la forme, révélant une variabilité de performance significative et une dissociation distincte entre les capacités de constance de la forme et celles de la couleur et de la taille.

Auteurs originaux : Haoran Sun, Bingyang Wang, Suyang Yu, Yijiang Li, Qingying Gao, Haiyun Lyu, Lianyu Huang, Zelong Hong, Jiahui Ge, Qianli Ma, Hang He, Yifan Zhou, Lingzi Guo, Lantao Mei, Maijunxian Wang, Dezhi Luo, Ho

Publié 2026-02-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haoran Sun, Bingyang Wang, Suyang Yu, Yijiang Li, Qingying Gao, Haiyun Lyu, Lianyu Huang, Zelong Hong, Jiahui Ge, Qianli Ma, Hang He, Yifan Zhou, Lingzi Guo, Lantao Mei, Maijunxian Wang, Dezhi Luo, Hokin Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une pomme rouge. Si vous vous éloignez d'elle, elle paraît plus petite. Si vous éclairez la pomme avec une lampe de poche bleue, elle paraît violette. Si vous la regardez de côté, elle ressemble à un ovale plutôt qu'à un cercle.

Le cerveau humain est incroyable car il sait que la pomme est toujours une grosse pomme rouge et ronde, quels que soient ces changements. Il ne se laisse pas tromper par la distance, la lumière étrange ou l'angle. Ce super-pouvoir s'appelle la constance perceptuelle.

Ce document est comme un immense bulletin de notes pour 155 différents « cerveaux d'IA » (appelés Modèles Vision-Langage) afin de voir s'ils possèdent ce même super-pouvoir. Les chercheurs ont construit un test spécial appelé ConstancyBench pour vérifier trois compétences spécifiques :

1. Les trois compétences testées

Considérez ces compétences comme trois niveaux différents d'un jeu vidéo :

La Constance de Couleur (le niveau « Éclairage ») : L'IA peut-elle dire qu'un mur blanc est blanc, même si la pièce est éclairée par une lampe jaune ou un néon bleu ?
- Le Test : L'IA regarde un Rubik's Cube sous un éclairage étrange et doit deviner la couleur réelle de la case centrale.
La Constance de Taille (le niveau « Distance ») : L'IA peut-elle comprendre qu'une voiture au loin est de la même taille qu'une voiture juste à côté d'elle, même si celle qui est loin paraît minuscule à l'écran ?
- Le Test : L'IA regarde deux missiles, l'un au fond et l'autre tout près, et doit décider s'ils sont réellement de tailles différentes ou s'ils paraissent simplement différents à cause de la perspective.
La Constance de Forme (le niveau « Angle ») : L'IA peut-elle savoir qu'une assiette ronde est toujours un cercle, même si elle est inclinée de sorte qu'elle ressemble à un ovale ?
- Le Test : L'IA regarde une porte légèrement ouverte et inclinée, ce qui la fait ressembler à un trapèze, et doit réaliser qu'il s'agit en réalité d'un rectangle.

2. Les résultats : Qui a réussi ?

Les chercheurs ont testé 155 modèles d'IA différents, allant de modèles petits et légers à des modèles massifs et ultra-intelligents (comme GPT-4o). Voici ce qu'ils ont trouvé :

La compétence « Forme » est facile : Les modèles d'IA étaient étonnamment bons en constance de forme. C'est comme s'ils étaient très doués pour reconnaître le « contour » des choses. Même les petits modèles pouvaient comprendre qu'un rectangle incliné est toujours un rectangle.
Les compétences « Couleur » et « Taille » sont difficiles : Les modèles ont beaucoup plus eu de mal avec la couleur et la taille. Ils ont souvent été piégés par l'éclairage ou la distance. C'est comme s'ils regardaient une image plate et oubliaient que le monde est en 3D et possède une lumière changeante.
Les cerveaux plus gros réussissent mieux : Il y avait une règle claire : plus le modèle d'IA est grand, meilleur il est pour ces tests.
- Les petits modèles ont souvent échoué, se laissant troubler par des astuces simples.
- Les modèles massifs (les « géants » du monde de l'IA) ont bien mieux réussi, surtout pour comprendre la taille et la distance. Il semble qu'en donnant plus de « puissance cérébrale » (paramètres) à l'IA, elle devient meilleure pour comprendre le monde en 3D.

3. La grande conclusion

Le document conclut que l'IA ne possède pas encore une vision unique et parfaite « semblable à celle de l'humain ». Au lieu de cela, elle possède une vision stratifiée (par couches) :

Elle est bonne en géométrie simple (Forme).
Elle s'améliore pour comprendre l'échelle et l'éclairage du monde (Taille et Couleur), mais seulement si le modèle est immense.

Les auteurs suggèrent que, bien que ces modèles d'IA deviennent plus intelligents, ils ne « voient » peut-être pas le monde de la même manière que les humains. Ils sont peut-être simplement très doués pour deviner en se basant sur des motifs vus dans leurs données d'entraînement, plutôt que de réellement comprendre la physique.

En bref : Si vous demandez à une IA d'identifier une forme, elle est généralement intelligente. Si vous lui demandez de déterminer la taille ou la couleur réelle de quelque chose quand l'éclairage ou la distance est complexe, elle est encore en plein apprentissage. Et plus l'IA est grande, moins elle est susceptible d'être trompée.

Résumé technique : Sondage de la constance perceptuelle dans les grands modèles de vision-langage

Énoncé du problème

La constance perceptuelle — la capacité à maintenir des perceptions stables des propriétés des objets (couleur, taille, forme) malgré les variations des entrées sensorielles telles que l'éclairage, la distance ou l'angle de vue — est une capacité fondamentale de la vision humaine. Bien qu'elle soit cruciale pour une interaction robuste dans des environnements dynamiques, il reste incertain de savoir si les modèles de vision-langage (VLM) actuels possèdent une véritable constance perceptuelle ou s'ils reposent simplement sur des corrélations statistiques au sein de leurs données d'entraînement. Alors que les VLM progressent vers des performances proches de l'humain dans des tâches de raisonnement complexes, il est nécessaire d'évaluer systématiquement leurs capacités cognitives concernant ces mécanismes perceptuels fondamentaux afin d'identifier les limites de la fidélité de leur modélisation du monde.

Méthodologie

Les auteurs introduisent ConstancyBench, un benchmark à grande échelle dérivé du benchmark CoreCognition, conçu pour évaluer la constance perceptuelle des VLM.

Portée et échelle : L'étude a évalué 155 VLM à travers 236 expériences. Les modèles allaient d'architectures open-source légères aux systèmes de pointe (ex. GPT-4o, Gemini 1.5 Pro).
Domaines d'évaluation : Les expériences se sont concentrées sur trois dimensions primaires de la constance perceptuelle :
1. Constance de la couleur : Évaluation de la capacité à identifier les couleurs intrinsèques des objets malgré les changements d'éclairage (ex. distinguer un carré vert sur un Rubik's Cube sous différents éclairages).
2. Constance de la taille : Évaluation de la perception de la taille stable des objets malgré les variations de distance et de taille de l'image rétinienne (ex. déterminer si un missile lointain est de la même taille qu'un missile plus proche).
3. Constance de la forme : Test de la reconnaissance de formes d'objets stables malgré les changements d'angle de vue ou de perspective (ex. identifier une porte rectangulaire comme étant un rectangle même lorsqu'elle apparaît comme un trapèze en raison de la perspective).
Sources de données : Le jeu de données comprend 253 expériences cognitives (236 utilisées dans l'évaluation finale) provenant de six sources : photographies/vidéos, expériences classiques de psychologie cognitive, films/animations, œuvres dessinées à la main et images générées par IA.
Protocole expérimental : Les modèles ont été testés dans un cadre zero-shot, générant des réponses et des explications textuelles pour chaque invite.
Cadres analytiques :
- Analyse statistique : Des tests ANOVA à un facteur et des tests post-hoc Tukey HSD ont été utilisés pour comparer les performances entre les domaines.
- Analyse de mise à l'échelle (Scaling) : Une analyse de régression a examiné la relation entre le nombre de paramètres du modèle (échelle logarithmique) et la précision de la performance.
- Théorie de la réponse aux items (IRT) : Un modèle logistique à deux paramètres (2PL) a été ajusté pour analyser la discrimination et la difficulté des items de test individuels, caractérisant la structure latente de la performance des modèles.

Résultats clés

1. Hétérogénéité de la performance et dissociation des domaines

Il existe une variabilité significative dans la performance des VLM, allant d'une précision inférieure à 0,20 pour les petits modèles à plus de 0,90 pour les systèmes de pointe. Crucialement, l'étude a révélé une dissociation claire entre les domaines :

Constance de la forme : A atteint la précision moyenne la plus élevée (M = 0,723, SD = 0,170).
Constance de la couleur : A atteint une précision modérée (M = 0,588, SD = 0,185).
Constance de la taille : A atteint la précision la plus faible (M = 0,584, SD = 0,123).
L'analyse statistique a confirmé que la performance de la constance de la forme est significativement supérieure à celle de la constance de la couleur et de la taille ( $p < 0,001$ ), tandis que la performance de la constance de la couleur et de la taille est statistiquement équivalente ( $p = 0,976$ ). Les auteurs suggèrent que la constance de la forme peut exploiter des raccourcis géométriques plus simples, tandis que la constance de la couleur et de la taille nécessitent respectivement des représentations photométriques de haute dimension et une modélisation du monde en 3D.

2. Lois d'échelle (Scaling Laws)

Une corrélation positive robuste existe entre la taille du modèle et la stabilité perceptuelle dans tous les domaines.

Globalement : La précision augmente significativement avec le nombre de paramètres ( $R^2 = 0,2804$ ).
Spécificités des domaines : L'effet d'échelle est le plus fort pour la constance de la taille ( $R^2 = 0,3080$ ), suivie de la constance de la forme et de la couleur. Cela suggère que le raisonnement géométrique et spatial bénéficie le plus directement de l'expansion de la capacité du modèle, tandis que l'invariance photométrique émerge plus graduellement.

3. Résultats de la théorie de la réponse aux items (IRT)

L'analyse IRT a révélé une hiérarchie structurée dans la difficulté et la discrimination des tâches :

Les items de forme ont montré la difficulté la plus faible ( $\bar{b} = -1,27$ ) et une discrimination moindre, indiquant qu'ils sont solubles par la plupart des modèles.
Les items de couleur ont présenté la discrimination la plus élevée ( $\bar{a} = 2,25$ ), séparant efficacement les modèles à haute capacité des modèles à faible capacité, avec une difficulté modérée.
Les items de taille ont affiché la distribution de difficulté la plus large, reflétant une forte hétérogénéité dans les exigences de raisonnement spatial.

Principales contributions

ConstancyBench : L'établissement du premier cadre systématique pour sonder la constance perceptuelle dans les grands VLM, couvrant les domaines de la couleur, de la taille et de la forme avec 236 expériences contrôlées.
Caractérisation empirique : La démonstration que la constance perceptuelle dans les VLM est une capacité stratifiée plutôt qu'unifiée. La constance de la forme émerge de manière robuste même dans les modèles plus petits, tandis que la constance de la couleur et de la taille dépend fortement de l'échelle du modèle et de la capacité d'intégration multimodale.
Aperçus sur l'échelle (Scaling) : L'identification d'une loi d'échelle quantifiable où la robustesse perceptuelle s'améliore avec la taille du modèle, la constance de la taille présentant les gains de performance les plus raides, suggérant un potentiel "seuil d'émergence" pour le raisonnement spatial complexe.
Alignement cognitif : L'observation que la hiérarchie de l'émergence de la constance dans les VLM (forme $\rightarrow$ couleur/taille) reflète les trajectoires de développement de la perception humaine, où la stabilité géométrique précède les invariances contextuelles de niveau supérieur.

Signification et affirmations

L'article pose la constance perceptuelle comme un outil de diagnostic critique pour évaluer la fidélité de la modélisation du monde des modèles de fondation. Les auteurs soutiennent que la stratification observée suggère que les VLM peuvent atteindre une "constance minimale" (préservation des représentations par l'accumulation de régularités) pour la forme, mais peinent avec la "constance contextuelle" (nécessitant un raisonnement explicite sur l'éclairage, la profondeur et la perspective) pour la couleur et la taille.

L'étude affirme que la compréhension de ces limites est essentielle pour faire progresser l'IA vers des systèmes fiables et adaptables capables d'opérer dans des conditions réelles imprévisibles. Elle soulève une question conceptuelle : les modèles actuels font-ils preuve d'une constance fonctionnelle (véritable invariance aux transformations physiques) ou simplement d'une constance corrélationnelle (un sous-produit de la couverture des données). Les auteurs concluent que combler l'écart entre la perception visuelle et la véritable compréhension physique en IA nécessitera une modélisation mécaniste de ces invariances, ce qui pourrait nécessiter des innovations architecturales au-delà de la simple mise à l'échelle, telles que des priors 3D explicites ou des modules de simulation causale.