Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

Cette étude révèle que les modèles vision-langage, bien qu'ayant un encodeur visuel commun, éprouvent des difficultés majeures à localiser spatialement des formes géométriques simples comme des carrés remplis, car leur capacité de raisonnement spatial dépend fortement d'une voie de reconnaissance textuelle qui surpasse leur perception visuelle native.

L'essentiel

🕵️‍♂️ Le Grand Test : "Les Modèles voient-ils vraiment ?"

Imaginez que vous avez trois super-intelligences artificielles (les plus avancées du moment : Claude, ChatGPT et Gemini). On leur dit : "Regardez cette image et décrivez-moi exactement ce que vous voyez."

Les chercheurs ont créé un petit jeu très simple : une grille de 15x15 cases, comme un damier géant. Certaines cases sont noires (remplies), d'autres sont blanches (vides).

Le but ? Demander à l'IA de recopier la grille, case par case.

Mais il y a un tour de magie dans l'expérience. On présente la même information de deux façons différentes :

1. Le mode "Lecteur de texte" : Les cases noires sont dessinées avec le symbole # et les vides avec un point .. C'est du texte, mais vu comme une image.
2. Le mode "Formes pures" : Les cases sont de vrais carrés noirs pleins, sans bordures, sans lettres, juste de la couleur.

📉 Le Résultat Choc : "L'IA a la vue floue"

Voici ce qui s'est passé, et c'est là que ça devient drôle (et inquiétant) :

• Quand c'est du texte (# et .) : Les IA sont des champions ! Elles recopient la grille presque parfaitement. C'est comme si elles lisaient un livre.
• Quand ce sont des carrés noirs : Les IA deviennent... désastreuses. Elles se trompent massivement. Elles oublient des cases, en inventent d'autres, ou dessinent des formes qui n'existent pas.

L'analogie du "Lunettes de lecture" :
Imaginez que ces IA portent des lunettes magiques qui leur permettent de voir le monde uniquement si les objets ont des étiquettes.

• Si vous leur montrez un carré noir avec un petit "1" écrit dessus, elles disent : "Ah ! Un 1 ! Je sais exactement où il est !".
• Si vous enlevez le "1" et ne laissez que le carré noir, elles paniquent. Pour elles, c'est comme si le carré devenait invisible ou flou. Elles ne savent plus dire où il est exactement, même si elles voient qu'il y a "quelque chose de noir".

🧠 Pourquoi font-elles ça ?

Les chercheurs pensent que ces IA ne "voient" pas vraiment les images comme nous. Elles utilisent deux chemins dans leur cerveau :

1. Le chemin du "Scanner de texte" (Très fort) : Quand elles voient des lettres ou des symboles, elles les transforment instantanément en mots. Comme elles sont excellentes pour comprendre les mots et leur ordre, elles savent exactement où placer chaque case. C'est comme si elles faisaient une lecture à haute voix de l'image.
2. Le chemin de la "Vision pure" (Très faible) : Quand il n'y a pas de texte, juste des formes, elles doivent utiliser leur "vision" brute. Or, cette vision est très mauvaise pour la géométrie précise. Elles voient une "tache noire ici", mais ne peuvent pas dire si c'est la case 4 ou la case 5.

L'analogie du "Dessinateur vs Le Lecteur" :
C'est comme si vous demandiez à un lecteur de roman (l'IA) de dessiner une carte au trésor.

• Si vous lui donnez une carte avec des mots écrits ("Pierre", "Arbre", "Rocher"), il peut les lire et les placer parfaitement.
• Si vous lui donnez une carte avec juste des taches d'encre (des formes), il ne sait pas quoi faire. Il va inventer des histoires ou dessiner des formes bizarres parce qu'il ne sait pas lire les "taches".

🤖 Les trois IA ne sont pas toutes pareilles

Chaque modèle a sa propre façon de rater le test quand il n'y a pas de texte :

• Claude : Elle est trop prudente. Elle voit moins de cases qu'il n'y en a vraiment (elle en oublie).
• ChatGPT : Elle est trop imaginative. Elle voit des cases qui n'existent pas et en invente des centaines !
• Gemini : Elle perd complètement le fil. Au lieu de copier la grille, elle dessine des motifs géométriques tout faits (des croix, des L) qui ne ressemblent à rien de ce qu'on lui a montré. C'est comme si elle disait : "Je ne comprends pas ce dessin, alors je vais dessiner ce que je connais par cœur."

💡 La leçon à retenir

Ce papier nous apprend une chose fondamentale : Les IA actuelles sont de superbes lecteurs, mais de mauvais observateurs.

Elles sont excellentes pour comprendre les images si ces images contiennent du texte ou des symboles familiers. Mais si vous leur demandez de raisonner sur des formes pures, des cartes médicales complexes, ou des schémas techniques sans étiquettes, elles sont beaucoup moins fiables qu'on ne le pense.

En résumé : Ne demandez pas à une IA de "voir" une forme noire. Donnez-lui une étiquette à coller dessus, et soudain, elle verra tout parfaitement. C'est un peu comme si elles avaient besoin d'un guide pour naviguer dans le monde visuel.

Résumé technique

1. Problématique

L'article remet en question l'hypothèse implicite selon laquelle les modèles vision-langage (VLM) disposent d'un raisonnement spatial robuste et généralisable sur n'importe quelle entrée visuelle. Les auteurs postulent que les performances actuelles des VLM dans la localisation spatiale pourraient être médiées par la reconnaissance de texte plutôt que par une véritable compréhension visuelle des formes géométriques abstraites.

Le problème central est l'incapacité des VLM à localiser avec précision des cellules remplies dans des grilles binaires lorsque ces cellules n'ont pas d'identité textuelle. L'étude vise à déterminer si cette limitation est une idiosyncrasie d'un modèle spécifique ou une propriété fondamentale de l'architecture des VLM actuels.

2. Méthodologie

Les auteurs ont conçu une expérience contrôlée et simple pour isoler le raisonnement spatial de la compréhension sémantique.

• Données : Génération de 15 grilles binaires de taille 15 × 15 (225 cellules chacune). La densité de cellules remplies varie de 10,7 % à 41,8 %.
• Conditions Visuelles : Chaque grille est rendue sous deux formats distincts, présentés tous deux comme des images PNG (passant par le même encodeur visuel) :
  1. Symboles de texte : Les cellules vides et remplies sont représentées par des caractères . et # dans une police monospace.
  2. Carrés remplis : Les cellules sont rendues comme des carrés noirs ou blancs pleins, sans lignes de grille (les cellules adjacentes fusionnent en régions noires contiguës).
• Modèles Évalués : Trois VLM de pointe de trois organisations différentes :
  • Claude Opus (Anthropic)
  • ChatGPT 5.2 (OpenAI)
  • Gemini 3 Thinking (Google)
• Protocole : Les modèles doivent transcrire les grilles visuellement sans utiliser d'outils de traitement d'image ou de code.
• Métriques :
  • Précision des cellules (fraction de cellules correctement classées).
  • Score F1 pour la détection des cellules noires (moyenne harmonique de la précision et du rappel), considéré comme plus informatif car la précision brute est biaisée par le grand nombre de cellules vides.
• Expériences d'ablation : Ajout de conditions intermédiaires pour tester la nature du fossé de performance :
  • Utilisation de caractères Unicode (□■) pour les carrés.
  • Ajout de labels textuels (« 0 » et « 1 ») à l'intérieur des carrés remplis.

3. Contributions Clés

1. Démonstration d'une limitation fondamentale : L'article prouve que les VLM actuels échouent dramatiquement à localiser des éléments visuels non textuels, même lorsque l'information visuelle est identique à celle des symboles textuels.
2. Hypothèse de la double voie de traitement : Les auteurs proposent que les VLM fonctionnent avec deux voies implicites :
   • Une voie de reconnaissance de texte (OCR interne) qui préserve une haute fidélité spatiale en convertissant les pixels en tokens linguistiques.
   • Une voie de caractéristiques visuelles qui encode le contenu non textuel mais perd la précision des coordonnées au profit de la compréhension sémantique globale.
3. Généralisation inter-modèles : La découverte n'est pas limitée à un seul modèle ; elle se réplique sur trois familles d'architectures distinctes, suggérant un problème structurel dans la conception des VLM actuels.
4. Analyse des modes d'échec spécifiques : Identification de stratégies d'échec distinctes pour chaque modèle (sous-comptage systématique, sur-comptage massif, hallucination de modèles), indiquant que la cause racine est commune mais que les manifestations sont architecturalement dépendantes.

4. Résultats Principaux

• Écart de performance Texte vs Carrés :

  • Condition Texte : Claude et ChatGPT atteignent ~91 % de précision et ~84 % de F1. Gemini atteint 84 % de précision mais un F1 plus faible (63 %).
  • Condition Carrés : Tous les modèles s'effondrent. La précision chute à 60–73 % et le F1 à 29–39 %.
  • Écart F1 : La différence de score F1 entre les conditions texte et carrés varie de 34 à 54 points selon le modèle.

• Effets de la densité :

  • Claude et ChatGPT : Maintiennent une performance stable dans la condition texte sur toute la gamme de densité, mais dégradent fortement dans la condition carrés.
  • Gemini : S'effondre catastrophiquement dans la condition texte dès que la densité dépasse ~32 % (passant de ~100 % à ~11 % de F1), générant des motifs géométriques stéréotypés (hallucinations de modèles). Curieusement, Gemini performe mieux que les autres sur les grilles très clairsemées en condition carrés, suggérant un encodeur visuel plus précis pour les objets isolés, mais avec une capacité de traitement limitée.

• Résultats des ablations :

  • Carrés Unicode (□■) : Produisent une performance intermédiaire (F1 de 69–77 %), prouvant que l'écart n'est pas binaire (texte vs non-texte) mais graduel, dépendant de la familiarité des tokens.
  • Texte dans les carrés : L'ajout de labels « 0/1 » à l'intérieur des carrés noirs permet à Claude et Gemini de retrouver une performance parfaite (100 % F1) sur les grilles clairsemées. En revanche, cela dégrade les performances de ChatGPT (51 % F1), révélant une interférence destructive spécifique entre ses voies textuelle et visuelle.

5. Signification et Implications

• Biais des benchmarks : Les performances élevées sur les tâches de raisonnement spatial basées sur du texte (comme les diagrammes annotés) surestiment considérablement la capacité des modèles à raisonner sur des éléments visuels purs (comme l'imagerie médicale, la robotique ou la visualisation scientifique).
• Dépendance à l'OCR : Les VLM semblent dépendre d'un mécanisme de reconnaissance de texte pour effectuer un raisonnement spatial de haute fidélité. Sans ancrage textuel, leur localisation spatiale devient imprécise.
• Directions futures :
  • L'intégration de « scaffolding » textuel (ajouter des étiquettes invisibles ou subtiles) pourrait améliorer les performances pour certains modèles, mais doit être validée spécifiquement pour chaque architecture.
  • Il est nécessaire de développer des encodeurs visuels entraînés avec des objectifs de prédiction de coordonnées explicites, plutôt que de simples correspondances image-texte globales.
  • L'utilisation de tokens visuels discrets (similaires aux codebooks VQ-VAE) pourrait permettre de combler le fossé en donnant accès au contenu visuel non textuel via la voie de reconnaissance de texte.

En conclusion, l'article établit que les VLM actuels ne « voient » pas les carrés de la même manière qu'ils lisent des lettres ; leur capacité de localisation spatiale est intrinsèquement liée à la présence d'identités textuelles, révélant une faiblesse structurelle majeure dans le raisonnement visuel natif.