Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

Dit artikel onthult dat vision-language-modellen fundamenteel tekortschieten in het lokaliseren van visuele elementen zonder tekstidentiteit, zoals gevulde vierkanten, terwijl ze aanzienlijk beter presteren bij dezelfde taak wanneer deze wordt gepresenteerd als tekstsymbolen, wat aantoont dat hun ruimtelijke redenering sterk afhankelijk is van een tekstherkenningspad in plaats van hun visuele verwerking.

De kern

Kunnen AI's echt "zien"? Of lezen ze alleen maar?

Stel je voor dat je een AI (een slimme computer) een foto laat zien van een raam met 225 ruitjes. Sommige ruitjes zijn zwart, andere wit. De opdracht is simpel: "Vertel me precies welke ruitjes zwart zijn."

Je zou denken dat een moderne AI, die foto's kan analyseren en zelfs complexe schilderijen beschrijft, dit makkelijk kan. Maar onderzoekers hebben ontdekt dat deze AI's een heel vreemd geheim hebben: ze kunnen de zwarte ruitjes alleen goed vinden als ze eruitzien als letters.

Hier is wat dit onderzoek (van de Universiteit van Rochester) in simpele taal uitlegt, met een paar leuke vergelijkingen.

1. Het Grote Experiment: Letters vs. Vlakken

De onderzoekers maakten 15 verschillende foto's van een 15x15 rooster. Ze deden dit op twee manieren:

• Manier A (De "Leesbare" Foto): Ze vulden de zwarte vakjes met het symbool # en de witte met .. Het leek eruit als een tekstbestand, maar het was een echte foto.
• Manier B (De "Echte" Foto): Ze vulden de vakjes met echte zwarte vierkantjes, zonder gridlijnen. Dit zag eruit als een abstract patroon.

Ze gaven deze foto's aan drie van 's werelds slimste AI's: Claude, ChatGPT en Gemini.

Het resultaat was schokkend:

• Bij Manier A (de letters) waren de AI's bijna perfect. Ze konden bijna elk vakje correct benoemen.
• Bij Manier B (de zwarte vierkantjes) vielen ze volledig in elkaar. Ze raakten de helft van de vakjes kwijt of vonden er helemaal niet waar ze waren.

2. De Vergelijking: De "Vertaler" en de "Schilder"

Waarom gebeurt dit? De onderzoekers hebben een mooie theorie:

Stel je voor dat de AI twee verschillende hersenen heeft die samenwerken:

1. De Vertaler (Tekstherkenning): Deze kan heel goed lezen. Als hij een # ziet, denkt hij: "Ah, dat is een teken! Ik weet precies waar dat teken staat op het papier." Hij gebruikt zijn leesvaardigheid om de ruimte te begrijpen.
2. De Schilder (Visueel inzicht): Deze kan kijken naar vormen, kleuren en patronen. Maar deze "schilder" is niet zo goed in het tellen van kleine details of het vinden van exacte coördinaten. Hij ziet wel "een hoopje zwart hierboven", maar niet "vakje 4 rij 3".

Het probleem:
Wanneer de AI een foto ziet met letters, schakelt hij automatisch de Vertaler in. Omdat hij zo goed is in lezen, is hij ook supergoed in het lokaliseren van die letters.
Wanneer hij een foto ziet met zwarte vierkantjes, schakelt hij de Schilder in. En die Schilder is helaas wat slordig als het gaat om precies tellen en lokaliseren.

Het is alsof je een briljante taalkundige vraagt om een kaart te tekenen. Als je hem vraagt "waar staat de stad 'Amsterdam'?", kan hij het perfect vinden (want hij kent de naam). Maar als je vraagt "waar is die specifieke boom op de foto?", kan hij het niet precies zeggen, want hij is een taalkundige, geen landmeter.

3. De Drie AI's en hun Eigen "Foutjes"

Elke AI had een eigen manier om te falen bij de zwarte vierkantjes:

• Claude was te voorzichtig: hij telde te weinig zwarte vakjes (hij zag ze er gewoon niet allemaal).
• ChatGPT was te enthousiast: hij zag overal zwarte vakjes waar er geen waren (hij hallucineerde patronen).
• Gemini werd creatief: hij gaf helemaal niet meer om de foto, maar tekende zijn eigen standaardpatronen (zoals kruisjes of L-vormen), alsof hij droomde.

4. De "Tussenoplossing" (De Magische Teken)

Om te bewijzen dat het echt om het lezen gaat, deden ze een proefje:
Ze vulden de zwarte vierkantjes weer op, maar schreven er een klein witje 1 in en in de witte vakjes een 0.

• Resultaat: Voor Claude en Gemini was dit een wonder. Plotseling konden ze weer perfect tellen! De AI's zagen de "1" en "0", schakelden hun Vertaler in, en konden de positie van de vakjes weer perfect vinden.
• Uitzondering: ChatGPT werd hier juist slechter van. Voor hem was de tekst op de achtergrond te verwarrend. Dit laat zien dat elke AI een beetje anders werkt.

5. Waarom is dit belangrijk?

Dit onderzoek onthult een groot zwak punt in onze slimste computers. We denken dat ze "zien" zoals wij mensen doen. Maar in werkelijkheid vertrouwen ze enorm op tekstherkenning om de ruimte te begrijpen.

• Voorbeeld: Als je een AI vraagt om een medische scan te analyseren (waar geen letters op staan, alleen vormen), of om een zelfrijdende auto te besturen die obstakels moet tellen, dan vertrouwen we misschien te veel op hun vaardigheden. Ze zijn misschien wel briljant in het lezen van borden, maar slecht in het tellen van auto's in een file als die geen tekst hebben.

Kort samengevat:
Deze AI's zijn niet zozeer "ziende" wezens, maar eerder "lezende" wezens die heel goed kunnen doen alsof ze zien. Zolang ze iets kunnen lezen, zijn ze slim. Zodra het puur visueel wordt (zonder tekst), worden ze een beetje verward. Het is alsof ze een bril dragen die alleen werkt als er tekst op staat.

Technische samenvatting

Probleemstelling

Vision-Language Models (VLMs), zoals Claude, GPT-4o en Gemini, hebben indrukwekkende prestaties geleverd in visuele taken. Er bestaat echter een impliciete aanname dat deze modellen robuuste ruimtelijke redenering bezitten over willekeurige visuele invoer. Dit paper daagt die aanname uit. De auteurs stellen dat VLMs moeite hebben om gevulde cellen in binaire roosters nauwkeurig te lokaliseren wanneer die cellen geen tekstuele identiteit hebben. Het fundamentele probleem is de discrepantie tussen het vermogen om tekst in beelden te herkennen (en de positie daarvan te behouden) en het vermogen om abstracte, niet-tekstuele visuele elementen (zoals gevulde vierkanten) met dezelfde precisie te lokaliseren.

Methodologie

De auteurs hebben een eenvoudig maar rigoureus experiment ontworpen om deze beperking te isoleren:

1. Datageneratie: Er zijn 15 binaire roosters gegenereerd van 15x15 cellen (totaal 225 cellen per rooster). De dichtheid van de gevulde cellen varieerde van 10,7% tot 41,8%.
2. Visuele Voorwaardes: Elk rooster werd weergegeven in twee formaten, beide als PNG-afbeeldingen (dus beide verwerkt door de visuele encoder, niet als getokeniseerde tekst):
   • Tekst-symbolen: Cellen werden gerenderd als karakters . (leeg) en # (gevuld) in een monospace lettertype.
   • Gevulde vierkanten: Cellen werden gerenderd als zwarte of witte vierkanten zonder roosterlijnen.
3. Modellen: Drie toonaangevende VLMs van verschillende organisaties werden getest:
   • Claude Opus (Anthropic)
   • ChatGPT 5.2 (OpenAI)
   • Gemini 3 Thinking (Google)
4. Ablatiestudies: Om te onderzoeken of het verschil binair is of een continuüm, werden twee extra condities toegevoegd:
   • Unicode-vierkanten: Gebruik van tekens zoals □ en ■ (geldige teksttokens die visueel lijken op gevulde vierkanten).
   • Tekst in vierkanten: Het plaatsen van de cijfers "1" en "0" binnen de gevulde respectievelijk lege vierkanten.
5. Evaluatiemetrics: De prestaties werden gemeten aan de hand van cel-nauwkeurigheid (accuracy) en de F1-score voor het detecteren van gevulde cellen (precision/recall).

Kernresultaten

1. De Tekst-vs-Vierkanten Kloof
Er is een dramatisch prestatieverschil tussen de twee condities, ondanks dat de informatie-inhoud identiek is:

• Tekst-conditie: Claude en ChatGPT behaalden ~91% nauwkeurigheid en ~84% F1-score. Gemini behaalde 84% nauwkeurigheid en 63% F1.
• Gevulde vierkanten-conditie: Alle drie de modellen stortten in. De nauwkeurigheid daalde naar 60–73% en de F1-score naar 29–39%.
• De kloof: De F1-gap varieerde tussen 34 en 54 punten, afhankelijk van het model. Dit suggereert dat de visuele encoder alleen nauwkeurige ruimtelijke informatie behoudt wanneer de input herkenbare tekst is.

2. Model-specifieke Foutpatronen
Elk model faalde op een unieke manier in de vierkanten-conditie:

• Claude: Systematisch onderschatten (under-counting) en verplaatsing van cellen naar onjuiste posities.
• ChatGPT: Massaal overschatten (over-counting) en het hallucineren van extra gevulde cellen, vaak met verloren gegane roosterafmetingen.
• Gemini: Template-hallucinaties. Bij hogere dichtheden gaf het model gestandaardiseerde geometrische patronen (zoals kruisen of L-vormen) die niets met de invoer te maken hadden.

3. Ablatiestudies en Continuüm
De kloof is niet binair, maar een gradiënt:

• Unicode-vierkanten: Presteerden intermediair (69–77% F1), beter dan gevulde vierkanten maar slechter dan ASCII-tekst. Dit suggereert dat token-frequentie in de trainingsdata een rol speelt.
• Tekst in vierkanten:
  • Voor Claude en Gemini herstelde het toevoegen van tekstlabels ("0"/"1") de ruimtelijke redenering volledig (tot 100% F1 op dunne roosters).
  • Voor ChatGPT had dit het tegenovergestelde effect: de prestaties daalden (51% F1), wat wijst op destructieve interferentie tussen de tekst- en visuele verwerkingspaden in dit specifieke model.

4. Dichtheidsafhankelijkheid
Gemini toonde een "kapot" gedrag bij toenemende dichtheid: het presteerde uitstekend op dunne roosters (visueel pad sterk), maar stortte volledig in bij hogere dichtheden (tekstherkenningspad faalt en grijpt terug op patronen). Claude en ChatGPT behielden een stabielere, zij het over het algemeen slechtere, prestatie in de vierkanten-conditie.

Belangrijkste Bijdragen

1. Identificatie van een Fundamentele Beperking: Het paper bewijst dat de ruimtelijke redenering van huidige VLMs sterk afhankelijk is van tekstherkenning. Zonder tekstuele "ankers" is de ruimtelijke precisie voor niet-tekstuele elementen ernstig aangetast.
2. De "Text-Recognition Pathway" Hypothese: De auteurs stellen dat VLMs functioneren met twee paden:
   • Een tekstherkenningspad (interne OCR) dat karakters omzet naar discrete tokens met hoge ruimtelijke precisie.
   • Een visueel-kenmerkenpad dat semantische relaties begrijpt maar coördinaten op pixel-niveau verliest.
3. Model-Variatie: Het onderzoek toont aan dat deze beperking universeel is voor drie verschillende model-families, maar dat de specifieke fouten en de interactie tussen tekst- en visuele paden model-specifiek zijn.
4. Praktische Implicaties: Toepassingen die vertrouwen op VLMs voor niet-tekstuele ruimtelijke taken (zoals medische beeldvorming, autonome systemen of wetenschappelijke visualisatie) kunnen hun prestaties sterk overschatten als ze getest zijn op tekstrijke benchmarks.

Significantie en Conclusie

De bevindingen zijn significant omdat ze aantonen dat de "oog" van een VLM niet gelijk is aan een menselijk oog of een traditioneel computer-visionmodel voor objectdetectie. De modellen "zien" ruimtelijke patronen pas echt als ze vertaald kunnen worden naar hun taal-domein.

De studie concludeert dat er een urgente nood is om de kloof tussen tekst-gemedieerde ruimtelijke redenering en native visuele ruimtelijke redenering te overbruggen. Mogelijke oplossingen die worden voorgesteld zijn:

• Het gebruik van tekstuele scaffolding (labels in beelden), mits getest per model.
• Het trainen van visuele encoders met expliciete coördinaat-predictie doelen in plaats van alleen beeld-tekst matching.
• Het introduceren van discrete visuele tokens in VLM-pipelines om visuele content direct toegankelijk te maken voor het tekstherkenningspad.

Kortom: huidige VLMs kunnen "vierkanten zien" alleen als ze eruitzien als tekst; als ze puur visueel zijn, verliezen ze hun ruimtelijk geheugen.