Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions

Titel: Het Bewijs Zien, het Antwoord Missen: Tool-geleide Vision-Language Models op Visuele Illusies

1. Het Probleem

Vision-Language Models (VLM's) vertonen een systematische bias wanneer ze worden geconfronteerd met klassieke optische illusies (zoals de Ebbinghaus-kringen of Müller-Lyer-pijlen). Ondanks dat de invoerbeeld kan zijn gewijzigd om de illusie objectief te breken (counterfactuele modificatie), voorspellen VLM's overweldigend vaak dat de illusie "echt" is.

De auteurs stellen dat dit falen niet puur het gevolg is van zwakke visuele representaties, maar van een onevenwichtige trainingsdata. Tijdens het pre-training proces zien modellen bijna uitsluitend echte, ongewijzigde illusies. Hierdoor leert het model dat beelden die eruitzien als een illusie, altijd het bijbehorende perceptuele effect vertonen. Wanneer een model wordt gevraagd over een structureel vergelijkbaar beeld dat chirurgisch is aangepast om het effect te verwijderen, weegt de vooraf bestaande prior (de "illusie-ervaring") zwaarder dan het directe visuele bewijs, wat leidt tot systematisch valse positieven.

De DataCV 2026 Challenge (Taken I en II) operationaliseert dit probleem:

• Taak I: Binary vragen (Ja/Nee) over klassieke illusies, waarbij sommige beelden zijn gemodificeerd.
• Taak II: Meerkeuzevragen over real-world visuele anomalieën en onmogelijke scènes.
• Beperking: Geen fine-tuning of updates van modelgewichten zijn toegestaan; alleen prompting, routing en tool-gebruik.

2. Methodologie

De auteurs presenteren een tool-geleide inferentieframework dat werkt zonder modeltraining. Het systeem is gebaseerd op de Gemini Flash-familie van modellen en gebruikt een agent die iteratief een bibliotheek met generieke beeldmanipulatie-tools aanroept.

Kerncomponenten:

• Generieke Tools: In plaats van specifieke modules voor elke illusietype, gebruikt het systeem een kleine set algemene operators:
  • Gedeelde kern (voor beide taken): Lijn trekken, regio's uitsnijden (crop), en crops naast elkaar plaatsen (side-by-side comparison).
  • Taak II-extensies: Grid overlay, kanaal-extractie, kleurstalen nemen, kleurisolatie en blur.
• Prompt-based Routing: De strategie voor het gebruik van tools is niet in code hard-codet, maar ingebed in de systeemprompt. De prompt instrueert het agent om de vraag te classificeren (bijv. groottevergelijking, lijn-rechtlijnigheid) en roept vervolgens een aanbevolen reeks tools aan voor die categorie.
• Immutable Image Resource Versioning: Dit is een cruciaal ontwerpbesluit. Geen enkele tool wijzigt een bestaand beeld. Elke tool-aanroep creëert een nieuw, onveranderlijk (immutable) beeldresource (bijv. img_001, img_002) dat wordt toegevoegd aan een persistente register.
  • Dit stelt het model in staat om eerdere geannoteerde weergaven te raadplegen, te combineren en multi-stap redeneerketens te vormen zonder informatie te verliezen.
  • Het werkt analoog aan immutable values in functionele programmering, maar toegepast op het visuele domein.
• ReAct-loop: De agent inspecteert het huidige register, roept een tool aan, ontvangt het nieuwe beeld, en herhaalt dit totdat er voldoende bewijs is voor een gestructureerd antwoord.

3. Belangrijkste Bijdragen

1. Tool-geleid framework: Een systeem voor open-ended perceptuele VQA (Visual Question Answering) dat werkt zonder enige vorm van modeltraining.
2. Versiebeheer voor beelden: Een systeem dat geannoteerde weergaven verzamelt als onveranderlijke assets, wat complexe, multi-stap visuele redeneringen mogelijk maakt met volledige toegang tot de geschiedenis.
3. Prompt-routing design: Een alternatief voor harde module-bibliotheken waarbij de routing-logica in de prompt zit, wat zorgt voor betere generalisatie naar nieuwe vraagtypes.
4. Empirische observaties: Identificatie van drie systemische faalmodi van VLM's bij het detecteren van illusies.

4. Resultaten en Observaties

Het systeem toonde sterke prestaties en generalisatievermogen, zelfs op de testset met structureel onbekende varianten van illusies (bijv. Mach Bands die van verticaal naar horizontaal zijn gedraaid), zonder aanpassing van de prompt.

Drie cruciale observaties:

1. Systematische Bias voor Positieve Detectie: Zelfs met tools vertonen VLM's een sterke neiging om "ja" te zeggen (de illusie is aanwezig), zelfs bij gemodificeerde beelden. Dit wordt toegeschreven aan een data-bias in de trainingsset, waarbij "illusie-achtige" beelden bijna altijd echte illusies zijn.
2. Spatiale Precisie zonder Logische Consequentie: Er is een opvallende dissociatie tussen de nauwkeurigheid van het model bij het plaatsen van annotaties en de logica die het trekt uit die annotaties.
   • Voorbeeld: Het model trekt een perfect rechte referentielijn en ziet dat de doelkromme erbovenaf buigt, maar concludeert toch dat de lijn recht is omdat de "prior" (dat Hering-lijnen recht lijken) sterker is dan het visuele bewijs.
   • Voorbeeld: Bij kleurmetingen ziet het model een numeriek verschil in hex-codes, maar concludeert dat de kleuren "effectief hetzelfde" zijn.
3. Gevoeligheid voor Compressie-artefacten: JPEG-compressie en rastering introduceren ruis op randen. Dit leidt tot valse positieven (waar het model een compressie-rand interpreteert als een echte grenslijn) of valse negatieven (waar het model een artefact ziet als een fysiek verschil). Het model is slecht gekalibreerd voor kleine pixelverschillen.

5. Betekenis en Conclusie

De paper concludeert dat huidige VLM's niet simpelweg "slecht" zijn in het begrijpen van illusies, maar dat ze uiterst precies zijn in het lokaliseren van objecten en het annoteren van geometrie, maar falen in het trekken van correcte conclusies uit hun eigen bewijs wanneer dit in strijd is met trainingsdata-priors.

De succesvolle aanpak van de auteurs toont aan dat:

• Immutable resource versioning essentieel is voor complexe visuele redenering.
• Prompt-gebaseerde routing flexibeler en generaliseerbaarder is dan hard-codet module-bibliotheken.
• Om de robuustheid van VLM's te verbeteren, is geoptimaliseerde data-augmentatie (met name het toevoegen van negatieve illusie-voorbeelden) waarschijnlijk minstens zo belangrijk als architecturale veranderingen.

Dit werk biedt een blauwdruk voor het oplossen van complexe visuele taken zonder modeltraining, door slimme tool-integratie en een gestructureerde redeneeromgeving.