Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

Dit onderzoek toont aan dat visueel-taalmiddelen (VLMs) kwetsbaar zijn voor ruimtelijke kleurmenging, waarbij menselijke waarneming aanzienlijk robuuster is en mensgeïnspireerde voorverwerking de prestaties van deze modellen kan verbeteren.

De kern

🎨 De "Kleurige Mozaïek" Test voor AI's

Stel je voor dat je een prachtige foto van een kat hebt. Je kijkt ernaar en denkt: "Dat is een kat." Geen twijfel mogelijk.

Nu nemen we diezelfde foto en bedekken we hem met een patroon van duizenden kleine, gekleurde streepjes of vierkantjes, net als een mozaïek of een puntjesprint. Als je ver weg staat (of je knijpt je ogen een beetje dicht), zie je de kat nog steeds heel duidelijk. Maar als je heel dichtbij kijkt, zie je alleen maar gekke kleuren en lijnen.

Mensen zijn slim genoeg om hun brein te gebruiken en te zeggen: "Ah, dat is een kat, ook al zie ik alleen maar streepjes."
De AI's (de slimme computerprogramma's die beelden en taal begrijpen) raken echter volledig in de war. Ze kijken naar die streepjes, zien geen duidelijke vorm, en zeggen dan met volle overtuiging: "Dit is een banaan" of "Dit is een auto".

Dit onderzoek van Nicoleta-Nina Basoc en haar team uit Roemenië en Zwitserland gaat precies over dit fenomeen. Ze noemen het "Ruimtelijke Kleurenmixing".

🧪 Wat hebben ze gedaan?

De onderzoekers hebben een soort "stress-test" bedacht voor Vision-Language Models (VLMs). Dit zijn AI's die naar plaatjes kijken en daarover kunnen praten (zoals ChatGPT met een camera).

1. De Test: Ze namen normale foto's (van dieren, beroemde gebouwen en schilderijen) en legden er digitale "strepen" overheen. Ze gebruikten twee verschillende kleursystemen (net zoals je monitor werkt met Rood-Groen-Blauw, of een ouderwetse verftheorie).
2. De Intensiteit: Ze maakten de strepen soms heel dun en soms heel dik. Hoe dikker de strepen, hoe "verwarrender" het plaatje voor de computer wordt.
3. De Vraag: Ze vroegen de AI's: "Wat zie je hier?"

📉 Wat bleek eruit? (De Verbluffende Resultaten)

• AI's zijn kwetsbaar: Zelfs bij heel lichte verstoringen (dunne streepjes) vielen de scores van de AI's dramatisch. Ze werden niet alleen minder goed, ze gaven ook zeker de verkeerde antwoorden.
• Groter is niet beter: Je zou denken dat een "slimmere" of grotere AI (met meer rekenkracht) dit beter zou oplossen. Maar nee! De onderzoekers toonden aan dat het groter maken van de taal-vaardigheden van de AI het probleem niet oploste. De AI bleef staren naar de verkeerde details.
• Mensen vs. AI: Ze deden een test met 61 echte mensen. Mensen zagen de dieren nog steeds duidelijk, zelfs met de zware verstoringen. De AI's zagen niets dan chaos. Het verschil was enorm.

🤔 Waarom gebeurt dit?

De onderzoekers leggen dit uit met een mooie vergelijking:

• Mensen kijken als een detective: Als we naar een mozaïek kijken, gebruiken we onze ervaring en ons geheugen. We "vullen de gaten in". We kijken niet naar elk individueel pixelletje, maar naar het grote plaatje. Als we ver weg staan, verdwijnen de storende details en zien we de vorm.
• AI's kijken als een rekenmachine: De AI's proberen elke pixel exact te analyseren. Ze hebben geen "buikgevoel" of ervaring om de storende strepen te negeren. Ze zien de chaos en proberen daar een logisch verhaal bij te verzinnen, wat vaak belachelijk wordt.

💡 Is er een oplossing?

Ja, en het is heel simpel!

De onderzoekers ontdekten dat als ze de foto's voor de AI even verkleinden en weer vergrootte (net als wanneer je ver weg staat van een scherm), of als ze een wazig filter (blur) overheen deden, de AI's plotseling weer beter werden.

• De Analogie: Het is alsof je een ruzie hebt met iemand door een raam dat vies is. Als je het raam wast (of even dichtknijpt), zie je de persoon weer duidelijk. De AI had dit "raam wassen" nodig om de strepen te negeren en de kat te zien.

Maar hier is de twist:
De onderzoekers gaven de AI ook de mogelijkheid om zelf een "gereedschap" te gebruiken (een stukje code om het plaatje te wazig te maken). De AI wist niet dat ze dit moest doen! Ze dachten dat ze het probleem zelf op konden lossen, maar faalden. Ze hadden een mens nodig om te zeggen: "Hey, probeer het maar eens wazig te maken."

🏁 Conclusie

Deze studie laat zien dat AI's, hoe slim ze ook lijken, nog steeds heel kwetsbaar zijn voor visuele illusies die voor mensen triviaal zijn.

• Grootte helpt niet: Meer rekenkracht lost dit niet op.
• Menselijke trucs werken: Simpele trucs (zoals wazig maken) helpen de AI enorm.
• De toekomst: Om AI's echt robuust te maken, moeten we ze niet alleen slimmer maken, maar ze ook leren hoe ze moeten kijken. Misschien moeten we ze leren om soms even "ver weg te staan" van de details, net als wij mensen doen.

Kortom: AI's zijn geweldige rekenmachines, maar ze zijn nog geen echte kunstenaars als het gaat om het zien van de essentie in een chaotisch plaatje.

Technische samenvatting

Titel: Ruimtelijke Kleurmixing-Illusies als Perceptiestress-test voor Vision-Language Models

1. Het Probleem

Vision-Language Models (VLM's) behalen indrukwekkende resultaten op standaard benchmarks, maar vertonen systematische perceptuele zwaktes. Kleine of gestructureerde wijzigingen in pixelwaarden kunnen leiden tot zelfverzekerde, maar nonsensische voorspellingen, zelfs wanneer het onderliggende tafereel voor mensen eenvoudig herkenbaar blijft.

De auteurs stellen dat er een fundamenteel verschil is tussen menselijke en machineperceptie:

• Menselijke visie: Is actief, constructief en geoptimaliseerd voor evolutionaire fitness. Mensen integreren gedeeltelijke bewijzen met sterke kennispriors en kunnen objecten vaak herkennen door naar een afbeelding "vanop afstand" te kijken (wat hoge frequentie-details reduceert).
• Machine visie (VLM's): Optimaliseert verliesfuncties (zoals contrast- of consistentieverlies) en mist de actieve, contextuele integratie van menselijke waarneming.

Bestaande benchmarks voor illusies hebben vaak beperkingen, zoals het gebruik van internet-gegrabbelde afbeeldingen (risico op memorisatie), te sterke taalafhankelijkheid in de vragen, of het introduceren van extra artefacten via visuele prompting. Er is behoefte aan een gecontroleerde, programmatische manier om VLM's te testen zonder de semantische inhoud van de afbeelding te veranderen.

2. Methodologie

De auteurs introduceren een nieuw framework gebaseerd op Spatial Colour Mixing (Ruimtelijke Kleurmixing). Dit is een familie van programmatische kleurvervormingen die gestructureerde patronen overlapt op natuurlijke afbeeldingen.

• De Illusies: Er worden acht varianten ontwikkeld, verdeeld over twee kleursystemen:
  • RGB-systeem (5 varianten): SCMix-1, SCMix-2, SCMix-3A, SCMix-3B, SCMix-6. Deze gebruiken gestreepte of rasterpatronen om kleuren te decomponeren in hun constitutieve RGB-componenten.
  • Ostwald-systeem (3 varianten): Ostwald RGB, Ostwald Checker, Ostwald Random. Gebaseerd op de Ostwald-geometrie (zwart, wit en tint), waarbij de verhoudingen worden aangepast om de oorspronkelijke waargenomen kleur te simuleren.
• Parametrisatie: Elke illusie heeft een instelbare "vervormingsgraad" (distortion degree), variërend van de breedte van de strepen tot de afmetingen van het raster. Dit stelt de auteurs in staat om de intensiteit van de verstoring systematisch te verhogen zonder de scène-inhoud te wijzigen.
• Datasets: De methoden worden getest op vier datasets:
  1. Animals: 1140 afbeeldingen van 19 dieren (gecontroleerde klassen).
  2. Artworks: 1951 schilderijen van 8 beroemde kunstenaars (vrijere prompt).
  3. Landmarks: 3688 afbeeldingen van beroemde bezienswaardigheden (open vragen).
  4. MME: Een populaire benchmark met 1188 afbeeldingen en 2376 vragen over diverse vaardigheden.
• Modellen: Negen VLM's worden geëvalueerd uit drie families (Gemma3, LLaVA, Qwen3), variërend in schaal (van 4B tot 34B parameters).
• Menselijke Studie: Een experiment met 61 deelnemers op de Animals-dataset om een benchmark voor menselijke prestaties te creëren onder dezelfde vervormingen.
• Preprocessing-test: Er wordt getest of menselijke strategieën (zoals "terugwijken" of "knijpen in de ogen") kunnen worden gesimuleerd door techniek zoals downscaling/upscaling en box-blurring. Ook wordt getest of modellen zelfstandig kunnen beslissen om deze tools te gebruiken (via code-interpreter).

3. Belangrijkste Bijdragen

1. Gecontroleerde Vervormingsfamilie: Een nieuwe set van acht ruimtelijke kleurmixing-illusies met een instelbare intensiteit, beschikbaar gesteld voor de gemeenschap.
2. Systematische Evaluatie: Een uitgebreide evaluatie van negen VLM's over vier datasets, die kwantificeert hoe nauwkeurigheid degradeert naarmate de kleurmixing-intensiteit toeneemt.
3. Mens vs. Machine: Een menselijke studie die een groot prestatiekloof aantoont tussen mensen en VLM's onder dezelfde omstandigheden.
4. Preprocessing-strategieën: Het aantonen dat simpele, mens-geïnspireerde preprocessing (downscaling/blurring) de prestaties significant kan herstellen, en het inzicht dat modellen dit niet zelfstandig toepassen.

4. Resultaten

• Snelle Daling van Nauwkeurigheid: De prestaties van VLM's storten dramatisch in, zelfs bij de laagste vervormingsgraden. Op de "Animals"-dataset, waar modellen bijna perfect presteren op ongestoorde beelden, daalt de nauwkeurigheid naar ongeveer 50% bij de eerste vervorming.
• Schaal lost het probleem niet op: Het vergroten van de taalmodel-schaal (bijv. van 4B naar 27B parameters) verhelpt de fouten niet. De prestatiedaling wordt meer bepaald door de model-familie (de visuele encoder) dan door de grootte van het taalmodel.
  • Voorbeeld: LLaVA-modellen zijn robuuster, terwijl Gemma3 en Qwen3-VL-modellen vaak naar 0% nauwkeurigheid zakken.
• Menselijke Robuustheid: Mensen presteren aanzienlijk beter dan VLM's. Mensen kunnen objectidentiteit behouden terwijl de vervorming toeneemt, wat aantoont dat VLM's anders omgaan met lage-frequentie vs. hoge-frequentie informatie.
• Effect van Preprocessing: Het toepassen van downscaling gevolgd door upscaling (D/U) en box-blurring herstelt de nauwkeurigheid aanzienlijk voor bepaalde illusietypes (zoals Ostwald Checker en SCMix-1), met verbeteringen tot wel 30%+. Dit simuleert het menselijke effect van "terugwijken".
• Tool Use Faalt: Het geven van toegang tot code-interpreter tools (om zelf preprocessing toe te passen) verbetert de prestaties niet. De modellen herkennen niet wanneer hun perceptie onbetrouwbaar is en weten niet wanneer ze de tool moeten gebruiken.
• Visuele Encoder Invloed: Analyse van inbeddingen (cosine similarity) toont aan dat de trainingsdoelstelling van de visuele encoder belangrijker is dan de schaal. Encoders zoals DINOv3 reageren gevoeliger op de vervorming (wat nuttig is voor detectie), terwijl CLIP/SigLIP encoders vaak onnauwkeurige, hoge gelijkenissen behouden ondanks de vervorming.

5. Betekenis en Conclusie

Dit paper toont aan dat VLM's kwetsbaar zijn voor gestructureerde kleurvervormingen die voor mensen triviaal te overwinnen zijn. De bevindingen suggereren dat:

1. Schaal alleen niet genoeg is: Het vergroten van modelgrootte lost fundamentele perceptuele zwaktes niet op.
2. Perceptie-bewuste preprocessing nodig is: Praktische strategieën zoals het toepassen van low-pass filters (blur/downscaling) kunnen de robuustheid aanzienlijk verbeteren.
3. Hybride ontwerpen: De combinatie van semantische encoders (zoals CLIP) met perceptuele encoders (zoals DINOv3) die gevoelig zijn voor structuur, is een veelbelovende richting.
4. Onzekerheidsmanagement: Modellen moeten leren om hun eigen perceptuele onzekerheid te herkennen om effectief tools te kunnen inzetten.

De studie benadrukt de noodzaak om VLM's niet alleen te evalueren op semantisch begrip, maar ook op hun lage-niveau perceptuele robustheid tegen gestructureerde illusies.