The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

Technische Samenvatting: De Illusie-Illusie: Vision Language Models Zien Illusies Waar Ze Niet Zijn

Probleemstelling
Perceptuele illusies dienen als diagnostische instrumenten in de cognitieve wetenschap omdat ze de kloof tussen realiteit en verschijning blootleggen, waardoor onderliggende mentale verwerkingsmechanismen worden verduidelijkt. Hoewel eerder onderzoek heeft onderzocht of kunstmatige systemen ten prooi vallen aan dezelfde klassieke illusies als mensen, betoogt dit artikel dat het testen van klassieke illusies onvoldoende is voor het diagnosticeren van huidige Vision Language Models (VLM's). De auteur stelt dat een meer veelzeggend diagnostisch instrument de "illusie-illusie" (of "illusie-illusie") is: afbeeldingen die de visuele kenmerken van een illusie bezitten, maar de werkelijke perceptuele truc missen. In deze gevallen komt de visuele realiteit overeen met de verschijning (bijv. lijnen die daadwerkelijk verschillende lengtes hebben, een eend die daadwerkelijk een eend is), maar zijn zij buren van beroemde illusies. Het kernprobleem dat wordt aangepakt, is of huidige VLM's deze "illusie-illusies" onterecht als illusies waarnemen, wat een falen onthult in het onderscheid maken tussen genuanteerde perceptuele anomalieën en eenvoudige visuele feiten.

Methodologie
De studie maakte gebruik van een vergelijkend evaluatiekader bestaande uit tien representatieve visuele illusies die diverse perceptuele fenomenen beslaan (bijv. Müller-Lyer-pijlen, Ebbinghaus-cirkels, Kanizsa-driehoeken, checker-schaduwen). Voor elke klassieke illusie construeerde de auteur drie soorten stimuli:

1. De Illusie: De originele afbeelding die ontworpen is om een perceptuele fout op te wekken.
2. De Illusie-Illusie: Een gemodificeerde versie waarbij de "truc" is verwijderd en de visuele eigenschappen letterlijk zijn (bijv. pijlen met daadwerkelijk verschillende schachtlengtes, een duidelijke afbeelding van een eend).
3. De Controle: Vereenvoudigde versies die bedoeld zijn om basisbekwaamheid te verifiëren (bijv. het identificeren van een enkele driehoek).

De evaluatie testte acht huidige VLM's: GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 en LLa-1.5. De modellen werden gepresenteerd met afbeeldingen en specifieke prompts gericht op het onderwerp van de illusie (bijv. "Welke is langer, de blauwe lijn of de rode lijn?"). Een secundaire conditie hield in dat de zin "In de volgende visuele illusie" vooraf aan de prompts werd geplaatst om de invloed van context te testen.

Prestaties werden binair gescoord (0 of 1) op basis van afstemming met menselijke reacties. Voor klassieke illusies betekende een score van 1 het rapporteren van de geïlluseerde percept of het erkennen van de illusie. Voor de illusie-illusies en controles betekende een score van 1 het rapporteren van de letterlijke waarheid zoals een mens dat zou doen. De auteur merkt op dat deze scoring lenient is en de neiging heeft de prestaties van modellen te overschatten.

Belangrijkste Resultaten
De resultaten wijzen op een significante divergentie tussen de menselijke perceptie en de huidige VLM-capaciteiten:

• Falen op Illusie-Illusies: Toonaangevende modellen (GPT-4o, Claude 3, Gemini Pro), die erin slagen klassieke illusies te herkennen of te rapporteren, classificeren illusie-illusies ook vaak onterecht als illusies. Wanneer ze bijvoorbeeld worden gepresenteerd met lijnen die daadwerkelijk verschillende lengtes hebben, beweren deze modellen vaak dat ze even lang zijn (het nabootsen van de illusie) of beschrijven ze het als een illusie.
• Contextuele Fragiliteit: Wanneer de prompt expliciet een afbeelding als een "visuele illusie" bestempelde, degradeerde de prestatie van de top drie modellen aanzienlijk op de illusie-illusies en controles. Ze rapporteerden deze niet-illusoriële afbeeldingen overweldigend als illusies, wat suggereert dat hun reacties zwaar beïnvloed worden door de tekstuele prompt in plaats van visueel bewijs.
• Controle-fouten: In tegenstelling tot de hypothese dat controles als een baseline voor bekwaamheid zouden dienen, rapporteerden modellen zoals GPT-4o, Gemini Pro en Claude 3 regelmatig eenvoudige controle-afbeeldingen (bijv. een enkele driehoek) als illusies. Dit suggereert dat het concept "illusie" voor deze modellen breed wordt toegepast op afbeeldingen die louter de categorie van een illusie doen lijken, in plaats van een specifieke perceptuele beoordeling te vormen.
• Modelgedrag: Het gedrag van de topmodellen komt niet overeen met een hypothetisch "Model B" (dat wel illusies zou herkennen maar geen illusie-illusies). In plaats daarvan vertonen ze een patroon dat dichter bij een "platte" prestatie ligt of een neiging om illusies te hallucineren waar ze niet bestaan, vooral wanneer ze geprimed worden door het woord "illusie".

Belangrijkste Bijdragen
Het artikel introduceert het concept van "illusie-illusies" als een nieuw diagnostisch instrument voor kunstmatige systemen. Door de standaard toepassing van illusies te inverteren, demonstreert de auteur dat huidige VLM's lijden aan een specifieke foutmodus: ze passen de patroonherkenning van een illusie toe op afbeeldingen die dat niet rechtvaardigen. Dit werk benadrukt dat het falen om het onderscheid te maken tussen een illusie en een illusie-illusie een dieper indicator is van verwerkingsfouten dan het louter vermogen om een klassieke illusie te detecteren. De studie levert een dataset en een evaluatieprotocol dat aantoont dat modellen vaak falen in het funderen van hun reacties in de letterlijke visuele realiteit wanneer de context suggereert dat er een illusie aanwezig is.

Betekenis en Claims
De auteur claimt dat deze fouten niet louter vreemde eigenaardigheden zijn, maar indicatief zijn voor bredere verwerkingsfouten in huidige VLM's. Het artikel suggereert dat wanneer een model faalt op een illusie-illusie, dit impliceert dat het systeem niet betrokken is bij een doordachte herkenning van "gewone" input. In plaats daarvan vertrouwt het model waarschijnlijk op lage-niveau gelijkenis-matching met trainingsdata, waarbij de visuele kenmerken van een afbeelding associëren met het concept van een illusie dat in hun trainingscorpus voorkomt, in plaats van de specifieke perceptuele fouten van de menselijke biologie na te bootsen.

De betekenis van dit werk ligt in het uitdagen van de aanname dat het vermogen van een model om een illusie te identificeren, bewijst dat het over een mensachtige perceptuele intelligentie beschikt. De auteur betoogt dat het ondergaan van een illusie een menselijke eigenschap is, maar het ondergaan van een "illusie-illusie" (waar de truc afwezig is) een teken is van een systeem dat wordt "misleid" door het idee van een illusie in plaats van door de visuele data zelf. Het artikel concludeert dat deze fouten erop wijzen dat huidige systemen nog niet robuust zijn in het onderscheiden van de verschijning van een probleem en de realiteit van de input, een beperking die zich uitstrekt buiten visie naar andere modaliteiten en domeinen.