The Illusion-Illusion: Vision Language Models See Illusions Where There Are None

Sintesi Tecnica: L'Illusione-Illusione: I Modelli Vision-Language vedono Illusioni dove non ce ne sono

Problema
Le illusioni percettive fungono da strumenti diagnostici nelle scienze cognitive poiché rivelano le discrepanze tra realtà e apparenza, illuminando così i meccanismi sottostanti dell'elaborazione mentale. Mentre la ricerca precedente ha indagato se i sistemi artificiali cadano vittima delle stesse classiche illusioni degli esseri umani, questo articolo sostiene che testare le classiche illusioni sia insufficiente per diagnosticare gli attuali Modelli Vision-Language (VLM). L'autore postula che uno strumento diagnostico più rivelatore sia l' "illusione-illusione" (o "illusion-illusion"): immagini che possiedono le caratteristiche visive di un'illusione ma mancano del reale trucco percettivo. In questi casi, la realtà visiva coincide con l'apparenza (ad esempio, linee che hanno effettivamente lunghezze diverse, un'anatra che è effettivamente un'anatra), pur essendo "vicine" a celebri illusioni. Il problema centrale affrontato è se gli attuali VLM percepiscano erroneamente queste "illusioni-illusioni" come illusioni, rivelando così un fallimento nel distinguere tra anomalie percettive genuine e fatti visivi diretti.

Metodologia
Lo studio ha impiegato un framework di valutazione comparativa che coinvolgeva dieci illusioni rappresentative coprendo diversi fenomeni percettivi (ad esempio, frecce di Müller-Lyer, cerchi di Ebbinghaus, triangoli di Kanizsa, ombre di scacchiera). Per ogni classica illusione, l'autore ha costruito tre tipi di stimoli:

1. L'Illusione: L'immagine originale progettata per indurre un errore percettivo.
2. L'Illusione-Illusione: Una versione modificata in cui il "trucco" è rimosso e le proprietà visive sono letterali (ad esempio, frecce con lunghezze di stelo effettivamente diverse, un'immagine chiara di un'anatra).
3. Il Controllo: Versioni semplificate progettate per verificare la competenza di base (ad esempio, identificare un singolo triangolo).

La valutazione ha testato otto attuali VLM: GPT-4o, Claude 3, Gemini Pro Vision, miniGPT, Qwen-VL, InstructBLIP, BLIP2 e LLaVA-1. I modelli sono stati sottoposti a immagini e prompt specifici mirati al soggetto dell'illusione (ad esempio, "Quale è più lunga, la linea blu o la linea rossa?"). Una condizione secondaria prevedeva l'aggiunta della frase "Nell'illustrazione seguente" ai prompt per testare l'influenza del contesto.

Le prestazioni sono state valutate in modo binario (0 o 1) in base all'allineamento con le risposte umane. Per le classiche illusioni, un punteggio di 1 indicava il riportare la percezione illusoria o l'ammissione dell'illusione. Per le illusioni-illusioni e i controlli, un punteggio di 1 indicava il riportare la verità letterale come farebbe un essere umano. L'autore nota che questa valutazione è indulgente, tendendo a sovrastimare le prestazioni del modello.

Risultati Chiave
I risultati indicano una divergenza significativa tra la percezione umana e le capacità attuali dei VLM:

• Fallimento sulle Illusioni-Illusioni: I modelli leader (GPT-4o, Claude 3, Gemini Pro), che riconoscono o riportano con successo le classiche illusioni, classificano spesso erroneamente le illusioni-illusioni come illusioni. Ad esempio, quando presentati con linee che hanno effettivamente lunghezze diverse, questi modelli spesso affermano che hanno la stessa lunghezza (mimando l'illusione) o descrivono l'immagine come un'illusione.
• Fragilità Contestuale: Quando il prompt etichettava esplicitamente un'immagine come "illusione visiva", le prestazioni dei tre modelli principali degradavano significativamente sulle illusioni-illusioni e sui controlli. Essi riportavano in modo schiacciante queste immagini non illusorie come illusioni, suggerendo che le loro risposte siano pesantemente influenzate dal prompt testuale piuttosto che dall'evidenza visiva.
• Fallimenti del Controllo: Contrariamente all'ipotesi secondo cui i controlli avrebbero dovuto servire come base per la competenza, modelli come GPT-4o, Gemini Pro e Claude 3 riportavano frequentemente semplici immagini di controllo (ad esempio, un singolo triangolo) come illusioni. Ciò suggerisce che per questi modelli, il concetto di "illusione" viene applicato ampiamente a immagini che semplicemente somigliano alla categoria dell'illusione, piuttosto che a un giudizio percettivo specifico.
• Comportamento del Modello: Il comportamento dei migliori modelli non si allinea con un ipotetico "Modello B" (che riconoscerebbe le illusioni ma non le illusioni-illusioni). Al contrario, mostrano un pattern più vicino a una prestazione "piatta" o a una tendenza ad allucinare illusioni dove non esistono, particolarmente quando sollecitati dalla parola "illusione".

Contributi Chiave
Il documento introduce il concetto di "illusioni-illusioni" come un nuovo strumento diagnostico per i sistemi artificiali. Invertendo l'uso standard delle illusioni, l'autore dimostra che gli attuali VLM soffrono di un particolare modo di fallimento: applicano il pattern del riconoscimento dell'illusione a immagini che non lo giustificano. Questo lavoro evidenzia che il fallimento nel distinguere tra un'illusione e un'illusione-illusione è un indicatore di errori di elaborazione più profondo rispetto alla mera capacità di rilevare una classica illusione. Lo studio fornisce un dataset e un protocollo di valutazione che mostrano come i modelli spesso falliscano nel ancorare le proprie risposte alla realtà visiva letterale quando il contesto suggerisce la presenza di un'illusione.

Significatività e Rivendicazioni
L'autore sostiene che questi fallimenti non siano semplici curiosità, ma indicatori di errori di elaborazione più ampi nei correnti VLM. Il documento suggerisce che quando un modello fallisce su un'illusione-illusione, ciò implica che il sistema non stia impegnando un riconoscimento riflessivo dell'input "ordinario". Inveve, il modello probabilmente si affida a un basso livello di associazione di somiglianza con i dati di addestramento, associando le caratteristiche visive di un'immagine al concetto di un'illusione presente nel proprio corpus di addestramento, piuttosto che mimare i fallimenti percettivi specifici della biologia umana.

La significatività di questo lavoro risiede nella sfida posta all'assunto che la capacità di un modello di identificare un'illusione provi il possesso di una comprensione percettiva simile a quella umana. L'autore sostiene che cadere in un'illusione è un tratto umano, ma cadere in un' "illusione-illusione" (dove il trucco è assente) è segno di un sistema che è "ingannato" dall'idea di un'illusione piuttosto che dai dati visivi stessi. Il documento conclude che questi fallimenti suggeriscono che i sistemi attuali non siano ancora robusti nel distinguere tra l'apparenza di un problema e la realtà dell'input, un limite che si estende oltre la visione ad altre modalità e domini.