Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models

Questo studio dimostra che i modelli visione-linguaggio falliscono sistematicamente di fronte a distorsioni cromatiche spaziali che gli esseri umani percepiscono facilmente, suggerendo che l'adozione di pre-elaborazioni ispirate alla percezione umana possa migliorare la loro robustezza.

L'essenziale

🎨 Il Test dello "Stress Visivo" per l'Intelligenza Artificiale

Immagina di avere un amico molto intelligente, un Vision-Language Model (VLM), che è bravissimo a guardare le foto e a descrivere cosa vede. Se gli mostri un gatto, ti dirà: "È un gatto!". Se gli mostri la Torre Eiffel, ti dirà: "È la Torre Eiffel!". Sembra perfetto, vero?

Ma gli scienziati di questo studio (Nicoleta, Adrian ed Emilian) si sono chiesti: "Cosa succede se inganniamo i suoi occhi?"

Hanno creato un esperimento chiamato "Miscelazione Spaziale dei Colori". È come se prendessimo una foto normale e la coprissemos con un filtro speciale fatto di strisce o griglie colorate.

🧩 L'Analogia della "Griglia Magica"

Immagina di guardare un quadro attraverso una griglia di vetro colorato.

• Se ti avvicini molto al vetro, vedi solo strisce di rosso, verde e blu che non hanno senso.
• Ma se ti allontani dal quadro (o strizzi gli occhi), il cervello umano fa un trucco magico: mescola i colori da lontano e improvvisamente... BAM! Rivedi chiaramente il gatto o l'elefante nascosto sotto le strisce.

Gli esseri umani sono bravissimi a fare questo "trucco" del cervello. Ma cosa succede all'IA?

🤖 Il Risultato Sorprendente: L'IA va in Panico

Gli scienziati hanno mostrato queste foto "ingannate" a 9 diversi modelli di intelligenza artificiale. Il risultato è stato scioccante:

1. Confusione Totale: Appena le strisce colorate apparivano, l'IA perdeva la testa. Invece di dire "È un elefante", l'IA diceva cose assurde come "È un cane che dipinge un quadro" o "È un teschio".
2. Più Intelligenza non Aiuta: Hanno provato con modelli più grandi e potenti (come se dessimo all'IA un cervello più grande), ma non è servito a nulla. L'errore rimaneva. È come dare un dizionario gigante a qualcuno che non sa leggere le strisce colorate: non aiuta a vedere l'immagine reale.
3. Il Paradosso: L'IA è così sicura delle sue risposte sbagliate che sembra quasi arrogante, anche quando sta guardando un'immagine che per noi è ovvia.

👁️ L'Esperimento con gli Esseri Umani

Hanno fatto lo stesso test a 61 persone.

• Risultato: Gli umani hanno visto chiaramente gli animali anche con le strisce colorate.
• Confronto: C'è un abisso enorme tra come vede l'IA e come vede l'uomo. Noi abbiamo un "cervello costruttivo" che riempie i buchi e ignora i dettagli fastidiosi se ci allontaniamo. L'IA, invece, guarda ogni singolo pixel e si blocca se i pixel sono "disordinati".

💡 La Soluzione: "Fare un passo indietro"

Gli scienziati hanno scoperto un trucco semplice per aiutare l'IA. Hanno preso le foto confuse e le hanno sfocate o ridotte di dimensioni (come quando un umano strizza gli occhi o si allontana dallo schermo).

• Risultato: Dopo questo piccolo "trucco" di pre-elaborazione, l'IA ha ricominciato a vedere bene! Ha riconosciuto gli animali quasi come noi.

🚫 Il Problema del "Tool" (Gli Strumenti)

C'è un ultimo dettaglio interessante. Hanno dato all'IA la possibilità di usare un "strumento" (un codice informatico) per sfocare l'immagine da sola.

• Il risultato: L'IA non ha usato lo strumento. Anche se aveva la chiave per risolvere il problema, non si è resa conto di essere confusa. È come se aveste dato un occhialino da nuoto a una persona che non sa che sta per entrare in acqua: non se lo mette perché non sa di averne bisogno.

📝 In Sintesi

Questo studio ci dice che:

1. Le IA sono molto brave a riconoscere le cose "normali", ma sono fragili quando l'immagine è un po' "distorta" o colorata in modo strano.
2. Non basta rendere l'IA più grande; dobbiamo insegnarle a vedere come vediamo noi (ignorando i dettagli fastidiosi e guardando la forma generale).
3. Per farle funzionare meglio, dobbiamo aiutarle noi umani a "pulire" l'immagine prima di mostrarle, o insegnarle a riconoscere quando sta per sbagliare.

È un po' come insegnare a un robot a non farsi ingannare da un'illusione ottica: finché non gli insegniamo a "strizzare gli occhi" digitali, rimarrà confuso dalle strisce colorate!

Sommario tecnico

1. Il Problema

I modelli Vision-Language (VLM) hanno ottenuto risultati eccezionali su molti benchmark, ma mostrano vulnerabilità percettive sistemiche. Cambiamenti strutturati e significativi nei valori dei pixel possono indurre il modello a produrre previsioni confidenti ma nonsensiche, anche quando la scena sottostante rimane facilmente riconoscibile per un essere umano.
Il problema centrale è il divario tra la percezione umana e quella delle macchine:

• Umani: La visione è un processo attivo e costruttivo che integra evidenze parziali con forti priors di conoscenza. Gli esseri umani possono recuperare l'identità di un oggetto osservando l'immagine "da lontano" (riducendo i dettagli ad alta frequenza) o strizzando gli occhi.
• Macchine (VLM): I modelli ottimizzano funzioni di perdita (es. contrastive o consistency losses) e spesso mancano dei meccanismi di integrazione temporale e spaziale tipici della visione biologica.
  Il paper identifica una lacuna nelle valutazioni attuali: molti benchmark basati su illusioni ottiche utilizzano immagini scaricate da internet (rischio di memorizzazione) o introducono confondenti linguistici. Manca un metodo controllato per testare la robustezza percettiva dei VLM senza alterare il contenuto semantico dell'immagine.

2. Metodologia

Gli autori introducono una famiglia di distorsioni controllate chiamate Spatial Colour Mixing (Miscelazione Spaziale dei Colori) e un framework di valutazione rigoroso.

A. Le Illusioni: Spatial Colour Mixing

Si tratta di una famiglia di distorsioni programmatiche che sovrappongono pattern strutturati (strisce o griglie) alle immagini naturali, alterando drasticamente i valori dei pixel pur mantenendo la forma globale dell'oggetto.
Sono stati definiti 8 varianti basate su due sistemi di colore:

1. Sistema RGB (5 varianti): SCMix-1, SCMix-2, SCMix-3A, SCMix-3B, SCMix-6. Utilizzano strisce di colore (es. RGB, o combinazioni come R+G e B) sovrapposte a patch in scala di grigi o codificano informazioni cromatiche in strisce proporzionali alla quantità originale.
2. Sistema Ostwald (3 varianti): Ostwald RGB, Ostwald Checker, Ostwald Random. Si basano sulla decomposizione del colore in tre componenti: nero, bianco e tonalità (hue), mescolate spazialmente in modo che la somma luminosa corrisponda al colore percepito originale.

Ogni illusione è parametrizzabile per grado di distorsione (larghezza delle strisce o dimensioni della griglia).

B. Dataset e Protocollo di Valutazione

• Dataset: Quattro dataset distinti per specificità del prompt:
  • Animals: 1140 immagini di 19 animali (prompt a scelta multipla).
  • Artworks: 1951 dipinti di 8 artisti famosi (identificazione dell'artista).
  • Landmarks: 3688 immagini di 15 punti di riferimento (domanda aperta).
  • MME: Benchmark standard con 1188 immagini e 2376 domande (vero/falso).
• Modelli Valutati: 9 VLM appartenenti a 3 famiglie (Gemma3, LLaVA, Qwen3), testati su diverse scale (es. 4B, 12B, 27B, 34B).
• Studio Umano: Un esperimento con 61 partecipanti su 3 gradi di intensità delle distorsioni per confrontare le prestazioni umane con quelle dei VLM.
• Preprocessing Ispirato all'Uomo: Test di due strategie di pre-elaborazione per simulare il "distaccarsi dallo schermo" o lo "strizzare gli occhi":
  1. Downscale-Upscale (D/U): Ridimensionamento seguito da ridimensionamento bilineare.
  2. Box Blur: Applicazione di una sfocatura a scatola.

3. Risultati Chiave

A. Degradazione delle Prestazioni

• Collasso dell'accuratezza: L'accuratezza dei VLM crolla drasticamente anche con bassi gradi di distorsione. Su dataset semplici come "Animals", dove i modelli ottengono quasi il 100% di accuratezza su immagini pulite, scendono a circa il 50% con le prime distorsioni.
• Scalabilità non risolutiva: Aumentare le dimensioni del modello linguistico (es. passare da 4B a 27B parametri) non mitiga il fallimento. Le prestazioni dipendono più dalla famiglia del modello (e dal suo encoder visivo) che dalla scala del linguaggio.
• Comportamenti non robusti: I modelli producono output nonsensici (es. identificare un animale come artista, rispondere in lingue diverse, o descrivere l'immagine come "pixelata" senza riconoscere l'oggetto).

B. Divario Uomo-Macchina

• Gli esseri umani sono significativamente più robusti alle illusioni di miscelazione spaziale.
• Le prestazioni umane degradano molto più lentamente all'aumentare della distorsione rispetto ai VLM.
• Questo conferma che i VLM elaborano le immagini in modo qualitativamente diverso, fallendo su compiti che per gli umani sono semplici grazie all'integrazione di contesto e forme globali.

C. Efficacia del Preprocessing e Tool Use

• Preprocessing: Applicare tecniche ispirate all'uomo (D/U o blur) recupera una frazione significativa delle prestazioni per alcuni tipi di illusioni (es. Ostwald Checker e SCMix-1), specialmente con fattori di ridimensionamento aggressivi (8x). Tuttavia, non funziona per pattern a strisce multiple (es. SCMix-3A).
• Tool Use: L'uso di un modello (GPT-5-mini) con accesso a un interprete di codice per applicare autonomamente il preprocessing non ha migliorato le prestazioni. I modelli non riescono a riconoscere quando la propria percezione è inaffidabile e non attivano gli strumenti correttivi.

D. Analisi degli Encoder Visivi

L'analisi della similarità coseno tra le embedding delle immagini originali e quelle distorte rivela che:

• La scala dell'encoder ha un impatto limitato all'interno della stessa famiglia.
• L'obiettivo di addestramento è dominante: gli encoder basati su CLIP/SigLIP mantengono una similarità alta e piatta (ignorando la distorsione), mentre gli encoder basati su DINOv3 mostrano un calo più consistente della similarità all'aumentare della distorsione, indicando una maggiore sensibilità alla struttura di medio livello.

4. Contributi Principali

1. Nuova Famiglia di Distorsioni: Proposta di 8 varianti di "Spatial Colour Mixing" controllabili e programmatiche per stress-test percettivi.
2. Benchmark Estensivo: Valutazione di 9 VLM su 4 dataset con diverse intensità di distorsione.
3. Studio Umano: Confronto empirico con 61 partecipanti, dimostrando il gap di robustezza.
4. Strategie Pratiche: Dimostrazione che il preprocessing ispirato all'uomo può migliorare la robustezza, suggerendo l'uso di strumenti esterni, sebbene i modelli attuali non sappiano attivarli autonomamente.

5. Significato e Conclusioni

Il paper evidenzia che l'aumento della scala dei modelli (scaling law) non risolve le fragilità percettive di base dei VLM. La percezione delle macchine è fondamentalmente diversa da quella umana, mancando di meccanismi di integrazione contestuale e temporale.

Le implicazioni principali sono:

• Necessità di preprocessing consapevole della percezione (es. filtri passa-basso) come strategia pratica per migliorare la robustezza.
• Importanza di encoder ibridi che combinino la semantica di CLIP/SigLIP con le caratteristiche percettive di DINOv3.
• La sfida futura non è solo rendere i modelli più grandi, ma dotarli di meccanismi di consapevolezza dell'incertezza per attivare strumenti di correzione (tool-use) quando la percezione visiva è compromessa.

In sintesi, le illusioni di miscelazione spaziale dei colori fungono da potente "stress test" che rivela come i VLM attuali siano fragili di fronte a perturbazioni strutturali che gli esseri umani superano intuitivamente.