MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

Il paper introduce "MindSet: Vision", una toolbox che offre dataset e script per testare le reti neurali profonde su 30 scoperte psicologiche attraverso stimoli sistematicamente manipolati, superando i limiti dei benchmark osservazionali tradizionali basati su immagini naturalistiche.

L'essenziale

🧠 MindSet: Vision – Il "Test di Realtà" per gli Occhi delle Macchine

Immagina di voler costruire un robot che vede il mondo esattamente come un essere umano. Per anni, gli scienziati hanno detto: "Guardate! Le nostre Intelligenze Artificiali (le Reti Neurali o DNN) sono quasi perfette! Risolvono i compiti meglio di chiunque altro!".

Ma c'è un problema. È come se avessimo costruito un'auto che corre velocissima su una pista d'addestramento, ma quando la mettiamo sulla strada vera, non sa come gestire una buca o un semaforo rotto.

Questo paper introduce MindSet: Vision, un "cassetto degli attrezzi" (un toolbox) creato per mettere alla prova queste intelligenze artificiali con i veri "trabocchetti" della psicologia umana. Non si tratta di farle indovinare se un'immagine è un gatto o un cane, ma di vedere come vedono.

Ecco i concetti chiave, spiegati con delle metafore:

1. Il Problema: L'Inganno dei "Suggerimenti"

Fino a oggi, i test per le macchine usavano foto naturali (un cane in un parco, una tazza su un tavolo).

• L'analogia: Immagina di insegnare a un bambino a riconoscere i cani mostrandogli solo foto di cani che hanno il pelo marrone. Il bambino imparerà a dire "Cane!" a ogni cosa marrone e pelosa, anche a un orso di peluche. Non ha imparato la forma del cane, ha imparato un "trucco".
• La realtà: Le macchine spesso fanno lo stesso. Riconoscono gli oggetti guardando la texture (il pelo, il colore) invece della forma vera. Se cambi la texture ma mantieni la forma, la macchina va in tilt, mentre un umano no.

2. La Soluzione: MindSet come un "Laboratorio di Illusioni"

Gli autori hanno creato 30 esperimenti basati su scoperte psicologiche classiche. Immagina MindSet come un gioco di prestigio o un laboratorio di illusioni ottiche dove gli scienziati manipolano le immagini per vedere come reagisce il cervello della macchina.

Ecco alcuni dei "giochi" inclusi nel toolbox:

• Le Illusioni Ottiche (es. Müller-Lyer):

  • Cos'è: Due linee della stessa lunghezza sembrano diverse a causa di frecce alle estremità (come le punte di una freccia che puntano dentro o fuori).
  • Il test: Se mostri questa immagine a una macchina, lei misura la linea con un righello digitale e dice "Sono uguali". Se mostri l'immagine a un umano, il suo cervello dice "No, quella è più lunga!".
  • Il risultato del paper: La maggior parte delle macchine non vede l'illusione. Per loro, la realtà è solo matematica, non percezione.

• Il Completamento Amodale (Cosa c'è dietro?):

  • Cos'è: Se vedi un cane che spunta da dietro un muro, il tuo cervello "completa" automaticamente il corpo del cane che non vedi.
  • Il test: Le macchine riescono a "immaginare" la parte nascosta?
  • Il risultato: Spesso no. Per le macchine, se non è visibile, non esiste.

• I Disegni a Linee e i "Blob" (Forme strane):

  • Cos'è: Gli umani riconoscono un cane anche se è disegnato solo con una linea bianca su sfondo nero, o se è fatto di puntini.
  • Il test: Le macchine, addestrate su foto reali, faticano enormemente a riconoscere questi disegni semplici. È come se avessero studiato solo la fotografia, ma non sapessero leggere uno schizzo.

3. Come hanno fatto la prova? (I Tre Metodi)

Per testare le macchine, gli autori hanno usato tre approcci diversi, come se fossero tre tipi di interrogatori:

1. Il Giudizio di Somiglianza: Chiedono alla macchina: "Queste due immagini sono simili?". Se la macchina risponde come un umano (es. "Sì, sono simili anche se una è distorta"), passa il test.
2. Il Decodificatore (L'Interrogatorio): Si attacca un piccolo "traduttore" al cervello della macchina per chiedergli: "Quanto è grande questo cerchio?". Se la macchina è ingannata dall'illusione, il traduttore dirà la stessa bugia che direbbe un umano.
3. La Classificazione Fuori dal Coro: Si mostra alla macchina qualcosa che non ha mai visto (es. un disegno a linee invece di una foto) e si vede se riesce a capire di cosa si tratta.

4. Cosa hanno scoperto? (La Verità Scomoda)

Hanno testato 15 delle migliori intelligenze artificiali (quelle che vincono le classifiche mondiali) su questi 30 esperimenti.

• Il Verdetto: Le macchine hanno fallito miseramente in molti test.
• Il Paradosso: Le macchine sono bravissime a riconoscere un gatto in una foto di Instagram, ma non capiscono le illusioni ottiche, non completano le forme nascoste e non riconoscono i disegni a linee.
• La Conclusione: Le macchine non "vedono" come noi. Hanno imparato a fare i compiti, ma non hanno sviluppato una vera comprensione visiva.

5. Perché è importante?

Questo paper non dice che le macchine sono inutili. Dice che abbiamo bisogno di cambiare metodo.
Non basta dire "La macchina è intelligente perché ha un punteggio alto". Dobbiamo dire: "La macchina è intelligente perché capisce il mondo come un essere umano, anche quando il mondo è strano o ambiguo".

In sintesi:
MindSet: Vision è come un esame di guida per le intelligenze artificiali. Fino a ora, le macchine hanno superato l'esame guidando su una pista vuota e perfetta. Questo paper le costringe a guidare sotto la pioggia, su strade sconnesse e con segnali stradali ambigui. E finora, la maggior parte di loro ha fatto un incidente.

L'obiettivo non è umiliare le macchine, ma aiutarle a diventare davvero intelligenti, costruendo modelli che non solo "calcolano", ma "vedono" e "capiscono" il mondo come facciamo noi.

Sommario tecnico

1. Il Problema

Attualmente, i Deep Neural Networks (DNN) sono considerati i migliori modelli ingegneristici per l'identificazione degli oggetti e vengono spesso proposti come modelli della visione umana. Tuttavia, la maggior parte delle valutazioni si basa su benchmark osservazionali (come Brain-Score o dataset su immagini naturali) che misurano la capacità di un modello di prevedere errori comportamentali o attivazioni cerebrali su immagini non manipolate.

Il problema centrale identificato dagli autori è che questi approcci osservazionali non riescono a distinguere se un DNN riconosce gli oggetti con meccanismi simili a quelli umani o se raggiunge alte prestazioni sfruttando cues diagnostici confusi (ad esempio, classificando oggetti basandosi sulla texture invece che sulla forma, pur ottenendo una buona correlazione con i dati cerebrali). La letteratura psicologica contiene decenni di esperimenti progettati per testare ipotesi specifiche sulla visione umana manipolando variabili indipendenti, ma questi dati sono raramente utilizzati per testare severamente i DNN, spesso a causa della mancanza di dataset accessibili e di metodologie standardizzate per l'adattamento.

2. Metodologia

Gli autori hanno sviluppato MindSet: Vision, una toolbox completa progettata per colmare il divario tra la modellazione computazionale e la ricerca psicologica.

• Dataset: La toolbox include 30 dataset di immagini basati su fenomeni visivi psicologici ben replicati, suddivisi in tre categorie principali:

  1. Visione di basso e medio livello: Include leggi psicofisiche (Legge di Weber), fenomeni Gestalt (prossimità, orientamento, linearità), affollamento visivo (crowding/uncrowding), completamento amodale, proprietà non accidentali (NAP) vs metriche, e decomposizione degli oggetti.
  2. Illusioni Visive: Include illusioni di dimensione (Müller-Lyer, Ponzo, Ebbinghaus, Jastrow), orientamento (Tilt illusion, Thatcher effect) e contrasto di luminosità (Adelson Checker Shadow).
  3. Riconoscimento di Forma e Oggetti: Include disegni a linee, silhouette, forme frammentate, oggetti incorporati (embedded shapes), invarianza alle trasformazioni (2D e punto di vista) e compiti di ragionamento visivo (Same/Different).

• Generazione e Flessibilità: A differenza dei dataset statici, MindSet fornisce script per rigenerare i dataset con parametri configurabili (dimensione immagine, colore di sfondo, numero di campioni, ecc.), permettendo di testare i modelli in condizioni sistematiche e severe.

• Metodi di Valutazione: La toolbox supporta tre metodi principali per testare i DNN:

  1. Out-of-Distribution (OOD) Classification: Testare modelli pre-addestrati (es. su ImageNet) su immagini modificate (es. disegni a linee) per vedere se mantengono la capacità di riconoscimento.
  2. Similarity Judgment Analysis: Confrontare le similarità delle attivazioni interne del DNN (cosine similarity) tra coppie di immagini per vedere se rispecchiano i giudizi di similarità umana.
  3. Decoder Method: Addestrare un piccolo decoder (spesso lineare) su uno strato "congelato" di un DNN per prevedere una proprietà specifica (es. dimensione di un cerchio) in condizioni non illusorie, e testarlo poi in condizioni illusorie per vedere se il modello "percepisce" l'illusione.

3. Contributi Chiave

• Accessibilità e Riproducibilità: Fornisce 30 dataset pronti all'uso e script open-source (licenza MIT) per rigenerarli, rendendo accessibile alla comunità di computer science la ricca letteratura psicologica sulla visione.
• Test Severi: Sposta il focus dalla semplice correlazione osservazionale al test causale, manipolando le variabili per verificare se i DNN falliscono dove gli umani hanno successo (e viceversa), rivelando le vere capacità di generalizzazione.
• Struttura Modulare: Offre un framework unificato per testare modelli su una vasta gamma di fenomeni, dai processi visivi di basso livello al ragionamento visivo di alto livello.
• Valutazione Multi-Metodo: Integrazione di classificazioni, analisi di similarità e decoder per una valutazione olistica delle rappresentazioni interne dei modelli.

4. Risultati

Gli autori hanno testato 15 DNN di diverse architetture (ResNet, ResNeXt, ConvNeXt, ViT, DeIT, FocalNet) su 9 esperimenti selezionati dalla toolbox. I risultati mostrano discrepanze significative tra DNN e visione umana:

• Fallimenti Generali: La maggior parte dei modelli ha fallito nel replicare i pattern umani in molti esperimenti.
  • Illusioni: I modelli non hanno mostrato evidenze consistenti dell'illusione di Müller-Lyer e risultati misti per l'illusione di Ebbinghaus. Sebbene alcuni modelli abbiano replicato l'illusione di Jastrow, la magnitudine degli errori era spesso innaturale (es. 10 volte la dimensione reale).
  • Visione di Basso/Medio Livello: I modelli non hanno mostrato la sensibilità umana ai cambiamenti relazionali tra parti di un oggetto (rispetto ai cambiamenti metrici) e hanno faticato a dimostrare il completamento amodale in modo sistematico.
  • Riconoscimento di Forma: Le prestazioni dei DNN su immagini OOD (come disegni a linee tratteggiati o silhouette) sono state molto inferiori a quelle umane (spesso <90% di accuratezza contro >90% umani), indicando una forte dipendenza dalla texture e una scarsa invarianza alla forma.
• Analisi degli Strati: Le risposte dei modelli sono state altamente variabili tra i diversi strati della rete. Spesso, gli effetti "simili all'uomo" osservati in uno strato si dissolvevano o diventavano inconsistenti negli strati successivi, suggerendo che non si tratta di un fenomeno percettivo robusto ma di artefatti locali.
• Decoder: I decoder addestrati su strati di DNN hanno spesso mostrato errori di stima enormi e non generalizzabili, indicando che le rappresentazioni interne non codificano le proprietà geometriche in modo stabile come fa il sistema visivo umano.

5. Significatività

Il lavoro di MindSet: Vision ha un impatto fondamentale per il campo della visione artificiale e delle neuroscienze cognitive:

1. Ridefinizione dei Modelli di Visione: Dimostra che l'alto punteggio su benchmark osservazionali (come Brain-Score) non garantisce che un modello catturi i meccanismi della visione biologica. I modelli attuali falliscono nei test "severi" basati sulla psicologia classica.
2. Strumento per il Miglioramento: Identificare dove e perché i DNN falliscono rispetto alla psicologia umana fornisce una roadmap chiara per migliorare le architetture future (ad esempio, incorporando bias induttivi per la forma o meccanismi di raggruppamento Gestalt).
3. Ponte Interdisciplinare: La toolbox facilita la collaborazione tra scienziati cognitivi e ingegneri dell'IA, fornendo un linguaggio comune e strumenti pratici per testare ipotesi sulla visione.
4. Critica alla "Sovrastima": Sottolinea la necessità di evitare conclusioni basate su somiglianze superficiali, promuovendo un approccio scientifico che accetta il fallimento dei modelli come fonte di conoscenza per comprendere la visione biologica.

In sintesi, MindSet: Vision non è solo un dataset, ma un cambio di paradigma metodologico che richiede di testare i modelli di visione artificiale contro le leggi fondamentali della percezione umana, piuttosto che limitarsi a misurarne la capacità di classificazione su immagini naturali.