The Invisible Gorilla Effect in Out-of-distribution Detection

Questo studio identifica e quantifica il "Effetto Gorilla Invisibile" nella rilevazione di dati fuori distribuzione (OOD), dimostrando che le prestazioni dei modelli di deep learning peggiorano significativamente quando gli artefatti non condividono caratteristiche visive (come il colore) con le regioni di interesse apprese, rivelando così un pregiudizio critico finora trascurato.

L'essenziale

Il "Gorilla Invisibile" dell'Intelligenza Artificiale: Perché l'AI a volte non vede l'ovvio

Immagina di avere un detective digitale (un'Intelligenza Artificiale) addestrato a riconoscere i ladri in una città. Questo detective è stato addestrato guardando migliaia di foto di ladri che indossano tute nere. Ha imparato che "tuta nera = ladro".

Ora, immagina due scenari:

1. Scenario A: Arriva un ladro con una tuta rossa. Il detective lo nota subito! "Ehi, quel colore non c'è mai stato prima! È sospetto!"
2. Scenario B: Arriva un ladro con una tuta nera (esattamente come quelli che ha studiato). Il detective lo ignora completamente! "Niente di nuovo qui, passa pure."

Sembra strano, vero? Di solito pensiamo che un detective sia bravo a notare le differenze. Ma questo studio scopre che, nel mondo dell'Intelligenza Artificiale, succede esattamente il contrario: l'AI è più brava a notare le cose "strane" se queste cose strane assomigliano a ciò che sta cercando.

Questo fenomeno è stato chiamato "Effetto del Gorilla Invisibile" (dal nome di un famoso esperimento psicologico in cui le persone, concentrate a contare i passaggi di una palla, non vedono un gorilla che passa in mezzo a loro).

Ecco come funziona, passo dopo passo:

1. Il Detective è troppo concentrato (La "Zona di Interesse")

Quando addestriamo un'AI per fare un compito specifico (ad esempio, trovare un tumore in una foto medica), le insegniamo a guardare solo una parte specifica dell'immagine, chiamata Zona di Interesse (ROI).

• Esempio: Se l'AI deve cercare un tumore sulla pelle, impara a guardare la macchia rossa o marrone. Tutto il resto è "sfondo".

2. Il problema dei "Falsi Allarmi" (o la mancanza di essi)

Ora, immagina che su quella foto medica appaia un segno strano, come una macchia di inchiostro (un artefatto).

• Se la macchia di inchiostro è rossa (come il tumore che l'AI sta cercando), l'AI si spaventa: "Oh no! C'è qualcosa di rosso che non è un tumore normale! È fuori dal mio schema! È pericoloso!" -> L'AI lo rileva subito.
• Se la macchia di inchiostro è nera (molto diversa dal tumore), l'AI pensa: "Oh, è solo uno sfondo nero. Non mi interessa." -> L'AI lo ignora e continua a lavorare, anche se la foto è rovinata.

Il paradosso: L'AI è più brava a dire "C'è qualcosa di sbagliato" quando l'errore assomiglia a ciò che sta cercando, e meno brava quando l'errore è completamente diverso. È come se il detective, vedendo un ladro con una tuta nera (come quelli che conosce), pensasse: "È uno dei miei, va tutto bene", mentre vedendo un ladro con una tuta rosa, urlasse: "ALLARME!".

3. Perché è pericoloso?

In medicina o nella guida autonoma, questo è un grosso problema.

• Se un'auto a guida autonoma vede un pedone con un cappotto rosso (simile a un segnale di stop), potrebbe frenare per sicurezza.
• Se vede un pedone con un cappotto verde scuro (molto diverso dai segnali che conosce), potrebbe non notarlo affatto, pensando che sia solo un albero o un muro.

L'AI diventa "cieca" agli errori che non assomigliano al suo compito principale.

4. Cosa hanno scoperto gli scienziati?

I ricercatori dell'Università di Oxford hanno testato 40 diversi metodi per far sì che l'AI si accorgesse di questi errori. Hanno usato migliaia di immagini con macchie di inchiostro di colori diversi (rossi, neri, verdi, viola).

Hanno scoperto che:

• La maggior parte delle AI fallisce miseramente quando l'errore ha un colore "strano" rispetto a ciò che stanno cercando.
• Le AI che usano "mappe interne" (che guardano come sono fatti i dati dentro il cervello dell'AI) soffrono di più di questo problema rispetto a quelle che guardano solo il risultato finale.

5. Come possiamo risolvere il problema?

Gli scienziati hanno provato due strategie per "curare" questa cecità:

• Il trucco del "Cambio di Colore" (Data Augmentation): Hanno provato ad addestrare l'AI mostrandole immagini con colori variabili. Risultato: non ha funzionato bene. A volte ha aiutato, a volte ha peggiorato le cose. È come dare all'AI un cappello diverso ogni giorno: si confonde ancora di più.
• Il "Filtro Magico" (Sottospazio di Disturbo): Questa è la soluzione vincente. Hanno scoperto che l'AI ha una "zona grigia" nella sua memoria dove si accumulano le informazioni sui colori. Hanno creato un filtro matematico che rimuove queste informazioni sui colori prima che l'AI prenda una decisione.
  • L'analogia: È come se al detective dicessimo: "Non guardare il colore dei vestiti, guarda solo la forma e il movimento". In questo modo, l'AI smette di ignorare il "ladro verde" solo perché il suo colore è diverso dal "ladro nero" che conosce.

In sintesi

Questo studio ci insegna che l'Intelligenza Artificiale non è un detective infallibile. A volte, è così ossessionata dal suo compito principale (trovare il tumore, guidare l'auto) da diventare cieca agli errori che non assomigliano a quel compito.

Se un errore sembra "familiare" (stesso colore, stessa forma), l'AI lo nota. Se è "strano", l'AI lo ignora. Per rendere l'AI sicura nel mondo reale, dobbiamo insegnarle a non farsi ingannare dalle apparenze e a guardare oltre il "Gorilla Invisibile" che si nasconde proprio sotto i suoi occhi.

Sommario tecnico

1. Il Problema

Le Reti Neurali Profonde (DNN) eccellono nei compiti di visione artificiale imparando caratteristiche discriminative dalle Regioni di Interesse (ROI) delle immagini. Tuttavia, le loro prestazioni degradano drasticamente quando vengono applicate a dati fuori distribuzione (OOD - Out-of-Distribution), ovvero dati che differiscono significativamente dal set di addestramento.

Sebbene esistano numerosi metodi per rilevare questi dati OOD (per scartare previsioni inaffidabili), la ricerca precedente ha mostrato che le prestazioni variano notevolmente a seconda del tipo di artefatto OOD, senza però indagare appieno le cause sottostanti. Il problema centrale affrontato è la mancanza di robustezza dei rilevatori OOD quando gli artefatti presenti nell'immagine non sono visivamente simili alla ROI su cui il modello si concentra per la classificazione.

2. Metodologia

Gli autori hanno condotto uno studio empirico su larga scala per analizzare come la somiglianza visiva (in particolare il colore) tra un artefatto OOD e la ROI del modello influenzi la capacità di rilevamento.

• Dataset e Setup: Sono stati utilizzati tre dataset pubblici: CheXpert (radiografie toraciche), ISIC (dermatologia/lesioni cutanee) e MVTec-AD (ispezione industriale). Sono stati addestrati modelli primari (ResNet18, VGG16, ViT-B/32) per compiti di classificazione primaria.
• Generazione di Artefatti: Sono stati introdotti artefatti OOD (es. annotazioni con inchiostro, grafici a colori) con colori specifici. Gli artefatti sono stati classificati come:
  • Simili: Colore vicino alla ROI (es. inchiostro rosso su una lesione cutanea rossastra).
  • Dissimili: Colore lontano dalla ROI (es. inchiostro nero o verde).
• Controfattuali: Per escludere bias del dataset, sono stati generati controfattuali con scambio di colore (color-swapped counterfactuals), modificando artificialmente il colore degli artefatti mantenendo texture e varianza dei pixel.
• Valutazione: Sono stati testati 40 metodi OOD diversi (divisi in metodi basati sulla confidenza, basati sulle feature, ad-hoc ed esterni) su 7 benchmark, valutando 3.795 configurazioni di iperparametri.
• Analisi Meccanicistica: È stata utilizzata l'analisi delle componenti principali (PCA) sullo spazio latente del modello per identificare un "sottospazio di disturbo" (nuisance subspace) associato alle variazioni di colore.

3. Contributi Chiave

Il paper introduce e valida un nuovo fenomeno denominato "Effetto Gorilla Invisibile" (Invisible Gorilla Effect), un'analogia con l'esperimento psicologico classico sull'cecità da disattenzione.

1. Identificazione del Bias: È stato scoperto che la capacità di rilevamento OOD migliora quando l'artefatto OOD condivide caratteristiche visive (es. colore) con la ROI del modello, e peggiora drasticamente quando non le condivide. Paradossalmente, gli artefatti "più simili" alla ROI (e quindi potenzialmente più confondibili per la classificazione) sono più facili da rilevare come OOD, mentre quelli "dissimili" vengono spesso ignorati dal rilevatore.
2. Studio su Larga Scala: È stata eseguita una valutazione estensiva su 40 metodi OOD, dimostrando che questo effetto è un fallimento sistematico e non limitato a un singolo algoritmo.
3. Analisi dello Spazio Latente: Gli autori hanno dimostrato che le variazioni di colore si allineano con le direzioni ad alta varianza nello spazio latente del modello. I metodi basati sulle feature (come il Mahalanobis Score) tendono a soppesare queste direzioni, rendendo gli artefatti dissimili (che proiettano su queste direzioni) meno penalizzati e quindi più difficili da rilevare.
4. Strategie di Mitigazione: È stata proposta una strategia di mitigazione basata sulla proiezione ortogonale delle feature rispetto al sottospazio di disturbo identificato, che riduce significativamente il divario di prestazioni tra artefatti simili e dissimili.

4. Risultati Principali

• Prestazioni Divergenti: Su dataset come ISIC, il metodo Mahalanobis Score ha mostrato un aumento dell'AUROC del 31.5% nel rilevare inchiostro rosso (simile alla lesione) rispetto all'inchiostro nero (dissimile).
• Impatto sui Metodi: I metodi basati sulle feature (es. Mahalanobis, FeatureNorm) hanno subito un calo di prestazioni molto più marcato (media di 7.1 punti percentuali) quando gli artefatti erano dissimili rispetto ai metodi basati sulla confidenza (1.5 punti percentuali).
• Validità Statistica: Le differenze osservate sono statisticamente significative ($p < 10^{-5}$) e si sono mantenute costanti attraverso diverse architetture (ResNet, VGG, ViT) e dataset.
• Mitigazione: La proiezione delle feature per rimuovere il sottospazio di disturbo ha ridotto il divario di prestazioni, migliorando la rilevazione degli artefatti dissimili senza compromettere significativamente quella degli artefatti simili. Al contrario, l'uso di augmentations di colore (jitter) durante l'addestramento non ha fornito una mitigazione affidabile e ha talvolta peggiorato le prestazioni.

5. Significato e Implicazioni

Questo lavoro evidenzia un modo di fallimento precedentemente ignorato nei sistemi di rilevamento OOD.

• Sicurezza Critica: In ambiti ad alto rischio come la diagnostica medica o la guida autonoma, un modello potrebbe fallire nel rilevare input pericolosi (es. un'annotazione nera su una radiografia) semplicemente perché il colore non corrisponde a quello su cui il modello è "addestrato a guardare".
• Progettazione di Sistemi Robusti: I risultati suggeriscono che la semplice somiglianza globale con i dati di addestramento non è un indicatore affidabile della difficoltà di rilevamento OOD. La progettazione di rilevatori futuri deve considerare l'interazione tra ciò a cui il modello presta attenzione (ROI) e le caratteristiche degli artefatti.
• Disponibilità: Il codice, le annotazioni e i dati sono stati resi pubblici per favorire la riproducibilità e lo sviluppo di futuri metodi robusti.

In sintesi, il paper dimostra che i rilevatori OOD possono soffrire di una forma di "cecità selettiva": sono più bravi a notare ciò che assomiglia a ciò che stanno cercando (la ROI), rendendo invisibili le minacce che si discostano visivamente da essa.