Why Does It Look There? Structured Explanations for Image Classification

Il paper propone I2X, un framework che trasforma le interpretazioni non strutturate in spiegazioni strutturate per i modelli di classificazione delle immagini, permettendo non solo di comprendere in modo fedele il processo decisionale interno durante l'addestramento, ma anche di migliorare l'accuratezza predittiva attraverso un fine-tuning mirato basato su prototipi incerti.

L'essenziale

🕵️‍♂️ Il Detective che Capisce la Mente dell'AI: I2X

Immagina di avere un super-intelligente ma misterioso assistente (un modello di Intelligenza Artificiale) che è bravissimo a riconoscere le immagini. Se gli mostri una foto di un gatto, lui dice subito "Gatto!". Se gli mostri un cane, dice "Cane!".

Il problema? È un "scatola nera". Tu sai cosa risponde, ma non sai perché. Non sai se ha riconosciuto il gatto perché ha visto le orecchie a punta, la coda o perché la foto era sfocata.

Fino a oggi, gli scienziati usavano delle "luci" (chiamate mappe di attenzione) per vedere su quali parti della foto l'AI guardava. Ma queste luci erano disordinate: ti dicevano "guarda qui", ma non ti spiegavano la logica dietro la decisione. Era come se qualcuno ti dicesse "Guarda il naso!" senza dirti se è un naso umano o quello di un maiale.

Gli autori di questo paper hanno creato un nuovo metodo chiamato I2X (da Interpretability to Explainability, ovvero "dalla semplice interpretazione alla vera spiegazione"). Ecco come funziona, passo dopo passo, con delle metafore semplici.

1. L'Alfabeto Visivo: I "Prototipi"

Immagina che l'AI non impari a riconoscere un'immagine intera tutto insieme. Invece, impara a riconoscere piccoli pezzi di pattern, come se fossero lettere di un alfabeto visivo.

• Per un numero "7", l'AI impara che c'è una "linea orizzontale in alto" e una "linea diagonale".
• Per un numero "2", impara che c'è una "curva in alto" e una "linea dritta in basso".

Questi pezzi sono chiamati Prototipi. L'AI li raccoglie durante l'allenamento, proprio come un bambino che impara le forme geometriche prima di imparare a scrivere parole.

2. Il Diario di Bordo: Come l'AI Cambia Idea

Il metodo I2X non si ferma a guardare l'AI alla fine. Guarda il suo diario di bordo mentre impara.
Immagina di osservare un bambino che impara a distinguere i gatti dai cani.

• Giorno 1: Il bambino guarda le orecchie. Se sono a punta, pensa "Gatto!".
• Giorno 10: Si accorge che anche i cani hanno orecchie a punta. Quindi, inizia a guardare anche la coda.
• Giorno 50: Capisce che la combinazione di orecchie + coda + muso è la chiave.

I2X traccia questo percorso. Ti dice: "All'inizio, l'AI pensava che la linea diagonale fosse un 7. Poi, ha visto che anche un 1 aveva una linea simile, quindi ha iniziato a guardare anche la parte superiore per essere sicuro."

3. Il Problema dei "Falsi Amici" (I Prototipi Incerti)

A volte, l'AI si confonde. Immagina due gemelli molto simili: un gatto arancione e un cane arancione.
L'AI potrebbe guardare il colore arancione e pensare: "Oh, è un gatto!". Ma se è un cane arancione, sbaglia.
I2X riesce a identificare questi "prototipi incerti". Sono quei pezzi dell'immagine che confondono l'AI perché servono a due cose diverse (es. la linea curva che può essere la parte superiore di un "9" o di un "4" scritto a mano).

4. La Medicina per l'AI: Curare l'Errore

Qui arriva la parte più magica. Una volta che I2X ti dice: "Ehi, l'AI si confonde sempre quando vede questa specifica curva perché la scambia per un altro numero", puoi fare una cosa pratica: riallena l'AI.

Invece di darle tutte le foto, le dai solo quelle senza quell'immagine confondente, o le dai foto dove quell'immagine è corretta. È come se un insegnante dicesse a uno studente: "Smetti di guardare solo la forma della lettera 'A' per capire se è una 'A' o una 'H'. Guarda anche la parte bassa."

Gli esperimenti nel paper mostrano che, facendo questo "aggiustamento mirato", l'AI commette meno errori e diventa più sicura di sé.

🎯 In Sintesi: Cosa ci insegna questo paper?

1. Non basta dire "Guarda qui": Le vecchie spiegazioni erano come un dito che indica un punto sulla foto. I2X è come una storia che ti spiega come l'AI ha costruito la sua risposta pezzo per pezzo.
2. L'AI ha un percorso di pensiero: Non decide tutto in un istante. Cambia idea man mano che impara, passando da regole semplici a regole complesse.
3. Possiamo curare l'AI: Identificando esattamente cosa confonde l'AI (i prototipi incerti), possiamo darle un "allenamento speciale" per risolvere quei dubbi specifici, rendendola più intelligente e affidabile.

La metafora finale:
Se le vecchie tecniche di spiegazione erano come guardare la fotografia finale di un puzzle completato, I2X è come avere un video in time-lapse che ti mostra esattamente come il puzzle è stato assemblato, quali pezzi sono stati messi al posto sbagliato e come sono stati corretti per arrivare alla soluzione perfetta.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Why Does It Look There? Structured Explanations for Image Classification" (Perché sembra esserci lì? Spiegazioni strutturate per la classificazione di immagini), tradotta e adattata in italiano.

1. Il Problema

I modelli di deep learning, nonostante le prestazioni predittive eccezionali, rimangono "scatole nere", limitando trasparenza e fiducia. Sebbene esistano numerosi metodi di Intelligenza Artificiale Spiegabile (XAI), la maggior parte fornisce interpretabilità non strutturata (es. mappe di salienza come GradCAM o concetti isolati).
Le limitazioni principali degli approcci attuali sono:

• Mancanza di struttura: Forniscono visualizzazioni o concetti senza spiegare come il modello organizza queste informazioni per prendere decisioni.
• Dipendenza da modelli ausiliari: Molti metodi usano modelli esterni (es. GPT, CLIP) per descrivere il comportamento, il che compromette la fedeltà (faithfulness) rispetto al modello originale e può introdurre allucinazioni.
• Domanda irrisolta: Non spiegano chiaramente perché un modello si concentra su certe regioni dell'immagine e come evolve la sua logica di inferenza durante l'addestramento.

L'obiettivo è passare da una semplice "interpretabilità" (cosa vede il modello) a una "spiegabilità strutturata" (come e perché il modello prende una decisione basata su evidenze interne).

2. Metodologia: Il Framework I2X

Gli autori propongono I2X (Interpretability to Explainability), un framework che costruisce spiegazioni strutturate direttamente dall'interpretabilità non strutturata, tracciando l'evoluzione del modello durante l'addestramento.

Il processo si articola in quattro fasi principali:

1. Estrazione di Prototipi Astratti:

   • Partendo dalle mappe di salienza (es. GradCAM) ottenute da metodi post-hoc, il framework estrae i feature latenti del modello.
   • Utilizza PCA e K-Means per raggruppare i vettori di feature in prototipi astratti (centroidi) che rappresentano pattern ricorrenti riconosciuti dal modello (es. "una striscia diagonale", "un punto centrale").
   • Ogni regione dell'immagine viene mappata a uno di questi prototipi.

2. Intensità dei Prototipi e Fiducia (Confidence):

   • Per ogni checkpoint di addestramento, il sistema calcola l'intensità del prototipo ($P^t$), ovvero quanto un prototipo specifico contribuisce alla predizione di un campione.
   • Parallelamente, si monitora la variazione della confidenza del modello ($\Delta \hat{y}$) tra checkpoint consecutivi.

3. Mappatura e Clustering:

   • I campioni vengono raggruppati in base ai pattern di variazione della loro confidenza (usando HDBSCAN).
   • Si costruisce una mappatura tra l'evoluzione dell'intensità dei prototipi e la variazione di confidenza.
   • Viene utilizzata una regressione Ridge per quantificare come i cambiamenti nell'intensità dei prototipi guidino i cambiamenti nella confidenza del modello ($\beta^t$).

4. Assemblaggio delle Spiegazioni Strutturate:

   • Il framework aggrega queste relazioni su tutto il processo di addestramento per identificare:
     • Prototipi Condivisi: Pattern che supportano costantemente una classe.
     • Prototipi Specializzati: Pattern che distinguono sottogruppi specifici.
     • Prototipi Incerti: Pattern che causano confusione tra classi (es. un prototipo che a volte aumenta la confidenza per la classe A e a volte per la classe B).

3. Contributi Chiave

• Trasformazione da Non Strutturato a Strutturato: I2X converte mappe di salienza grezze in una rappresentazione causale e strutturata del processo decisionale, rispondendo alla domanda "Perché sembra esserci lì?".
• Analisi Dinamica dell'Addestramento: A differenza dei metodi statici, I2X traccia l'evoluzione dei prototipi, rivelando l'ordine in cui il modello risolve le ambiguità tra le classi (prima le differenze chiare, poi quelle ambigue).
• Identificazione dei Prototipi Incerti: Il sistema è in grado di isolare specifici prototipi che generano confusione tra classi (es. tra il numero 2 e 7 su MNIST, o tra gatti e cani su CIFAR-10).
• Ottimizzazione Guidata: Dimostra che le spiegazioni strutturate possono essere utilizzate per migliorare le prestazioni del modello attraverso un fine-tuning mirato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MNIST (ResNet-50, InceptionV3) e CIFAR-10 (ResNet-50).

• Analisi del Processo di Apprendimento (MNIST):

  • Studiando la cifra "7", I2X ha mostrato che il modello prima distingue i numeri chiaramente diversi (es. 2 e 6) usando prototipi specifici, per poi affrontare casi ambigui (es. 1 e 9) solo quando emergono evidenze sufficienti.
  • È stato dimostrato che l'ordine dei dati di addestramento influenza la strategia di inferenza: due run di addestramento con ordini diversi hanno sviluppato strategie basate su prototipi differenti, portando a diverse matrici di confusione.

• Miglioramento delle Prestazioni tramite Fine-Tuning:

  • Identificando i prototipi "incerti" (es. il prototipo P-17 che confonde 2 e 7), gli autori hanno creato un dataset curato rimuovendo i campioni contenenti tali prototipi.
  • Risultati: Un fine-tuning su questo dataset curato, seguito da un addestramento sul dataset completo, ha ridotto significativamente la confusione tra le classi (es. da 14.80 a 8.40 errori tra 2 e 7 su MNIST) e ha aumentato l'accuratezza complessiva (98.64%), mantenendo una stabilità superiore rispetto al solo addestramento su dataset curati.
  • Su CIFAR-10, la rimozione di campioni con il prototipo incerto P-72 (bordo tra regioni nere e arancioni) ha ridotto la confusione tra gatti e cani arancioni, migliorando l'accuratezza dal 81.43% al 84.02%.

5. Significato e Implicazioni

Il lavoro di I2X è significativo perché:

1. Fedeltà: Fornisce spiegazioni intrinseche al modello senza dipendere da modelli linguistici esterni, garantendo che la spiegazione rifletta fedelmente il comportamento reale del modello.
2. Diagnosi e Ottimizzazione: Trasforma l'XAI da uno strumento puramente analitico a uno strumento pratico per l'ottimizzazione dei dati. Permette di identificare esattamente quali pattern nei dati stanno ingannando il modello e di correggerli selettivamente.
3. Comprensione della Dinamica: Offre una visione senza precedenti di come le reti neurali organizzano la conoscenza interna, rivelando che l'apprendimento non è uniforme ma procede per fasi di risoluzione delle ambiguità guidate da specifici prototipi.

In sintesi, I2X colma il divario tra l'osservazione visiva delle attivazioni e la comprensione logica del processo decisionale, offrendo un percorso concreto per rendere i modelli di deep learning più trasparenti, affidabili e performanti attraverso un'ottimizzazione guidata dai dati.