Caption-Driven Explainability: Probing CNNs for Bias via CLIP

Il paper propone un nuovo metodo di intelligenza artificiale spiegabile (XAI) basato su didascalie che integra i modelli CNN nel framework CLIP per identificare i concetti dominanti nelle previsioni, riducendo il rischio di bias e migliorando la robustezza del modello.

L'essenziale

🕵️‍♂️ L'Investigatore che legge le didascalie: Come smascherare i "pregiudizi" delle Intelligenze Artificiali

Immagina di avere un detective (l'Intelligenza Artificiale) che deve risolvere un caso: distinguere tra un numero "5" e un numero "8" scritti a mano.

1. Il Problema: Il Detective che guarda la giacca, non il volto

Nella vita reale, un detective esperto guarda il viso per riconoscere una persona. Ma a volte, i detective (le nostre IA) sono pigri o ingannati.
Immagina che il nostro detective abbia fatto un addestramento in una scuola dove:

• Tutti i 5 erano vestiti con una giacca rossa.
• Tutti gli 8 erano vestiti con una giacca verde.

Il detective impara la regola sbagliata: "Se è rosso, è un 5. Se è verde, è un 8".
Quando lo mandi nel mondo reale, dove i numeri possono essere di qualsiasi colore, il detective fallisce miseramente. Se vede un "5" verde, pensa che sia un "8".
Questo è il bias (pregiudizio): l'IA ha imparato un trucco superficiale (il colore) invece del concetto reale (la forma).

2. La Soluzione Tradizionale: La Mappa del Tesoro (Saliency Maps)

Fino a poco tempo fa, per capire cosa guardava il detective, gli davi una "mappa del tesoro" (chiamata saliency map). Questa mappa ti mostrava quali pixel dell'immagine erano più luminosi.
Il problema: Se il numero "5" rosso e il numero "8" verde si sovrappongono, la mappa ti dice solo "guarda qui!", ma non ti dice perché. È come se il detective ti dicesse "Ho visto il rosso!" senza dirti se stava guardando la giacca o il numero.

3. La Nuova Idea: L'Investigatore che parla con un Poeta (Caption-Driven XAI)

Gli autori di questo paper hanno inventato un metodo geniale chiamato "Caption-Driven XAI". Immagina di prendere il nostro detective "pigro" e di farlo entrare in una stanza magica con un Poeta molto famoso (chiamato CLIP).

Il Poeta (CLIP) è un'IA che capisce perfettamente sia le immagini che le parole. Sa che "rosso" è un colore e "cerchio" è una forma.

Ecco come funziona la loro "chirurgia di rete" (Network Surgery):

1. L'Intervento: Prendono il cervello del detective pigro e lo "innestano" dentro il cervello del Poeta. È come se sostituissimo i neuroni del detective con quelli del Poeta, ma solo quelli che servono a riconoscere le forme.
2. Il Test: Ora, mostrano al detective (che ora ha il cervello del Poeta) le immagini e gli chiedono di leggere delle didascalie (caption) possibili.
   • Didascalia A: "Un numero 5 rosso".
   • Didascalia B: "Un numero 5 verde".
   • Didascalia C: "Un numero 5 a forma di serpente".
3. La Scoperta: Il Poeta guarda l'immagine e dice: "Oh! L'immagine corrisponde perfettamente alla didascalia 'Un numero 5 rosso', ma non a quella verde!".
   • Risultato: Abbiamo scoperto che il detective originale guardava solo il colore, non la forma!

4. Perché è una rivoluzione?

Prima di questa tecnica, se il detective guardava il colore sbagliato, non lo sapevamo finché non falliva nel mondo reale.
Con questo metodo:

• Smascheriamo l'inganno: Possiamo dire al programmatore: "Ehi, il tuo modello sta guardando il colore, non la forma! È come se un medico diagnosticasse una malattia solo basandosi sul colore della camicia del paziente!".
• Correggiamo il tiro: Una volta scoperto il problema, possiamo togliere il colore dalle immagini (renderle in bianco e nero) e riaddestrare il detective.
• Verifichiamo la cura: Ripetiamo il test con il Poeta. Ora, quando mostriamo un "5" grigio, il detective dice: "Ah, è un 5 per la sua forma, non per il colore!".

In sintesi

Immagina di dover insegnare a un bambino a riconoscere le mele.

• Metodo vecchio: Gli mostri le mele e gli dici "guarda qui" (punto rosso sulla mela). Il bambino potrebbe pensare che le mele siano rosse.
• Metodo nuovo (di questo paper): Metti il bambino in una stanza con un esperto botanico (CLIP). L'esperto chiede al bambino: "Questa è una mela rossa o una mela verde?". Se il bambino risponde "Rosso" anche quando la mela è verde, l'esperto capisce subito che il bambino non sta guardando la mela, ma sta indovinando a caso o guardando il colore sbagliato.

Il messaggio finale: Prima di affidare la vita di una persona (o la sicurezza di un'auto a guida autonoma) a un'Intelligenza Artificiale, dobbiamo usare questo "detective-poeta" per assicurarci che non stia guardando i dettagli sbagliati. È come controllare che un pilota non stia guardando solo il colore del cielo invece della strada.

Sommario tecnico

1. Il Problema: Robustezza e Bias nei Modelli ML

Il lavoro affronta la critica necessità di garantire la robustezza dei modelli di Machine Learning (ML), in particolare nel campo della visione artificiale.

• Sfida principale: I modelli ML apprendono dai dati senza essere esplicitamente programmati, rendendoli potenti ma difficili da interpretare. Un modello può funzionare perfettamente in laboratorio (sui dati di training/validation/test) ma fallire nel mondo reale a causa di uno spostamento della covariata (covariate shift). Questo accade quando la distribuzione dei dati di sviluppo non riflette accuratamente quella dei dati reali.
• Limiti delle tecniche attuali: I metodi attuali di Intelligenza Artificiale Spiegabile (XAI), come le mappe di salienza (es. Grad-CAM, CAM), evidenziano le regioni dell'immagine che eccitano maggiormente il modello. Tuttavia, queste mappe possono essere fuorvianti se caratteristiche spurie e salienti si sovrappongono nello stesso spazio di pixel.
• Obiettivo: Identificare il "concetto dominante" che guida le previsioni di un modello (es. colore vs. forma) per rilevare bias nascosti prima del dispiegamento, specialmente in contesti ad alto rischio come la medicina.

2. Metodologia Proposta: XAI Guidata dalle Didascalie (Caption-Driven)

Gli autori propongono un nuovo metodo che integra un modello standalone da analizzare all'interno dell'architettura CLIP (Contrastive Language-Image Pre-training) utilizzando una tecnica innovativa di "chirurgia di rete" (network surgery).

A. Architettura e Principio di Funzionamento

• Modelli Coinvolti:
  • Modello Standalone: Un ResNet-50 pre-addestrato su ImageNet e fine-tunato per un compito di classificazione binaria (es. cifre MNIST 5 e 8).
  • Modello CLIP: Utilizza il suo encoder di testo (trasformatore) e il suo encoder di immagini (ResNet modificato).
• Idea Chiave: Sostituire selettivamente le mappe di attivazione dell'encoder di immagini del modello standalone con quelle dell'encoder di immagini di CLIP. Questo permette di sfruttare lo spazio concettuale semantico di CLIP (addestrato su coppie immagine-testo) per interpretare il modello standalone.

B. Processo di Chirurgia di Rete (Network Surgery)

Il processo si articola in quattro fasi principali:

1. Analisi Statistica: Vengono calcolate le statistiche (media e deviazione standard) delle mappe di attivazione per tutte le immagini del dataset di training sia per il modello standalone che per CLIP.
2. Corrispondenza delle Attivazioni (Activation Matching):
   • Poiché i modelli hanno un numero diverso di mappe di attivazione (22.720 nel ResNet-50 vs 3.840 negli strati selezionati di CLIP), è necessario trovare le corrispondenze migliori.
   • Le mappe vengono ridimensionate (interpolazione bilineare) e normalizzate (standard scaler) per essere confrontabili.
   • Viene calcolato il coefficiente di correlazione tra ogni mappa del modello standalone e quella di CLIP per costruire una matrice di punteggio di similarità.
3. Selezione e Sostituzione: Vengono identificate le 4 mappe di attivazione negli strati convoluzionali finali (stadi 2, 3, 4, 5) di CLIP che hanno la massima correlazione con le mappe del modello standalone. Queste vengono sostituite con le mappe corrispondenti del modello standalone, dopo averle riscalate per adattarle alle statistiche di CLIP.
4. Inferenza con Didascalie: Il modello risultante (chiamato "Caption-based XAI model") viene testato utilizzando diverse didascalie (caption) testuali (es. "un numero rosso", "un numero verde", "un numero a forma di 5", "un numero a forma di 8").

C. Rilevamento del Bias

La similarità coseno tra le rappresentazioni dell'immagine e le didascalie testuali rivela su cosa si sta focalizzando il modello:

• Se le similarità più alte corrispondono alle didascalie di colore, il modello è biased sul colore.
• Se le similarità più alte corrispondono alle didascalie di forma, il modello si basa sulla forma (comportamento desiderato).

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su un dataset MNIST modificato con un bias intenzionale:

• Scenario di Bias: Nel dataset di training, tutte le cifre "5" erano rosse e tutte le "8" erano verdi. Nel dataset di test (reale), i colori sono casuali.
• Risultato sul Modello Biasato: Il modello standalone imparò a classificare basandosi sul colore. L'applicazione del metodo XAI proposto ha rivelato chiaramente che il colore era il concetto dominante, confermando il bias.
• Risultato sul Modello Corretto: Dopo aver rimosso il colore (convertendo le immagini in scala di grigi) e riaddestrato il modello, il nuovo modello imparò a basarsi sulla forma.
• Conferma: Applicando nuovamente la chirurgia di rete al modello corretto, il sistema XAI ha identificato correttamente la forma come concetto dominante, dimostrando la rimozione del bias.

4. Contributi Chiave

1. Nuovo Paradigma XAI: Introduzione di un metodo basato su didascalie che supera i limiti delle mappe di salienza tradizionali, specialmente quando le caratteristiche spurie e quelle rilevanti si sovrappongono.
2. Tecnica di Chirurgia di Rete: Un approccio innovativo per "innestare" un modello standalone in CLIP, permettendo di interrogare il modello tramite linguaggio naturale senza bisogno di riaddestramento massiccio.
3. Rilevamento Preciso del Covariate Shift: Capacità di identificare se un modello sta sfruttando correlazioni spurie (come il colore) invece di caratteristiche robuste (come la forma) prima del dispiegamento reale.
4. Validazione Empirica: Dimostrazione pratica su un caso d'uso concreto (MNIST colorato) che mostra come il metodo possa guidare la correzione del modello (es. pre-processore in scala di grigi).

5. Significato e Impatto

Questo lavoro è significativo perché sposta il focus della spiegabilità dall'osservazione visiva (dove il modello guarda) all'analisi concettuale (cosa sta pensando il modello).

• Sicurezza e Affidabilità: Offre uno strumento cruciale per settori ad alto rischio (es. medicina), dove è vitale smentire o confermare le preconcetti dei medici e garantire che le diagnosi non si basino su artefatti dei dati.
• Robustezza: Suggerisce che l'uso di questo metodo XAI non dovrebbe essere visto solo come uno strumento di debug, ma come un prerequisito necessario prima di dispiegare qualsiasi modello di visione artificiale.
• Superiorità Tecnica: Il paper dimostra che questo approccio è superiore alle mappe di salienza tradizionali nella rilevazione di bias nascosti in spazi di pixel sovrapposti, fornendo una comprensione più profonda dei concetti dominanti nelle CNN.