Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models

Il paper propone il framework CA-LIG, una metodologia unificata e gerarchica che combina gradienti integrati a livello di layer con gradienti di attenzione specifici per la classe per generare mappe di attribuzione contestualmente consapevoli e semanticamente coerenti, migliorando significativamente l'interpretabilità e la fedeltà delle spiegazioni nei modelli Transformer rispetto alle tecniche esistenti.

L'essenziale

🧠 Il Problema: La "Scatola Nera" che non parla

Immagina che i modelli di intelligenza artificiale moderni (chiamati Transformer, come quelli che usano per scrivere testi o riconoscere immagini) siano come dei cucinatori stellati in una cucina chiusa a chiave.
Sai che metti gli ingredienti (il testo o l'immagine) e sai che esce un piatto delizioso (la previsione: "Questo film è bello" o "Questo è un gatto"). Ma non sai come hanno deciso di mescolare gli ingredienti. È una scatola nera.

I metodi attuali per capire cosa succede dentro (chiamati XAI, o Intelligenza Artificiale Spiegabile) sono un po' come guardare solo il piatto finito e dire: "Ah, vedo che c'è del basilare, quindi il cuoco ha usato il basilare". Ma non ti dicono quanto basilare è stato usato, se è stato aggiunto all'inizio o alla fine, o se il cuoco ha buttato via un ingrediente importante perché non piaceva.

💡 La Soluzione: CA-LIG (Il "Detective" che segue le tracce)

Gli autori del paper, Melkamu e Jugal, hanno creato un nuovo metodo chiamato CA-LIG. Immagina che CA-LIG non sia un semplice osservatore, ma un detective privato che entra nella cucina e segue ogni singolo passo del cuoco, dal primo taglio delle verdure fino all'impasto finale.

Ecco come funziona, passo dopo passo, con delle metafore:

1. Non guardare solo il finale (Layer-wise)

I metodi vecchi guardano solo l'ultimo strato della torta (l'output finale). CA-LIG, invece, guarda ogni singolo strato della torta mentre viene costruita.

• L'analogia: Immagina di costruire un muro di mattoni. I metodi vecchi ti dicono solo: "Il muro è dritto". CA-LIG ti dice: "Il primo mattone era un po' storto, il secondo ha retto bene, ma al quinto strato il muratore ha cambiato idea e ha usato un mattone diverso". Questo ti aiuta a capire perché il muro è dritto (o storto).

2. Ascolta le "conversazioni" tra le parole (Context-Aware)

In un Transformer, le parole non lavorano da sole; si "parlano" tra loro (attenzione).

• L'analogia: In una riunione aziendale, non conta solo quanto urla il CEO (la parola più importante), ma conta anche chi ascolta chi. Se il CEO guarda il suo assistente, quell'assistente diventa importante.
  CA-LIG capisce queste conversazioni. Se la parola "non" appare prima di "buono", CA-LIG sa che il significato cambia completamente. I vecchi metodi spesso ignorano queste sfumature e si concentrano solo sulle parole singole.

3. Unisce due tipi di indizi (Gradients + Attenzione)

CA-LIG usa due strumenti per investigare:

• Gli "Integrati" (Integrated Gradients): Misurano quanto ogni ingrediente contribuisce al sapore finale. È come dire: "Se togliessi questo pomodoro, il piatto cambierebbe molto?".
• I "Gradi di Attenzione": Misurano quanto un ingrediente guarda un altro. È come dire: "Il pomodoro stava guardando la mozzarella?".
  CA-LIG mescola questi due indizi. Non si fida ciecamente di uno solo, ma crea una mappa di calore che mostra sia l'importanza della parola singola, sia come questa parola interagisce con le altre.

🚀 Cosa hanno scoperto? (I Risultati)

Hanno testato il loro detective su molti casi:

• Sentimenti: Capire se una recensione di un film è positiva o negativa.
• Odio: Riconoscere discorsi d'odio in lingue africane (dove c'è poca dati).
• Immagini: Riconoscere gatti e cani.

Il risultato?
Mentre i vecchi metodi spesso indicavano parole o pixel a caso (come se il cuoco avesse buttato sale ovunque), CA-LIG ha puntato il dito esattamente sulle parole chiave (es. "terribile", "assurdo") e sulle parti dell'immagine (es. gli occhi del gatto) che hanno davvero fatto decidere il modello.
Inoltre, ha mostrato come il significato di una parola cambi man mano che passa attraverso i "livelli" del cervello artificiale, proprio come un'idea che matura mentre ne parli con gli amici.

🏁 In sintesi

Il paper ci dice che per capire davvero l'Intelligenza Artificiale, non possiamo guardare solo il risultato finale. Dobbiamo guardare il viaggio che i dati fanno dentro il modello.

CA-LIG è come avere una telecamera nascosta che registra ogni mossa del cuoco, ogni conversazione tra gli ingredienti e ogni cambiamento di idea, permettendoci di capire non solo cosa ha deciso l'AI, ma come e perché lo ha fatto.

È un passo avanti verso un'AI più trasparente, affidabile e comprensibile per tutti noi.

Sommario tecnico

1. Il Problema

I modelli basati su Transformer (come BERT, GPT, XLM-R) hanno raggiunto lo stato dell'arte in numerosi domini (NLP, visione artificiale), ma la loro natura profondamente stratificata e non lineare li rende "scatole nere" difficili da interpretare. Le attuali tecniche di Explainable AI (XAI) presentano tre limitazioni fondamentali:

1. Bias verso l'ultimo layer: La maggior parte dei metodi genera spiegazioni solo allo strato di output finale, ignorando come le rappresentazioni semantiche e contestuali evolvono attraverso i layer intermedi del modello.
2. Mancanza di unificazione locale-globale: I metodi esistenti tendono a catturare o la rilevanza locale dei token (basata sui gradienti) o le interazioni strutturali globali (basate sull'attenzione), ma raramente integrano entrambe le prospettive in una singola rappresentazione coerente.
3. Insufficiente consapevolezza del contesto: I metodi attuali spesso non tengono conto delle dipendenze inter-token, delle connessioni residue, delle trasformazioni feed-forward e del flusso di informazioni tra i layer, elementi cruciali per il ragionamento dei Transformer. Inoltre, l'uso diretto dei pesi dell'attenzione come spiegazione è stato dimostrato inaffidabile.

2. Metodologia: Il Framework CA-LIG

Gli autori propongono il framework Context-Aware Layer-wise Integrated Gradients (CA-LIG), una struttura gerarchica unificata che calcola le attribuzioni a ogni blocco Transformer. Il processo si articola in quattro fasi principali:

• Calcolo dei Gradienti Integrati a Livello di Layer (LIG):
  Invece di calcolare l'attribuzione solo all'output, CA-LIG applica il metodo Integrated Gradients (IG) a ogni layer intermedio $l$. Si definisce un percorso di interpolazione tra una rappresentazione di base (baseline) e la rappresentazione nascosta effettiva $x^{(l)}$. Vengono calcolati i gradienti della classe target rispetto a questi stati intermedi, producendo mappe di rilevanza a livello di token per ogni layer. Questo garantisce la proprietà di completezza (la somma delle attribuzioni corrisponde alla differenza tra output e baseline).

• Calcolo dei Gradienti dell'Attenzione:
  Per ogni blocco Transformer, viene calcolato il gradiente della classe target rispetto alla matrice di attenzione $A^{(b)}$. Questo segnale cattura la sensibilità della previsione rispetto ai cambiamenti nei pesi di attenzione, rivelando come le interazioni tra token influenzano l'output, andando oltre il semplice peso statico dell'attenzione.

• Fusione Contestuale (Context-Aware Integration):
  I punteggi di rilevanza dei token (da LIG) e i gradienti dell'attenzione vengono fusi. Viene utilizzata una normalizzazione simmetrica Min-Max sui punteggi di rilevanza, che vengono poi moltiplicati elemento per elemento (Hadamard product) con i gradienti dell'attenzione. Questo meccanismo agisce come un "cancello di rilevanza", pesando i gradienti dell'attenzione in base all'importanza causale del token, preservando così la fedeltà dell'attribuzione locale mentre si incorporano le dipendenze strutturali globali.

• Aggregazione Gerarchica e Mappatura Finale:
  Le matrici fuse vengono normalizzate e aggregate attraverso i layer utilizzando una strategia di rollout (moltiplicazione ricorsiva delle matrici di attenzione ponderate). Un coefficiente $\lambda$ bilancia l'influenza dei gradienti di attenzione rispetto alla rilevanza dei token. Il risultato è una mappa di attribuzione finale firmata (positiva/negativa) che traccia il flusso gerarchico della rilevanza, distinguendo tra prove a supporto e prove contrarie alla decisione del modello.

3. Contributi Chiave

• Framework Unificato e Gerarchico: CA-LIG è il primo framework che calcola attribuzioni layer-wise per ogni blocco Transformer, tracciando l'evoluzione della rilevanza dei token dall'input fino all'output.
• Meccanismo di Fusione Gradiente-Attenzione: Introduce un metodo innovativo che fonde i gradienti integrati (per la fedeltà causale) con i gradienti dell'attenzione (per le interazioni contestuali), colmando il divario tra rilevanza locale e dipendenze strutturali globali.
• Consapevolezza del Contesto e Conservazione della Rilevanza: Il framework impone la normalizzazione e la conservazione della rilevanza attraverso i percorsi multi-head attention, migliorando l'interpretabilità in modelli complessi.
• Validazione Cross-Dominio: Il metodo è stato testato non solo su compiti NLP (analisi del sentiment, classificazione di documenti lunghi, rilevamento di discorsi d'odio in lingue a risorse limitate come l'amarico), ma anche su compiti di visione artificiale (classificazione di immagini con Masked Autoencoder - MAE), dimostrando la sua generalità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come BERT, XLM-R, AfroLM e MAE, confrontando CA-LIG con metodi baselines come Integrated Gradients (IG), Layer-wise Relevance Propagation (LRP), Attention Rollout e Input × Gradient.

• Valutazione Qualitativa:

  • CA-LIG produce visualizzazioni più nitide e semanticamente coerenti rispetto ai baselines.
  • A differenza dei metodi basati sull'attenzione (che tendono a distribuire uniformemente la rilevanza o a focalizzarsi eccessivamente su token speciali come [CLS]), CA-LIG identifica correttamente le parole chiave semantiche e le loro interazioni a lungo raggio (es. collegare "evidence" a "bible" in un testo religioso).
  • Nel rilevamento di discorsi d'odio in lingue a bassa risorsa (amarico), CA-LIG ha dimostrato stabilità e capacità di catturare le sfumature morfologiche e contestuali.
  • Nella visione artificiale, CA-LIG evidenzia regioni semanticamente rilevanti (es. occhi, muso di un animale) invece di regioni sparse o di sfondo, tipiche di metodi come Grad-CAM.

• Valutazione Quantitativa:

  • Token-F1: Sul dataset IMDB (benchmark ERASER), CA-LIG ha ottenuto punteggi F1 superiori rispetto a tutti i metodi baselines, indicando una migliore sovrapposizione con le giustificazioni umane.
  • Perturbazione (AUC): Nelle task di visione, CA-LIG ha mostrato una maggiore fedeltà (faithfulness), con un aumento rapido della confidenza quando le patch importanti vengono inserite e una rapida diminuzione quando vengono rimosse, superando IG, LRP e Grad-CAM.
  • Analisi Layer-wise: Lo studio di sensibilità ha confermato che CA-LIG allinea correttamente l'evoluzione della rilevanza con le funzioni note dei layer di BERT (sintattici nei layer bassi, semantici nei medi, decisionali nei profondi).

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso la trasparenza dei modelli Transformer. CA-LIG supera i limiti delle spiegazioni basate esclusivamente sull'ultimo layer o sui pesi dell'attenzione, fornendo una spiegazione fedele, contestuale e gerarchica.

• Interpretabilità Pratica: Permette agli sviluppatori di comprendere non solo quali token sono importanti, ma come l'importanza si evolve e interagisce attraverso la rete.
• Affidabilità: La capacità di distinguere tra prove a supporto e prove contrarie (mappe firmate) aiuta a diagnosticare errori e a calibrare la fiducia nel modello.
• Generalità: Dimostra che i principi di spiegazione contestuale sono universali, applicabili con successo sia al linguaggio naturale che alla visione artificiale.

In sintesi, CA-LIG offre una comprensione più profonda del processo decisionale dei modelli deep learning, avanzando sia l'interpretabilità pratica che la comprensione concettuale delle architetture Transformer.