🤖 machine learning

Gradient-Skipping Relevance Propagation for Efficient Explainability of Vision Transformers

Questo articolo introduce GradSkip, un nuovo metodo di propagazione della rilevanza per i Vision Transformer che migliora la fedeltà e la localizzazione pesando adattivamente le teste di attenzione e distribuendo dinamicamente la rilevanza attraverso le connessioni residue, raggiungendo prestazioni allo stato dell'arte con oltre 14 volte meno GFLOP rispetto agli approcci esistenti.

Autori originali: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Christopher Buratti, Michele Marchetti, Federica Parlapiano, Davide Traini, Domenico Ursino, Luca Virgili

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico super intelligente chiamato Vision Transformer (ViT). È incredibile nel guardare le immagini e dirti cosa c'è dentro — come individuare una coccinella o un camion. Ma c'è un problema: il robot è un po' una "scatola nera". Puoi chiedergli: "Perché hai pensato che fosse un camion?" e lui risponde solo: "Perché l'ho detto io". Non ti mostra quali parti dell'immagine lo hanno portato a decidere.

Gli scienziati hanno cercato di sbirciare dentro il cervello del robot per vedere come pensa, ma i loro vecchi strumenti erano come usare un martello pneumatico per rompere una noce. Trattavano ogni parte del cervello del robot come se fosse ugualmente importante, e ignoravano i cavi "scorciatoia" che permettono alle informazioni di sfrecciare attraverso senza cambiare. Questo rendeva le spiegazioni disordinate e spesso errate.

Entra in scena GradSkip, uno strumento nuovo e accattivante inventato da Christopher Buratti e dal suo team per sistemare questo pasticcio. Pensa a GradSkip come a un detective intelligente che non si limita a guardare l'intero cervello tutto in una volta, ma sa esattamente quali neuroni stanno facendo il lavoro pesante e quali stanno solo facendo un pisolino.

I due grandi errori che i vecchi strumenti commettevano

Il documento evidenzia due grandi errori nel modo in cui lavoravano i detective precedenti:

L'errore del "Tutti sono uguali": Immagina un coro in cui alcuni cantanti sono solisti che colpiscono note alte perfette, mentre altri stanno solo mormorando in sottofondo. I vecchi strumenti trattavano ogni cantante come se cantasse allo stesso volume. GradSkip capisce che alcuni "attention heads" (le sezioni del coro) sono super importanti per la decisione, mentre altri sono solo rumore. Impara ad ascoltare i solisti e a ignorare il mormorio.
L'errore della "Scorciatoia": I Transformer hanno queste fighevoli "skip connections" — come un tunnel segreto che permette a un messaggio di saltare un'intera stanza e andare direttamente alla successiva. I vecchi strumenti trattavano questi tunnel come se fossero solo corridoi vuoti che non cambiano nulla. Ma a volte il messaggio cambia nella stanza principale, e a volte no. GradSkip è il primo a controllare: "Questo messaggio ha preso il tunnel, o è stato trasformato nella stanza principale?" Capisce esattamente quanto credito dare a ciascun percorso.

Come GradSkip risolve il mistero

GradSkip usa una strategia intelligente in due fasi per capire cosa sta pensando il robot:

Fase 1: Il filtro "Chi è chi": Guarda il cervello del robot e chiede: "Quali attention heads stanno effettivamente facendo il lavoro?". Usa un trucco matematico speciale (combinando il flusso del gradiente e una misura di "sparsità", simile al controllare quanto sia concentrato un riflettore) per scegliere le teste più importanti. È come un buttafuori in un club che fa entrare solo i neuroni cool e rilevanti e caccia fuori quelli rumorosi.
Fase 2: Lo "Splittatore di percorsi": Quando il detective traccia il processo di pensiero a ritroso, divide la "rilevanza" (il credito per la decisione) tra il percorso principale e il percorso di skip. Se il robot ha solo passato l'informazione senza cambiarla, GradSkip dà la maggior parte del credito al percorso di skip. Se il robot ha fatto dei ragionamenti intensi, dà il credito al percorso principale. È un modo dinamico ed equo per condividere il credito.

La prova: Funziona, ed è veloce!

Il team ha testato GradSkip su un sacco di immagini, da un set standard di 1.000 immagini (ImageNet1K) a foto mediche di cellule del sangue (BloodMNIST). Hanno anche provato su un compito in cui il robot deve colorare ogni parte di un'immagine (segmentazione).

Ecco cosa hanno scoperto:

È la spiegazione più onesta: Quando hanno testato quanto bene le spiegazioni corrispondessero alle decisioni reali del robot, GradSkip è stato il migliore. Sul test ImageNet1K, ha battuto il secondo miglior metodo del 12,50% in un parametro chiave. Sul test delle cellule del sangue mediche, è stato altrettanto buono.
È incredibilmente preciso: Quando hanno chiesto al robot di indicare l'oggetto, GradSkip è stato il più accurato.
È un fulmine di velocità: Questa è la parte più bella. I vecchi metodi accurati erano come guidare un carro armato — funzionavano benissimo ma consumavano un sacco di carburante. GradSkip è come un'auto sportiva elegante. Utilizza 14,45 volte meno GFLOPs (una misura del lavoro computazionale) rispetto al secondo miglior metodo accurato. Per la classificazione, ha richiesto solo 69,39 GFLOPs, e per la segmentazione, solo 28,52 GFLOPs.

Cosa NON è GradSkip

Il documento è molto chiaro su ciò che GradSkip non fa:

Non funziona se non puoi vedere dentro il cervello del robot. Hai bisogno di poter eseguire un "backward pass" (controllare i gradienti), quindi non può essere usato su modelli dove non puoi vedere gli ingranaggi interni.
Non risolve magicamente tutto. In alcuni casi complicati, come quando ci sono più oggetti dello stesso tipo in un'immagine, è ancora molto bravo, ma il documento ammette che è più difficile ottenere punteggi perfetti.
Non guarda il "CLS token" (un token speciale che alcuni robot usano per riassumere l'intera immagine). Gli autori notano che per i robot standard che usano questo token, ignorarlo potrebbe far perdere alcuni indizi, ma per altri tipi (come SegFormer), funziona perfettamente.

Il punto fondamentale

GradSkip non è solo un piccolo miglioramento; è un modo più intelligente di ascoltare il robot. Capendo che non tutte le parti del cervello sono uguali e rispettando i cavi "scorciatoia", ci offre una visione chiara, onesta e velocissima di come i Vision Transformer prendono decisioni. Gli autori suggeriscono che questo potrebbe essere un elemento di svolta per campi come l'imaging medico, dove capire perché un robot ha fatto una diagnosi è importante quanto la diagnosi stessa. E la cosa migliore? Fa tutto questo senza bisogno di un supercomputer per farlo girare.

Sintesi Tecnica: GradSkip (Gradient-Skipping Relevance Propagation) per una Spiegabilità Efficiente dei Vision Transformer

1. Definizione del Problema

I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte nella computer vision, ma rimangono difficili da interpretare. I metodi di spiegabilità esistenti — categorizzati come basati su gradienti, basati su attenzione e basati su perturbazioni — soffrono di limitazioni significative quando applicati alle architetture transformer.

Le problematiche centrali identificate sono:

Trattamento Uniforme delle Testine (Heads): La maggior parte degli approcci basati sull'attenzione assume che tutte le testine di attenzione possiedano un'importanza uniforme. Tuttavia, la letteratura indica che le testine svolgono ruoli eterogenei; alcune codificano pattern semantici focalizzati, mentre altre sono distribuite in modo diffuso. Trattarle uniformemente diluisce la spiegazione mescolando segnali informativi e non informativi.
Negligenza delle Connessioni Residue: I metodi esistenti spesso modellano le connessioni di skip come percorsi di identità o utilizzano euristiche fisse. Ciò non riesce a distinguere tra la rilevanza attribuita alle trasformazioni apprese e la rilevanza semplicemente preservata lungo il percorso di identità, portando a un'attribuzione della rilevanza imprecisa.
Compromesso tra Efficienza e Fedeltà (Faithfulness): I metodi basati sul gradiente sono computazionalmente economici ma soffrono di attribuzioni instabili nei transformer profondi. I metodi basati sulla perturbazione offrono un'alta fedeltà ma richiedono costi computazionali massicci (migliaia di passaggi forward). I metodi basati sull'attenzione sono efficienti ma spesso mancano di affidabilità causale.

2. Metodologia: GradSkip

Per affrontare queste limitazioni, gli autori propongono GradSkip, un metodo di propagazione della rilevanza che introduce due innovazioni concettuali: la ponderazione adattiva delle testine e la propagazione consapevole delle connessioni di skip.

2.1 Ponderazione Adattiva delle Testine di Attenzione

Invece di mediare tutte le testine, GradSkip calcola pesi di importanza dinamici e specifici per ogni testina ( $\omega^l_q$ ) combinando due metriche complementari:

Metrica di Flusso Basata sul Gradiente ( $\tilde{g}^l_q$ ): Questa quantifica l'influenza causale di una testina sulla decisione del modello misurando l'ampiezza del gradiente pesata dai punteggi di attenzione. Un meccanismo di soglia filtra le testine con flusso di gradiente trascurabile per ridurre il rumore.
Metrica di Sparsità Basata sul Gini ( $\tilde{s}^l_q$ ): Questa cattura il focus spaziale-semantico di una testina. Il coefficiente di Gini è calcolato sui valori di attenzione ordinati; coefficienti di Gini elevati indicano pattern di attenzione "piccati" (focalizzati su regioni specifiche), distinguendoli dalle distribuzioni diffuse.

Il peso finale è una combinazione convessa: $\omega^l_q = \alpha \cdot \tilde{g}^l_q + (1-\alpha) \cdot \tilde{s}^l_q$ , dove $\alpha$ bilancia la rilevanza causale e la coerenza spaziale.

2.2 Propagazione della Rilevanza Consapevole delle Connessioni di Skip

GradSkip modella esplicitamente la struttura residua dei blocchi transformer durante la backpropagation. Invece di trattare il percorso di skip come un'identità fissa, esso partiziona dinamicamente la rilevanza tra il percorso di trasformazione dell'attenzione e il percorso di connessione di skip in base ai loro relativi contributi causali.

Il contributo di ciascun percorso è quantificato utilizzando l'ampiezza delle attivazioni pesate dal gradiente:

$\beta^l_{main}$ : Il gate di normalizzazione della rilevanza per il percorso principale dell'attenzione.
$\beta^l_{skip}$ : Il gate complementare per la connessione di skip ( $1 - \beta^l_{main}$ ).

La rilevanza al livello $l-1$ è calcolata come:
$R^{l-1} = \beta^l_{main} \cdot (\tilde{W}^l)^T R^l + \beta^l_{skip} \cdot R^l$
dove $\tilde{W}^l$ è una matrice di attenzione pesata che incorpora l'importanza delle testine, l'ampiezza dei gradienti e l'ampiezza degli embedding. Ciò assicura che i blocchi che agiscono principalmente come mappature di identità contribuiscano minimamente alla spiegazione, preservando la rilevanza attraverso la connessione di skip.

2.3 Dettagli di Implementazione

Il processo prevede un singolo passaggio forward per catturare le rappresentazioni intermedie, i gradienti e le mappe di attenzione, seguito da un singolo passaggio backward per propagare la rilevanza. Il metodo include il ridimensionamento del gradiente per affrontare gli squilibri di flusso e garantire la completezza FullGrad.

3. Contributi Chiave

Il documento delinea tre contributi primari:

Ponderazione Adattiva delle Testine: Un meccanismo che combina il flusso basato sul gradiente e la sparsità basata sul Gini per catturare l'influenza causale e la selettività delle singole testine di attenzione, andando oltre il trattamento uniforme.
Propagazione Consapevole delle Connessioni di Skip: Una regola dinamica che partiziona la rilevanza tra l'attenzione e i percorsi residui in base al loro relativo contributo causale, rispettando la fondamentale struttura residua dei transformer.
Valutazione Comprensiva: Esperimenti estesi su benchmark di classificazione (ImageNet1K, BloodMNIST) e segmentazione (ADE20K-150) che dimostrano uno stato dell'arte in termini di fedeltà e localizzazione con costi computazionali significativamente ridotti.

4. Risultati Sperimentali

4.1 Prestazioni di Classificazione

Valutato su ImageNet1K e BloodMNIST utilizzando modelli ViT-Base e DeiT-Base:

Fedeltà (Faithfulness): GradSkip ha raggiunto prestazioni allo stato dell'arte sulla metrica Insertion-Deletion e sul Faithfulness Violation Test. Ad esempio, su ImageNet1K con ViT-Base, ha superato il secondo miglior approccio (MUTEX) fino al 12,50% nei punteggi di Insertion-Deletion.
Localizzazione: Sulla metrica Pointing Game, GradSkip ha ottenuto i punteggi più alti su ViT-Base (0,868) e risultati competitivi su DeiT-Base (0,831).
Efficienza: GradSkip ha richiesto 69,39 GFLOPs per generare una mappa di attribuzione. Questo è 14,45 volte inferiore in termini di operazioni rispetto a MUTEX e 256,66 volte inferiore rispetto a TIS, mantenendo una fedeltà superiore rispetto ad altri metodi efficienti come le varianti LRP.

4.2 Prestazioni di Segmentazione

Valutato su ADE20K-150 utilizzando il modello SegFormer:

GradSkip ha ottenuto la più alta Precisione dei Pixel (PA) (0,815) e la media dell'Intersection over Union (mIoU) (0,371).
Ha superato il secondo miglior approccio (MUTEX) del 53,94% in mIoU.
A differenza di metodi come Finer-CAM, che hanno ottenuto un'alta PA ma una bassa mIoU a causa di mappe di salienza troppo estese, GradSkip ha dimostrato una capacità superiore di delineare precisamente le regioni specifiche della classe.
Efficienza: Ha richiesto solo 28,52 GFLOPs, paragonabile ai metodi più efficienti basati su LRP, ma con una precisione di segmentazione significativamente più alta.

4.3 Ablation e Analisi

Sparsità delle Testine: L'analisi statistica ha confermato una correlazione significativa tra la sparsità dell'attenzione (misurata dal coefficiente di Gini) e i punteggi di fedeltà. Selezionare solo il top 25% delle testine in base alla sparsità ha migliorato le prestazioni, mentre l'uso del bottom 25% le ha degradate.
Iperparametri: Il bilanciamento ottimale tra flusso di gradiente e sparsità è stato trovato a $\alpha = 0,50$ . Fare affidamento su una sola metrica ha causato cali di prestazioni fino al 26,67%.
Analisi Qualitativa: Le visualizzazioni hanno mostrato che GradSkip produce mappe di calore focalizzate e spazialmente precise che isolano correttamente le regioni discriminanti (ad esempio, piccoli oggetti come coccinelle o strutture sottili come pali della bandiera) sopprimendo al contempo il rumore di fondo, superando i competitor che presentavano attivazioni diffuse o sparse.

5. Significato e Rivendicazioni

Il documento afferma che GradSkip riesce a colmare il divario tra efficienza computazionale e fedeltà della spiegazione nei Vision Transformer. Il suo significato risiede in:

Consapevolezza Architetturale: Modellando esplicitamente i ruoli eterogenei delle testine di attenzione e la natura dinamica delle connessioni residue, GradSkip fornisce spiegazioni che riflettono meglio il modo in cui il modello elabora l'input.
Implementazione Pratica: Offre la alta fedeltà tipica degli approcci basati su perturbazioni, che sono costosi, ma a una frazione del budget computazionale (comparabile a LRP), rendendolo adatto ad applicazioni pratiche dove le risorse sono limitate.
Robustezza: Il metodo dimostra prestazioni coerenti attraverso diversi dataset (generali e medici), architetture di modelli (ViT, DeiT, SegFormer) e tipi di task (classificazione e segmentazione).

Gli autori segnalano delle limitazioni, specificamente che GradSkip richiede l'accesso agli interni del modello (gradienti e attivazioni) e non può essere applicato in contesti puramente forward e privi di gradienti. Inoltre, l'implementazione attuale scarta il token CLS, il che potrebbe limitarne l'applicabilità ai classici ViT dove il token CLS aggrega il contesto globale, sebbene sia direttamente applicabile a varianti come SegFormer che non si affidano ad esso.