Riassunto Tecnico: Grad-CAM per i Vision Transformer

1. Definizione del Problema

La Gradient-weighted Class Activation Mapping (Grad-CAM) è una tecnica standard per visualizzare il processo decisionale nelle Reti Neurali Convoluzionali (CNN), basandosi su mappe di caratteristiche spaziali con chiare dimensioni spaziali e di canale. Tuttavia, i Vision Transformer (ViT) e altre architetture basate su token non producono mappe di caratteristiche convoluzionali; essi utilizzano invece embedding di token, meccanismi di auto-attenzione e stream residui.

Nonostante questa fondamentale discrepanza architettonica, la Grad-CAM viene regolarmente applicata ai ViT nella letteratura scientifica senza alcuna giustificazione, adattamento o riconoscimento delle differenze strutturali. Il documento identifica una lacuna critica: il termine "Grad-CAM su un ViT" non si riferisce a una procedura univoca e ben definita. A differenza delle CNN, dove la mappa di caratteristiche è implicita, i ViT offrono molteplici potenziali fonti di attribuzione (ad esempio, embedding dei token, matrici di attenzione, output MLP). L'attuale letteratura spesso tratta l'adattamento come un'estensione banale della formulazione CNN, portando a:

• Ambiguità Metodologica: Gli autori spesso omettono dettagli riguardanti la localizzazione dell'estrazione delle caratteristiche, i target dei gradienti, la gestione dei token (ad esempio, la rimozione del token [CLS]) e le strategie di aggregazione.
• Crisi della Riproducibilità: Senza una specifica esplicita, una mappa di calore riportata è una tra i molti possibili visualizzazioni selezionate da un vasto spazio di alternative, rendendo impossibile la riproduzione e la valutazione scientifica.
• Misinterpretazione: Le visualizzazioni vengono spesso presentate come prova del comportamento del modello o del grounding visivo senza chiarire se rappresentino attivazioni di token, pesi di attenzione o interazioni cross-modali.

2. Metodologia

Gli autori impiegano un approccio a due fronti: un audit sistematico della letteratura e lo sviluppo di una tassonomia descrittiva.

A. Audit Sistematico della Letteratura

• Costruzione del Corpus: Gli autori hanno condotto una ricerca il 17 aprile 2026, utilizzando Google Scholar con query per "Grad-CAM" AND "Vision Transformer" (o "ViT") limitata a paper dal 2021 in poi. Hanno filtrato per paper disponibili tramite CVF, NeurIPS o IEEE Access, ottenendo un pool iniziale di circa 550 articoli.
• Screening: Uno screening manuale ha identificato 175 paper che applicavano Grad-CAM o metodi adiacenti alla Grad-CAM (ad esempio, Grad-CAM++, LayerCAM, ScoreCAM) a ViT o architetture basate su ViT (inclusi Swin Transformers, BEiT, CLIP e BLIP).
• Analisi: I paper sono stati codificati per sede di pubblicazione, anno, setting del task, tipo di architettura e dettaglio del reporting. L'analisi si è concentrata su come gli autori abbiano giustificato l'adattamento, quali rappresentazioni delle caratteristiche siano state utilizzate e il livello di dettaglio metodologico fornito.

B. Tassonomia Descrittiva degli Adattamenti

Per caratterizzare la lacuna metodologica, gli autori propongono una tassonomia che categorizza esplicitamente le scelte necessarie per adattare la Grad-CAM ai ViT. Questa tassonomia non è prescrittiva (ovvero, non definisce un unico metodo "corretto") ma descrittiva, rendendo esplicite le scelte implicite. Le dimensioni chiave includono:

1. Localizzazioni di Estrazione delle Caratteristiche: Identificare dove nel blocco transformer viene estratta la "mappa di caratteristiche". Il documento definisce sei candidati primari:

   • $F_1$: Output della LayerNorm prima della multi-head attention (embedding dei token normalizzati).
   • $F_2$: Matrici di attenzione normalizzate tramite Softmax (forze di interazione token-to-token).
   • $F_3$: Output dell'attenzione (rappresentazioni dei token proiettate dai valori).
   • $F_4$: Output della LayerNorm prima della Feed-Forward Network (FFN).
   • $F_5$: Output della FFN.
   • $F_6$: Output residuo post-FFN.
   • Cross-Attention: Nei modelli Vision-Language (VLM), la tassonomia distingue tra rappresentazioni lato contesto e mappe di cross-attention che collegano le query testuali ai key dell'immagine.

2. Target dei Gradienti: Definire l'obiettivo scalare ($y_c$) rispetto al quale vengono calcolati i gradienti. Questo varia in base al task (ad esempio, logit della classe per la classificazione, punteggio ITM per i VLM, perdita di segmentazione).

3. Gestione dei Token e Ricostruzione Spaziale:

   • Selezione dei Token: Decidere se utilizzare i gradienti dal token [CLS], la media dei gradienti sui token di patch o escludere interamente i token non spaziali.
   • Rimodellamento (Reshaping): Mappare la sequenza 1D di token nuovamente su una griglia spaziale 2D ($H/P \times W/P$). Ciò assume un ordinamento raster-scan delle patch, che potrebbe non valere per tutte le rappresentazioni (specialmente quelle pesantemente miscelate dalla self-attention).

4. Strategie di Aggregazione:

   • Combinazione Lineare: Come combinare le dimensioni delle caratteristiche (ad esempio, media dei gradienti sui token spaziali rispetto all'uso dei gradienti del [CLS]).
   • Aggregazione delle Teste (Head Aggregation): Per la multi-head attention, determinare se mediare le teste prima o dopo la ReLU, o se trattare le teste come canali separati.

3. Risultati Chiave

L'audit di 175 paper ha prodotto diverse scoperte critiche:

• Mancanza di Giustificazione: Circa il 58% (101 paper) citava solo l'originale paper sulla Grad-CAM basata su CNN o varianti non-ViT, fornendo nessuna giustificazione teorica per l'applicazione del metodo ai transformer.
• Dettaglio Metodologico Scarsamente Presente: Solo il 15% (26 paper) ha giustificato esplicitamente il proprio adattamento o ha citato lavori precedenti che lo avessero fatto. Tra questi, sono stati identificati solo 13 distinti adattamenti peer-reviewed, indicando che il campo non è giunto a una convenzione standard.
• Affidamento a Repository di Codice: Circa il 10% (17 paper) si affidava esclusivamente alla libreria pytorch-grad-cam, che implementa la Grad-CAM per i ViT senza fornire una base teorica per l'adattamento.
• Sottospecificazione: Anche tra i paper che dichiaravano di utilizzare adattamenti specifici, i dettagli critici erano spesso mancanti, come:
  • L'esatto layer del transformer utilizzato.
  • Se il token [CLS] fosse stato incluso o escluso.
  • Come venivano aggregate le teste di attenzione.
  • Il target specifico del gradiente (ad esempio, logit grezzo vs probabilità softmax).
• Variabilità Visiva: Esperimenti qualitativi su un modello standard ViT-B/16 hanno dimostrato che diverse scelte (posizione delle caratteristiche, target del gradiente, strategia di pesatura) producono mappe di calore qualitativamente differenti per lo stesso input e classe. Alcune mappe localizzavano l'oggetto, mentre altre evidenziavano il contesto o apparivano invertite.

4. Contributi Chiave

1. Audit Sistematico: La prima revisione sistematica della letteratura su larga scala che quantifica la prevalenza e la qualità del reporting delle applicazioni di Grad-CAM nei ViT, rivelando una diffusa mancanza di rigore metodologico.
2. Tassonomia Descrittiva: Un framework che categorizza le specifiche scelte metodologiche (posizione delle caratteristiche, target del gradiente, gestione dei token, aggregazione) necessarie per adattare la Grad-CAM alle architetture basate su token. Questa tassonomia serve a descrivere le variazioni esistenti piuttosto che prescrivere una singola soluzione.
3. Identificazione dell'Ambiguità: Il documento evidenzia che "Grad-CAM su un ViT" è un termine sottospecificato. Dimostra che senza la segnalazione esplicita delle scelte di adattamento, le visualizzazioni non possono essere trattate come prove scientifiche riproducibili.
4. Guida al Reporting: Gli autori forniscono una checklist per autori e revisori per garantire che le visualizzazioni Grad-CAM dei ViT includano i dettagli necessari (rappresentazione delle caratteristiche, target del gradiente, gestione dei token, aggregazione e ricostruzione spaziale) per supportare le affermazioni sul comportamento del modello.

5. Significato e Rivendicazioni

Il documento sostiene che l'attuale pratica di applicare la Grad-CAM ai ViT sia spesso un approccio "plug-and-play" che ignora il disallineamento teorico tra le assunzioni del metodo (mappe di caratteristiche spaziali) e l'architettura del modello (sequenze di token).

• Rigore Scientifico: Gli autori affermano che l'attuale mancanza di specificazione mina la validità scientifica delle spiegazioni in domini ad alto rischio (ad esempio, imaging medico, sistemi critici per la sicurezza). Una mappa di calore sottospecificata può essere visivamente persuasiva ma scientificamente ininterpretabile.
• Riproducibilità: Lo studio asserisce che la riproducibilità è impossibile senza la segnalazione esplicita delle scelte di adattamento. La tassonomia permette ai ricercatori di distinguere tra diversi procedure di attribuzione che attualmente condividono lo stesso nome.
• Ambito Modesto: Il documento dichiara esplicitamente di non proporre un unico adattamento "corretto" della Grad-CAM per i ViT. Mira invece a chiarire l'intervallo delle scelte metodologiche effettuate e a migliorare la trasparenza del reporting. L'obiettivo è aiutare la comunità a distinguere tra procedure di attribuzione riproducibili ed spiegazioni visivamente persuasive ma sottospecificate.

In conclusione, il documento chiama a un cambiamento nella comunità di ricerca: passare dal trattare la Grad-CAM sui ViT come un'estensione banale dei metodi CNN verso un approccio più rigoroso e consapevole dell'architettura, in cui ogni visualizzazione sia accompagnata da una definizione precisa delle sue scelte matematiche e di implementazione sottostanti.