From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

1. Enunciato del Problema

I moderni modelli di visione (CNN e Vision Transformers) raggiungono elevate accuratezze ma mancano di trasparenza. I metodi attuali di interpretabilità sono frammentati in tre domini disconnessi:

• Locale: Spiega dove un modello guarda per un input specifico (ad esempio, mappe di salienza), ma spesso fallisce nel distinguere prove specifiche per classe o nel gestire caratteristiche non localizzate.
• Globale: Spiega cosa il modello codifica attraverso un dataset (ad esempio, scoperta di concetti), ma fatica con le caratteristiche "non localizzate" nei Transformer, dove le attivazioni sono disperse, rendendo difficile l'ancoraggio semantico.
• Meccanistico: Spiega come i calcoli interni assemblano prove attraverso i livelli, ma manca di un'unità unificata per tracciare l'evoluzione e l'interazione dei concetti.

I metodi esistenti spesso si basano su gradienti (che possono essere rumorosi o manipolati) o su post-processing euristico, e non forniscono un'unità di analisi coerente che colmi il divario tra prove a livello di pixel e concetti latenti astratti.

2. Metodologia Principale: Il Framework Centrato su iERF

Gli autori propongono un framework unificato costruito attorno a una singola unità fondamentale di analisi: il Vettore di Caratteristica Puntuale (PFV) accoppiato al suo Campo Recettivo Effettivo Specifico per Istanza (iERF).

• Vettore di Caratteristica Puntuale (PFV): Il vettore di attivazione multicanale in una specifica coordinata spaziale in uno strato nascosto. Questo tratta la posizione spaziale come un'ancora invariante, applicabile sia alle CNN (finestre scorrevoli) che ai Transformer (token).
• Campo Recettivo Effettivo Specifico per Istanza (iERF): Una mappa di punteggio che identifica i pixel di input specifici (o patch) che guidano l'attivazione di un PFV specifico per una data istanza di input. A differenza dei campi recettivi teorici, l'iERF è dinamico e ancorato alle prove.

Il framework affronta le tre dimensioni di interpretabilità utilizzando questa unità:

A. Spiegazione Locale: Decomposizione del Rapporto di Condivisione (SRD)

• Obiettivo: Generare mappe di salienza ad alta risoluzione e discriminative per classe.
• Meccanismo: SRD scompone un PFV target in una miscela ponderata di PFV a monte. Calcola i Rapporti di Condivisione ($\mu$) basati sull'allineamento direzionale tra contributi parziali e il vettore target, utilizzando le trasformazioni affini interne del modello.
• Processo: Gli iERF vengono propagati ricorsivamente dall'input all'output. La mappa di salienza finale della classe è una somma ponderata degli iERF all'output del codificatore, dove i pesi vengono aggiustati per sopprimere segnali agnostici alla classe.
• Vantaggio: A differenza dei metodi basati su gradienti, SRD si basa esclusivamente su informazioni generate dal modello, rendendolo robusto al rumore e alla manipolazione avversariale, e agnostico rispetto alle funzioni di attivazione.

B. Spiegazione Globale: Spiegazione delle Caratteristiche Ancorate al Concetto (CAFE)

• Obiettivo: Interpretare vettori latenti astratti (ad esempio, da Sparse Autoencoder o token Transformer) ancorandoli a prove a livello di pixel.
• Problema: Nei Transformer, l'attenzione self-mixing mescola il contesto globale, causando caratteristiche "non localizzate" (attivate da pixel distanti). I metodi tradizionali basati sulla "patch più attivata" falliscono qui.
• Meccanismo: CAFE utilizza l'iERF come etichetta semantica diretta per ogni vettore di concetto. Invece di guardare quale token si è attivato, traccia quali pixel hanno guidato l'attivazione di quel token.
• Processo: La rilevanza viene retropropagata da un neurone SAE target attraverso il backbone fino all'input. L'iERF rivela il vero driver semantico (ad esempio, "pillole versate" rispetto a una patch di sfondo), risolvendo l'ambiguità per caratteristiche non localizzate e Token di Classe.

C. Spiegazione Meccanistica: Grafo Interstrato di Concetti (ICG) & ICAT

• Obiettivo: Tracciare come i concetti evolvono e interagiscono attraverso i livelli per formare decisioni.
• Nodi: Vettori di concetto estratti a livello di strato dagli spazi PFV (utilizzando metodi come bisecting k-means o SAE). Ogni nodo è ancorato dal suo iERF.
• Archi: Quantificati tramite Attribuzione Interstrato di Concetti (ICAT). ICAT misura l'influenza di un concetto genitore nello strato $a$ su un concetto figlio nello strato $b$.
• Metodo di Attribuzione: Il paper valida che i Gradienti Integrati (IG) sono l'istanziazione più fedele per ICAT (denominata ICAT$_{IG}$) utilizzando un protocollo di inserimento/cancellazione interstrato.
• Output: Un multigrafo diretto che mostra il flusso di prove dalle caratteristiche di basso livello (texture) ai concetti di alto livello (oggetti) e alle decisioni finali.

3. Contributi Chiave

1. Unità di Analisi Unificata: Introduzione del bundle PFV–iERF come primitiva coerente per l'analisi locale, globale e meccanistica attraverso CNN e Transformer.
2. SRD (Locale): Un metodo privo di gradienti e robusto per generare mappe di salienza discriminative per classe che supera i baseline dello stato dell'arte in fedeltà e robustezza.
3. CAFE (Globale): Un approccio innovativo per ancorare caratteristiche SAE non localizzate e token Transformer a prove di pixel verificabili, risolvendo il problema della "dimensionalità spaziale nulla" dei Token di Classe.
4. ICG & ICAT (Meccanistico): Un framework per tracciare l'influenza da concetto a concetto attraverso i livelli, identificando i Gradienti Integrati come il metodo di attribuzione ottimale per l'analisi interstrato.
5. Valutazione Completa: Esperimenti estesi su ResNet50, VGG16 e ViT che dimostrano prestazioni superiori in localizzazione, sparsità, fedeltà e robustezza avversariale.

4. Risultati Sperimentali

• Locale (SRD):
  • Ha superato i baseline (Grad-CAM, LRP, Gradienti Integrati, ecc.) su ImageNet-S50 nel Gioco di Puntamento, Localizzazione dell'Attribuzione, Fedeltà e Stabilità.
  • Ha dimostrato alta robustezza contro attacchi avversariali mirati (preservando i cue rilevanti per la classe mentre i concorrenti fallivano).
  • Ha mantenuto alta fedeltà attraverso varie funzioni di attivazione (ReLU, Swish, GELU, Tanh), a differenza di metodi adattati solo per ReLU.
• Globale (CAFE):
  • Nei test di inserimento, CAFE guidato da iERF ha recuperato le attivazioni latenti significativamente più velocemente dei baseline basati sulla classificazione delle attivazioni naive.
  • Ha interpretato con successo caratteristiche non localizzate (ad esempio, il concetto di conteggio "Tre", "Armatura del Cavaliere") dove i metodi tradizionali producevano etichette semantiche ambigue o errate.
• Meccanistico (ICG):
  • Ha validato che i Gradienti Integrati forniscono il calo/rialzo più ripido nelle curve di inserimento/cancellazione, confermandoli come il metodo più fedele per ICAT.
  • Ha diagnosticato con successo i modi di fallimento:
    • Classificazione Errata: Ha rivelato rotte di concetti in competizione (ad esempio, "cane boxeur" vs "gatto tigre") che causavano errori.
    • Attacchi Avversariali: Ha tracciato come le perturbazioni riproposero concetti di basso livello (ad esempio, "rughe") per dirottare rappresentazioni di alto livello.

5. Significato

Questo paper fornisce una mappa coerente e supportata da prove dai pixel ai concetti fino alle decisioni. Ancorando tutti i compiti di interpretabilità all'iERF, il framework:

• Unifica campi di interpretabilità disparati (locale, globale, meccanistico) sotto un'unica lente matematica.
• Risolvi le sfide specifiche delle architetture moderne (Transformer) dove il mescolamento del contesto globale oscura le prove locali.
• Migliora la Fiducia: Offre uno strumento robusto e resistente alla manipolazione per il debug dei modelli, la comprensione dei modi di fallimento e la verifica che i modelli si basino su caratteristiche semanticamente significative piuttosto che su correlazioni spurie.
• Impatto Futuro: Stabilisce una base per spostare l'interpretabilità dalla visualizzazione post-hoc verso un'analisi ancorata ai concetti che può supportare la guida e l'intervento sui modelli.