Learn to Rank: Visual Attribution by Learning Importance Ranking

1. Il Problema

L'interpretabilità dei modelli di visione artificiale complessi (come i Transformer) è fondamentale per garantire fiducia e responsabilità, specialmente in settori critici. Le attuali tecniche di generazione di mappe di attribuzione visiva (che evidenziano le regioni dell'input rilevanti per la previsione) soffrono di un compromesso a tre vie:

• Metodi basati sulla propagazione (es. Grad-CAM, Attention): Sono efficienti ma possono essere distorti, specifici dell'architettura e tendono a focalizzarsi su caratteristiche di basso livello (bordi) o a non rappresentare correttamente i percorsi non-attention nei Transformer.
• Metodi basati sulla perturbazione (es. RISE, SHAP): Sono causalmente fondati (misurano l'impatto reale della rimozione di feature) ma sono computazionalmente costosi (richiedono molte valutazioni del modello) e, per i Vision Transformer (ViT), spesso producono mappe a livello di "patch" (blocchi) che, una volta ridimensionate, risultano grossolane e poco precise.
• Metodi basati sull'apprendimento (Amortized): Sono veloci in fase di inferenza ma spesso ottimizzano obiettivi surrogati o si basano su insegnanti euristici, senza garantire una qualità diretta della spiegazione.

L'obiettivo è superare questi limiti creando un metodo che sia causalmente fondato, efficiente e in grado di produrre attribuzioni dense a livello di pixel, anche per i Transformer.

2. Metodologia: AHA (Amortized Hybrid Attribution)

Gli autori propongono AHA, un framework di apprendimento che unisce i punti di forza dei metodi basati sulla perturbazione e su quelli basati sull'apprendimento.

Ottimizzazione Diretta delle Metriche

Invece di usare obiettivi surrogati, AHA ottimizza direttamente le metriche di valutazione standard: Deletion e Insertion.

• Deletion: Misura quanto cala la probabilità della classe target quando i pixel più importanti vengono rimossi.
• Insertion: Misura quanto aumenta la probabilità quando i pixel più importanti vengono aggiunti a un'immagine di riferimento vuota.

La Sfida della Non-Differenziabilità

Il calcolo di queste metriche richiede di ordinare i pixel per importanza e creare maschere binarie (top-k), operazioni discrete e non differenziabili che impediscono l'addestramento end-to-end tramite backpropagation.

Soluzione: Apprendimento delle Permutazioni (Learn to Rank)

Per rendere il problema differenziabile, gli autori riformulano l'ordinamento come un problema di permutazione e applicano un rilassamento continuo:

1. Matrici di Permutazione Soft: Utilizzano l'algoritmo Gumbel-Sinkhorn per approssimare l'ordinamento rigido dei pixel. Invece di una permutazione binaria, si ottiene una matrice di permutazione "soft" (doppio stocastica) che assegna probabilità continue a ogni pixel di essere nella posizione $k$-esima.
2. Maschere Top-k Soft: Sulla base della matrice di permutazione soft, vengono generate maschere continue (valori tra 0 e 1) che indicano il grado di inclusione di ogni pixel nelle top-k regioni.
3. Perturbazioni Differenziabili: Queste maschere soft vengono utilizzate per perturbare l'immagine in modo continuo, permettendo il calcolo del gradiente rispetto ai parametri del modello di attribuzione.

Strategie di Addestramento Efficiente e Robusto

Per gestire l'alto costo computazionale e prevenire l'overfitting su artefatti di pixel singoli, vengono introdotte tre strategie:

• Permutazione basata su Regioni: L'immagine è divisa in una griglia di regioni. L'ordinamento e la selezione avvengono a livello di regione, non di pixel singolo, riducendo drasticamente il numero di permutazioni.
• Campionamento dei Passi di Perturbazione: Invece di valutare l'intera curva AUC (rimozione di tutti i pixel), si campiona un sottoinsieme di passi di perturbazione durante l'addestramento.
• Augmentation della Griglia: La dimensione e l'offset della griglia vengono variati casualmente per evitare che il modello impari pattern spaziali fissi.

Rifinitura in Test-Time (Opzionale)

AHA mantiene l'efficienza dell'inferenza (un solo passaggio in avanti), ma offre un'opzione di rifinitura: si possono eseguire pochi passi di discesa del gradiente direttamente sull'immagine di test per affinare la mappa di attribuzione specifica per quel campione, migliorando ulteriormente la qualità a costo computazionale contenuto.

3. Contributi Chiave

1. Framework Ibrido: Un approccio di apprendimento che colma il divario tra metodi basati sulla perturbazione (causalità) e quelli basati sulla propagazione (efficienza).
2. Ottimizzazione Diretta delle Metriche: Il primo metodo che ottimizza direttamente le metriche Deletion e Insertion per i Transformer, producendo mappe dense a livello di pixel.
3. Rilassamento Gumbel-Sinkhorn: La formulazione dell'ottimizzazione delle metriche come problema di apprendimento delle permutazioni, abilitando l'addestramento end-to-end tramite rilassamento differenziabile.
4. Efficienza Scalabile: Strategie di training (permutazione regionale, campionamento) che rendono fattibile l'addestramento su immagini ad alta risoluzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet utilizzando classificatori Vision Transformer (ViT-B/16, ViT-B/32) e ConvNeXt.

• Qualità delle Metriche: AHA supera o compete con lo stato dell'arte (SOTA) su tutte le metriche di fedeltà (Deletion, Insertion, Positive/Negative perturbation). In particolare, ottiene i migliori punteggi nelle metriche composite (es. differenza tra Insertion e Deletion).
• Qualità Visiva: Le mappe generate sono dense e allineate ai contorni degli oggetti, a differenza dei metodi basati su patch che producono mappe "a blocchi" e diffuse. Questo è evidente anche senza rifinitura (T=0).
• Efficienza:
  • Senza rifinitura (T=0), AHA è veloce quanto i metodi di propagazione (es. Grad-CAM, LeGrad), richiedendo un solo passaggio in avanti.
  • Con rifinitura (T=3), rimane significativamente più veloce dei metodi basati sulla perturbazione per campione (es. MDA, TIS) che richiedono secondi o minuti, mentre AHA richiede solo frazioni di secondo o pochi decimi di secondo.
• Robustezza: Il metodo funziona bene anche su modelli CNN (ConvNeXt) e dimostra capacità di rilevare "shortcut" (correlazioni spurie) quando viene applicata la rifinitura su dati fuori distribuzione.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'XAI (Explainable AI) per la visione artificiale:

• Superamento del compromesso: Dimostra che è possibile ottenere spiegazioni sia causalmente fondate che computazionalmente efficienti, eliminando il trade-off storico tra accuratezza e velocità.
• Adattabilità ai Transformer: Risolve il problema della bassa risoluzione spaziale delle spiegazioni per i ViT, fornendo attribuzioni pixel-per-pixel che rispettano la struttura fine degli oggetti.
• Nuovo Paradigma di Addestramento: Introduce l'idea di addestrare direttamente un modello di spiegazione ottimizzando le metriche di valutazione finali, piuttosto che affidarsi a distillazione o obiettivi proxy.

In sintesi, AHA offre un metodo scalabile, preciso e fidato per interpretare i modelli di visione più avanzati, rendendo le loro decisioni più trasparenti e verificabili.