Riepilogo Tecnico: CAMAL

Enunciato del Problema

I modelli di visione implementati in applicazioni del mondo reale richiedono interpretabilità per garantire che le loro decisioni siano affidabili. Le Mappe di Attivazione di Classe (CAM) sono ampiamente utilizzate per visualizzare l'attenzione di un modello, evidenziando le regioni che il modello percepisce come discriminative. Tuttavia, gli approcci esistenti soffrono di due limitazioni critiche:

1. Mancanza di Allineamento dell'Attenzione: I modelli spesso prestano attenzione a regioni spurie piuttosto che alle regioni discriminative vere e proprie, un fenomeno noto come "apprendimento tramite scorciatoie" (shortcut learning).
2. Mancanza di Fedeltà dell'Attenzione: Anche se l'attenzione si allinea a una regione, ciò non garantisce che l'attenzione influisca causalmente sulla decisione del modello.

I recenti tentativi di affrontare questo problema tramite "supervisione dell'attenzione" si sono basati su regioni pseudo-discriminative derivate da modelli zero-shot preaddestrati (ad esempio CLIP) come segnali di riferimento. Gli autori sostengono che questi prior non sono affidabili perché sono ottimizzati per una generalizzazione ampia piuttosto che per una localizzazione spaziale precisa, risultando spesso in regioni di riferimento frammentate o spurie. Inoltre, i metodi esistenti spesso non riescono a scalare efficientemente su grandi dataset perché si basano sull'estrazione dell'attenzione basata su gradienti per singolo campione, che comporta un sovraccarico computazionale proibitivo.

Metodologia: CAMAL

Gli autori propongono Class Activation Map Attention Learning (CAMAL), un metodo che sfrutta le maschere di segmentazione come regioni di riferimento affidabili per guidare l'attenzione del modello.

1. Regioni di Riferimento Affidabili

A differenza dei lavori precedenti che utilizzano prior basati su CLIP, CAMAL utilizza maschere di segmentazione (spesso verificate da umani o generate da strumenti come SAM) per definire le regioni discriminative vere e proprie. Queste maschere forniscono informazioni spaziali strutturate, complete e accurate.

2. Regularizzazione Ausiliaria Guidata da Maschere

CAMAL formula un obiettivo di regularizzazione ausiliaria che ottimizza congiuntamente due metriche derivate dalla mappa di calore dell'attenzione del modello $H_c$ e dalla maschera di segmentazione $M_c$:

• $\alpha$ (Attenzione Dentro la Maschera): La media dell'attenzione all'interno delle regioni discriminative vere e proprie.
• $\beta$ (Attenzione Fuori dalla Maschera): La media dell'attenzione al di fuori di queste regioni.

La funzione obiettivo minimizza la differenza $(\beta - \alpha)$, incoraggiando efficacemente il modello ad aumentare l'attenzione all'interno della maschera ($\alpha \uparrow$) e a sopprimere l'attenzione nelle regioni spurie ($\beta \downarrow$). Questo viene aggiunto come regolarizzatore alla classica funzione di perdita per entropia incrociata:
$$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$$
dove $\lambda$ controlla l'intensità della regularizzazione.

3. Estrazione Efficiente dell'Attenzione a Livello di Batch

Un contributo tecnico chiave è la risoluzione del collo di bottiglia della scalabilità nell'estrazione dell'attenzione basata su gradienti (ad esempio Grad-CAM). I metodi standard richiedono una passata inversa separata per ogni campione in un mini-batch (complessità $O(B)$). CAMAL introduce una formulazione efficiente in cui i logit per tutti i campioni in un mini-batch sono sommati in un singolo scalare prima di eseguire una singola passata inversa.

• Garanzia Teorica: A causa della linearità della differenziazione e dell'indipendenza dei campioni all'interno di un batch, questa singola passata inversa produce gradienti identici al calcolo individuale ($O(1)$ complessità).
• Impatto: Questo riduce significativamente il sovraccarico di addestramento, rendendo la supervisione dell'attenzione fattibile per regimi di addestramento su larga scala.

4. Agnosticismo Architetturale e di Attività

CAMAL è progettato per essere agnostico rispetto all'architettura della rete (applicabile a CNN, Transformer come ViT e modelli ibridi) e ai paradigmi di apprendimento. Nell'Apprendimento per Rinforzo Profondo (DRL), dove le etichette vere e proprie sono assenti, CAMAL utilizza la stima del valore del critico $V(s)$ come target per il calcolo dell'attenzione, consentendo la supervisione in contesti debolmente supervisionati.

Contributi Chiave

1. Supervisione dell'Attenzione Principiata: Introduzione di CAMAL, che fonda l'apprendimento dell'attenzione su maschere di segmentazione affidabili piuttosto che su regioni pseudo non verificate.
2. Nuovo Obiettivo di Regularizzazione: Una formulazione che incoraggia simultaneamente l'attenzione all'interno delle regioni vere e proprie e la sopprime altrove, affrontando le limitazioni dei regolarizzatori "solo soppressione".
3. Metodo di Estrazione Scalabile: Una tecnica efficiente di estrazione dell'attenzione a livello di batch che riduce la complessità computazionale da $O(B)$ a $O(1)$, abilitando una supervisione scalabile.
4. Valutazione Completa: Una valutazione rigorosa dal punto di vista statistico attraverso i paradigmi di Deep Learning (DL) e Deep Reinforcement Learning (DRL).

Risultati Sperimentali

Gli autori hanno valutato CAMAL rispetto a due baseline: Vanilla (nessuna supervisione dell'attenzione) e Prior (supervisione dell'attenzione che utilizza regioni pseudo basate su CLIP).

Allineamento dell'Attenzione

• Metrica: Intersezione su Unione (IoU) tra l'attenzione del modello e le maschere vere e proprie.
• Risultati DL: CAMAL ha ottenuto miglioramenti statisticamente significativi nell'IoU su tutti i 6 modelli (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) e sui 3 dataset (BUSI, Oxford-IIIT-Pet, Oxford-Flower). I punteggi IoU di CAMAL sono stati sostanzialmente più alti sia di Vanilla che di Prior (ad esempio, ~33-42% per CAMAL contro ~2-12% per Prior su vari dataset).
• Risultati DRL: Negli ambienti ViZDoom, CAMAL ha mostrato un IoU medio significativamente più alto rispetto a Vanilla, con significatività statistica confermata tramite Intervalli di Confidenza Bootstrap Stratificati (SBCI) e Probabilità di Miglioramento (POI).

Fedeltà dell'Attenzione

• Metrica: Impatto causale misurato rimuovendo/inserendo pixel in base all'importanza dell'attenzione e osservando i cambiamenti nella confidenza del modello.
• Risultati: CAMAL ha dimostrato un'attenzione più fedele rispetto a Prior. Sotto rimozione di pixel, la confidenza del modello di CAMAL è scesa più rapidamente, indicando che la sua attenzione ha correttamente identificato le caratteristiche critiche. Sotto inserimento di pixel, la confidenza si è ripresa più rapidamente. CAMAL ha ottenuto un 35,3% di Area sotto la Curva (AUC) in più rispetto a Prior negli scenari di inserimento.

Prestazioni di Generalizzazione

• DL: CAMAL ha costantemente superato Vanilla nell'accuratezza di classificazione nella maggior parte delle combinazioni modello-dataset, con guadagni statisticamente significativi nella maggior parte dei casi.
• DRL: CAMAL ha mostrato una tendenza verso un miglioramento del ritorno medio rispetto a Vanilla, sebbene i guadagni non siano stati sempre statisticamente significativi in tutti gli ambienti, suggerendo che la supervisione dell'attenzione beneficia la generalizzazione ma potrebbe richiedere affinamento per dinamiche DRL complesse.
• Confronto con Prior: CAMAL ha performato alla pari o meglio di Prior nella generalizzazione, suggerendo che il beneficio principale della supervisione dell'attenzione risiede nel miglioramento della qualità dell'attenzione appresa piuttosto che in un aumento drastico delle prestazioni dell'attività.

Significato e Affermazioni

Il paper afferma che CAMAL dimostra che le informazioni spaziali nelle maschere di segmentazione possono essere efficacemente sfruttate per guidare l'attenzione del modello. Gli autori sottolineano che:

• L'Affidabilità è Fondamentale: La supervisione dell'attenzione deve essere fondata su regioni di riferimento affidabili (maschere di segmentazione) per essere affidabile; fare affidamento su regioni pseudo da modelli zero-shot porta a correzioni inaffidabili.
• Qualità sopra Quantità: Il beneficio principale della supervisione dell'attenzione è il miglioramento della qualità dell'attenzione appresa (allineamento e fedeltà), con guadagni nelle prestazioni dell'attività che sono modesti e dipendenti dal contesto.
• Scalabilità: Il metodo di estrazione a livello di batch proposto rende la supervisione dell'attenzione pratica per l'addestramento moderno su larga scala senza aumentare i costi di inferenza.

Gli autori concludono che CAMAL stabilisce una baseline affidabile per i futuri metodi di supervisione dell'attenzione, evidenziando che realizzare il pieno potenziale di tali metodi richiede di fondarli su informazioni spaziali accurate e vere e proprie.