Sintesi Tecnica: Visual-TCAV

Problematica

Le Reti Neurali Convoluzionali (CNN) hanno raggiunto prestazioni straordinarie nella classificazione delle immagini, ma rimangono modelli "black-box", ostacolando la fiducia e il debugging in domini critici come la sanità e la guida autonoma. I metodi esistenti di Explainable AI (XAI) soffrono di limitazioni complementari:

• Metodi di Saliency (es. Grad-CAM, Integrated Gradients): Forniscono spiegazioni locali a livello di pixel che mostrano dove una classe viene identificata, ma non riescono a spiegare quali concetti semantici di alto livello (es. "striato", "fossette") abbiano guidato la predizione.
• Metodi basati su Concetti (es. TCAV): Spiegano come una rete è sensibile a concetti definiti dall'uomo a livello globale, ma non possono attribuire l'importanza di un concetto a una specifica istanza di predizione, né possono visualizzare la localizzazione spaziale di tali concetti all'interno dell'immagine di input.

Di conseguenza, esiste una lacuna nei metodi in grado di fornire simultaneamente grounding spaziale (localizzazione dei concetti), attribuzione per istanza (quantificazione dell'importanza di un concetto per una specifica predizione) e aggregabilità (generazione di insight globali).

Metodologia: Visual-TCAV

Visual-TCAV è un framework progettato per colmare il divario tra i metodi di saliency e quelli basati su concetti. Opera su qualsiasi strato di una CNN che produca mappe di caratteristiche (feature maps) e genera due output primari: una mappa di concetto (localizzazione spaziale) e un'attribuzione di concetto (importanza numerica).

1. Generazione del CAV e Spatial Pooling

Seguendo il paradigma TCAV, il metodo calcola prima un Concept Activation Vector (CAV) utilizzando l'approccio "Difference of Means". Questo comporta:

• La raccolta di feature maps da esempi positivi di un concetto definito dall'utente e da esempi negativi (casuali).
• Il calcolo della media aritmetica (centroide) per entrambi gli insiemi.
• La derivazione del CAV come differenza tra il centroide del concetto e il centroide casuale.
• L'applicazione del Global Average Pooling (GAP) al CAV per creare un pooled-CAV. Questo vettore rappresenta la correlazione tra il concetto e ogni canale della feature map, indipendentemente dalla posizione spaziale.

2. Mappa di Concetto (Grounding Spaziale)

Per localizzare dove un concetto $c$ viene riconosciuto in un'immagine di input, Visual-TCAV genera una mappa di concetto $M^c$:

• Calcola una somma pesata delle feature maps dell'immagine di input ($F$), dove i pesi sono gli elementi del pooled-CAV ($p^c_i$).
• Viene applicata una funzione ReLU per mantenere solo le regioni positivamente correlate con il concetto.
• Normalizzazione: Per garantire la comparabilità tra le immagini, la mappa viene normalizzata tramite una scalatura min-max personalizzata. I limiti ($\ell_c, u_c$) sono derivati euristicamente dalle medie contraarmoniche mediane delle mappe di concetto generate rispettivamente dagli insiemi di esempi positivi e negativi.
• Il risultato è una visualizzazione indipendente dalla classe che evidenzia le regioni spaziali in cui la rete riconosce il concetto.

3. Attribuzione di Concetto (Importanza per Istanza)

Per stimare l'entità del contributo di un concetto a una specifica predizione di classe, il metodo estende gli Integrated Gradients (IG):

• Feature-Map IG: Invece di integrare i gradienti dai pixel di input, l'IG è calcolato nello spazio delle feature maps di uno strato scelto. Ciò misura l'attribuzione delle attivazioni delle feature maps rispetto al logit della classe target rispetto a un baseline (tensore zero).
• Ponderazione per Allineamento al Concetto: Le attribuzioni IG normalizzate sono pesate dal pooled-CAV normalizzato ($\hat{p}^c$). Questo enfatizza le feature maps fortemente allineate con il concetto e riduce il peso di quelle meno allineate.
• Mascheramento Spaziale: Le attribuzioni pesate sono moltiplicate elemento per elemento dalla mappa di concetto normalizzata ($\hat{M}^c$), agendo come una maschera spaziale per isolare le regioni rilevanti per il concetto.
• Aggregazione: La somma su tutte le posizioni spaziali produce uno scalare di attribuzione di concetto ($a_{c,k}$), quantificando il contributo del concetto $c$ alla classe $k$ per un input specifico.

4. Spiegazioni Globali

Gli insight globali sono derivati mediando le attribuzioni di concetto per istanza su un set di immagini di input per una classe selezionata, quantificando l'importanza complessiva di un concetto per quella classe.

Contributi Chiave

1. Framework Unificato: Visual-TCAV integra i punti di forza delle mappe di saliency e dei metodi basati su concetti, soddisfacendo tre desiderata: (D1) grounding spaziale, (D2) attribuzione per istanza e (D3) aggregabilità.
2. Attribuzione Consapevole della Magnitudo: A differenza di TCAV, che si basa esclusivamente sui segni delle derivate direzionali (sensibilità), Visual-TCAV utilizza la magnitudo dei gradienti (tramite Integrated Gradients) per misurare l'effettivo impatto di un concetto sul punteggio di predizione.
3. Validazione Visiva: La generazione di mappe di concetto consente la validazione qualitativa del fatto che il CAV sia allineato con il concetto inteso dall'utente senza richiedere l'activation maximization.
4. Validazione con Ground Truth: Gli autori introducono un esperimento controllato utilizzando dataset sintetici (cetriolo, taxi, zebra con tag artificiali) dove la ground truth per l'importanza del concetto è nota, dimostrando che Visual-TCAV si allinea meglio alla ground truth rispetto allo standard TCAV.

Risultati

Il metodo è stato valutato su ResNet50V2, InceptionV3 e VGG16 (ImageNet) e su una ResNet50V2 addestrata su CelebA.

• Spiegazioni Locali: Visual-TCAV ha visualizzato con successo che i concetti di alto livello (es. "auto") sono riconosciuti negli strati più profondi, mentre i concetti più fini appaiono negli strati precedenti. Ha identificato che le misclassificazioni (es. un "bue" classificato erroneamente come "dalmata") erano guidate da specifici concetti (es. "maculato") che contribuivano significamente al logit della classe errata.
• Spiegazioni Globali: Le attribuzioni aggregate si sono allineate con le aspettative intuitive (es. "striato" è altamente attribuito a "zebra"). Il metodo ha anche evidenziato potenziali bias del modello, come l'eccessiva dipendenza da specifiche caratteristiche.
• Validazione Quantitativa: Nell'esperimento controllato basato su tag, le attribuzioni di Visual-TCAV hanno rispecchiato correttamente la ground truth: man mano che i modelli venivano addestrati su percentuali crescenti di immagini taggate, l'attribuzione si spostava dall'entità (es. "zebra") al tag (es. "Z").
• Confronto con TCAV: Mentre i punteggi TCAV rimanevano alti sia per le entità che per i tag anche quando i modelli non riuscivano a distinguerli (a causa della dipendenza dai segni dei gradienti), Visual-TCAV ha correttamente distinto l'importanza relativa misurando le magnitudo dei gradienti, mostrando un'attribuzione quasi nulla per i concetti irrilevanti nei modelli in overfitting.

Significato e Claim

L'articolo sostiene che Visual-TCAV offra una spiegazione più completa rispetto ai metodi esistenti, poiché quantifica quanto un concetto influenzi una predizione, non solo se la rete sia sensibile ad esso.

• Esso affronta il limite di TCAV nel valutare le mispredizioni e nel verificare il grounding spaziale.
• Fornisce un meccanismo per rilevare quando i modelli si affidano a scorciatoie (es. tag invece di oggetti), il che è critico per le applicazioni safety-critical.
• Gli autori notano con modestia alcuni limiti: la raccolta di esempi di concetti richiede conoscenza del dominio, e il metodo non fornisce una garanzia di completezza (ovvero, non può verificare se i concetti testati siano esaustivi di ciò che il modello ha appreso).
• Il lavoro futuro proposto riguarda l'applicazione del metodo ai Vision Transformers (ViT) e ai compiti di regressione, sebbene gli autori riconoscano le sfide del grounding spaziale nelle architetture basate su attenzione.