Learning Quantifiable Visual Explanations Without Ground-Truth

Riepilogo Tecnico: Apprendimento di Spiegazioni Visive Quantificabili Senza Verità Terrena

1. Enunciato del Problema

L'Intelligenza Artificiale Spiegabile (XAI) è fondamentale per convalidare e garantire l'uso responsabile dei modelli di deep learning, in particolare in ambiti ad alto rischio che richiedono trasparenza. Tuttavia, valutare la qualità delle spiegazioni visive (ad esempio, le mappe di salienza) rimane una sfida significativa. Il campo manca di una metrica standardizzata a causa di:

• Mancanza di Verità Terrena: La maggior parte dei dataset non contiene annotazioni a livello di pixel per la verità terrena su ciò che costituisce una spiegazione "corretta".
• Limitazioni delle Metriche Esistenti: Le attuali metriche basate sulla perturbazione (ad esempio, Inserimento, Cancellazione, MoRF) spesso non riescono ad allinearsi all'intuizione umana. Possono assegnare punteggi elevati a spiegazioni che coprono regioni ampie e irrilevanti o non riescono a distinguere tra molteplici percorsi di attribuzione plausibili. Spesso penalizzano la compattezza o faticano quando esistono spiegazioni multiple valide per una singola previsione.

2. Metodologia

Il documento propone un contributo duplice: una nuova metrica di valutazione e un nuovo metodo di generazione di spiegazioni ottimizzato per tale metrica.

A. La Metrica di Integrazione Minimalità-Sufficienza (MSI)
Gli autori introducono MSI, una metrica basata sulla perturbazione progettata per valutare le spiegazioni in base a due principi derivati dal framework dell'Information Bottleneck:

1. Sufficienza: La spiegazione deve contenere informazioni sufficienti affinché il modello possa effettuare una previsione corretta.
2. Minimalità: La spiegazione dovrebbe essere il più compatta possibile, evitando regioni irrilevanti.

MSI è calcolata come la somma di un Punteggio Base e di una Penalità della Maschera:

• Punteggio Base: Misura il potere discriminativo della spiegazione. Confronta l'accuratezza della previsione del modello quando si mantengono solo i pixel "rilevanti" (sopra una soglia $\alpha_{min}$) rispetto al mantenimento solo dei pixel "non rilevanti". Incorpora inoltre l'Area Under the Curve (AUC) delle prestazioni di perturbazione (sia inserimento che cancellazione) troncate a $\alpha_{min}$.
• Penalità della Maschera: Un termine che penalizza la proporzione di pixel considerati "importanti" (sopra $\alpha_{min}$). Questo impone la parsimonia, premiando le spiegazioni che raggiungono la sufficienza con meno pixel.
• Punteggio Finale: $MSI = \text{PunteggioBase} - \text{PenalitàMaschera}$.

Questa metrica è progettata per gestire casi in cui esistono spiegazioni multiple valide (ad esempio, un'immagine con oggetti distinti multipli che potrebbero attivare una previsione di classe) premiando la separazione delle regioni rilevanti e non rilevanti senza assumere una singola maschera di verità terrena unica.

B. Il Framework LAX (Learnable Adapter eXplanation)
Per sfruttare la metrica MSI, gli autori propongono LAX, un metodo auto-supervisionato per generare spiegazioni senza annotazioni di verità terrena.

• Architettura: LAX agisce come un modulo adattatore leggero addestrato sopra un modello pre-addestrato a scatola nera congelato (agnostico rispetto all'architettura). Prende le rappresentazioni delle caratteristiche dal backbone e produce una mappa di calore di importanza pixel per pixel.
• Obiettivo di Ottimizzazione: La funzione di perdita di addestramento è derivata dal principio dell'Information Bottleneck, approssimata per essere trattabile:
  • Minimalità ($I(X, T)$): Imposta tramite un termine di regolarizzazione basata sull'entropia sulla maschera. A differenza della standard regolarizzazione $\ell_1$, la regolarizzazione dell'entropia produce maschere più nitide e semanticamente significative che si concentrano sulle regioni critiche.
  • Sufficienza ($I(T, y)$): Imposta massimizzando l'informazione reciproca tra l'input mascherato $T$ e l'etichetta $y$. Questo è approssimato minimizzando la perdita di cross-entropia tra la previsione del modello sull'immagine mascherata e l'etichetta di verità terrena.
• Perdita Finale: $L_{LAX} = L_{CE}(y, \hat{y}) + \lambda L_{entropy}(M)$.

Il modulo è addestrato per generare una maschera che, quando applicata all'input, permetta al modello congelato di mantenere un'alta accuratezza di previsione mantenendo al contempo la maschera il più sparsa possibile.

3. Contributi Chiave

1. Metrica MSI: Una metrica quantificabile e innovativa per la XAI che bilancia sufficienza e minimalità, affrontando l'incapacità delle metriche esistenti di distinguere tra spiegazioni compatte e diffuse o di gestire percorsi di attribuzione multipli validi.
2. Framework LAX: Un generatore di spiegazioni auto-supervisionato e agnostico rispetto al modello che impara a produrre spiegazioni compatte e causali ottimizzando direttamente l'obiettivo MSI (tramite i suoi componenti di entropia e fedeltà) senza richiedere mappe di salienza di verità terrena.
3. Validazione Empirica: Dimostrazione che le spiegazioni generate da LAX superano i baseline all'avanguardia (Grad-CAM, Layer-CAM, Attention Rollout, ecc.) su molteplici dataset (MNIST Sintetico, CUB-200, CIFAR-10) e architetture (CNN, Vision Transformers).

4. Risultati

Gli esperimenti sono stati condotti su tre dataset con complessità variabile:

• MNIST Sintetico: LAX ha superato significativamente tutti i baseline su tutte le metriche, inclusa MSI, dimostrando forte minimalità e sufficienza in contesti a bassa ambiguità.
• CUB-200 (Uccelli): Mentre le metriche standard (Inserimento/Cancellazione) erano spesso inconcludenti o mostravano prestazioni simili tra LAX e Grad-CAM, LAX ha ottenuto il punteggio MSI più alto, indicando un focus più discriminativo.
• CIFAR-10: LAX ha guidato nelle metriche basate sull'inserimento. In scenari in cui esistono regioni informative multiple (portando a risultati misti nelle metriche di cancellazione per i baseline), MSI ha valutato con successo LAX in modo elevato, mentre le metriche tradizionali faticavano a differenziare la qualità.
• Vision Transformers (ViT): LAX ha ottenuto prestazioni superiori sui modelli ViT rispetto ad Attention Rollout e Grad-CAM, in particolare nei punteggi MSI, confermando l'applicabilità del metodo oltre le CNN.

L'analisi qualitativa ha mostrato che LAX produce mappe di calore più nitide e focalizzate rispetto alle mappe di salienza spesso diffuse o rumorose dei metodi concorrenti.

5. Significato e Affermazioni

Il documento afferma che la mancanza di una metrica di valutazione standardizzata ha ostacolato il progresso della XAI. Introducendo MSI, gli autori forniscono uno strumento che si allinea meglio alle intuizioni umane sulla qualità della spiegazione, premiando le spiegazioni che sono sia sufficienti per la decisione sia minimali nel perimetro.

Il significato di LAX risiede nella sua capacità di generare spiegazioni di alta qualità per qualsiasi modello pre-addestrato a scatola nera senza la necessità di annotazioni di verità terrena o di riaddestrare il modello di base. Gli autori lo posizionano come un passo verso sistemi di IA più affidabili e responsabili, dove le spiegazioni possono essere convalidate e ottimizzate quantitativamente. Il lavoro suggerisce che i futuri sforzi nella XAI dovrebbero concentrarsi su metriche che tengano conto del compromesso tra completezza dell'informazione e parsimonia, e che gli approcci basati sull'ottimizzazione possono efficacemente imparare a soddisfare questi criteri.