Enhancing Visual Feature Attribution via Weighted Integrated Gradients

Problematica

Integrated Gradients (IG) è un metodo fondamentale per l'attribuzione delle caratteristiche nell'Explainable AI (XAI), in particolare per la computer vision. Tuttavia, la sua efficacia dipende fortemente dalla scelta di un'immagine di base (baseline). Nei compiti di visione ad alta dimensionalità, non esiste una baseline universalmente "neutra"; le scelte comuni (ad esempio, nero, bianco o rumore casuale) spesso producono spiegazioni incoerenti o rumorose.

Per mitigare questo problema, Expected Gradients (EG) media le attribuzioni IG su più baseline. Sebbene l'EG riduca la sensibilità alla scelta di una singola baseline, esso si basa su un limite critico: assegna pesi uniformi a tutte le baseline, assumendo implicitamente che siano ugualmente informative. Gli autori sostengono che, nei modelli di visione complessi, le baseline variano significatamente in termini di rilevanza per uno specifico input. La media uniforme può permettere a baseline di bassa qualità o rumorose di diluire l'attribuzione finale, portando a spiegazioni instabili e meno fedeli.

Metodologia: Weighted Integrated Gradients (WG)

Il paper propone Weighted Integrated Gradients (WG), un'estensione fondata di IG che assegna pesi dipendenti dall'input a diverse baseline in base alla loro idoneità per spiegare un determinato input.

1. Misura di Fitness non supervisionata ($D_\alpha$):
WG introduce un criterio non supervisionato per valutare l'idoneità della baseline senza richiedere annotazioni manuali o conoscenza del dominio. Definisce un punteggio di "fitness" basato sulla perturbazione:

• Definizione: $D_\alpha$ è il numero minimo di caratteristiche che devono essere mascherate per ridurre il punteggio di output del modello al $\alpha\%$ del suo valore originale.
• Logica: Una baseline con un $D_\alpha$ inferiore è considerata più "fit" perché è necessario rimuovere meno caratteristiche per impattare significativamente sulla confidenza del modello. Ciò implica che la baseline evidenzia efficacemente le caratteristiche influenti.
• Ponderazione: Il peso $w_k$ per la $k$-esima baseline è inversamente proporzionale al suo punteggio di fitness ($w_k \propto 1/D_\alpha$). Le baseline che generano spiegazioni più fedeli (minore $D_\alpha$) ricevono pesi maggiori.

2. Computazione Efficiente (Algoritmo 1):
Calcolare $D_\alpha$ tramite una ricerca esaustiva è computazionalmente proibitivo ($O(n)$). Gli autori propongono una strategia di ricerca binaria che sfrutta la monotonicità della riduzione del punteggio in seguito alla rimozione delle caratteristiche. Mascherando iterativamente le caratteristiche in base ai punteggi di importanza (ad esempio, le attribuzioni IG), l'algoritmo raggiunge una complessità temporale di $O(\log n)$ per ogni baseline.

3. Giustificazione Teorica:

• Proprietà Assiomatiche: WG preserva gli assiomi fondamentali di IG (Invarianza di Implementazione e Sensibilità) e soddisfa una proprietà di completezza generalizzata.
• Analisi Probabilistica: Sotto l'assunto di una Expected Proxy Fitness–Relevance Monotonicity (ovvero, le baseline con migliori punteggi di fitness tendono a porre una maggiore massa di probabilità sulle caratteristiche realmente rilevanti), gli autori dimostrano che WG aumenta la rilevanza attesa dell'attribuzione aggregata rispetto alla media uniforme (EG).
• Garanzie su Campioni Finiti: Il paper fornisce un teorema che mostra come, quando WG raggiunge un margine di rilevanza positivo rispetto alla rilevanza media di EG, la frazione di rilevanza empirica si concentra al di sopra della media di EG a un tasso esponenziale.

Contributi Chiave

1. Formulazione: Gli autori riformulano la selezione della baseline in IG come un problema di ponderazione dipendente dall'input, andando oltre l'assunto uniforme di EG.
2. Meccanismo: Propongono un punteggio di fitness non supervisionato basato sulla perturbazione ($D_\alpha$) per stimare l'utilità della baseline e derivare pesi adattivi.
3. Analisi: Forniscono un'analisi teorica mostrando che, sotto specifici assunti di monotonicità, l'aggregazione pesata per fitness produce una massa di rilevanza attesa superiore rispetto alla media uniforme.
4. Valutazione Empirica: Valutano WG su diverse architetture (Convolutional e Transformer) su dataset standard (ImageNet, COCO), riportando sia i guadagni di fedeltà dell'attribuzione che l'overhead computazionale.

Risultati Sperimentali

Gli autori hanno valutato WG rispetto a EG utilizzando sette modelli backbone (DenseNet121, MobileNetV2, ResNet50/101, VGG16/19, e ViT-B/16).

• Metriche:
  • AUC di Deletion (Minore è meglio): Misura quanto rapidamente cala la confidenza del modello quando vengono rimosse le caratteristiche con maggiore attribuzione. WG ha superato costantemente EG, con miglioramenti relativi compresi tra il 19,36% e il 36,01% tra i vari modelli.
  • AUC di Overlap (Maggiore è meglio): Una metrica supervisionata che misura l'allineamento spaziale con le maschere di segmentazione ground-truth. WG ha mostrato miglioramenti compresi tra il 5,69% e il 18,55%.
• Qualità Visiva: L'analisi qualitativa (mappe di salienza) indica che WG produce attribuzioni più nitide e focalizzate sugli oggetti principali rispetto a EG.
• Trade-off: Gli autori notano esplicitamente che WG comporta un costo computazionale aggiuntivo dovuto alla fase di valutazione della fitness (circa 5,7 volte più lento di EG nelle loro misurazioni).

Significatività e Rivendicazioni

Il paper posiziona WG non come un'alternativa più veloce a EG, ma come un trade-off tra fedeltà dell'attribuzione e velocità. La sua principale significatività risiede in:

• Affidabilità: Scoraggiando adattivamente le baseline di bassa qualità, WG garantisce attribuzioni più affidabili senza la necessità di una cura manuale delle baseline.
• Approccio Fondato: Offre un meccanismo basato sui dati per affrontare il "problema della baseline" nell'attribuzione basata su percorso, andando oltre l'assunto che tutte le baseline contribuiscano equamente.
• Applicabilità: Il metodo è particolarmente adatto a contesti in cui il miglioramento della qualità della spiegazione giustifica l'overhead temporale, potenziando l'usabilità della XAI in applicazioni critiche della visione artificiale.

Gli autori mantengono un tono modesto riguardo alle loro affermazioni teoriche, riconoscendo che le garanzie probabilistiche dipendono da un assunto "atteso e basato su proxy" e che la monotonicità fitness-rilevanza è verificata empiricamente ma non è garantita per ogni singolo caso di input. Concludono che WG è un passo verso spiegazioni più chiare e affidabili per i sistemi di deep learning, a condizione che l'overhead computazionale sia accettabile per il caso d'uso specifico.