Attribution via Distributional Paths for Information Revelation

Sintesi Tecnica: Attribuzione tramite Percorsi Distribuzionali per la Rivelazione dell'Informazione

Definizione del Problema
I metodi di attribuzione delle caratteristiche mirano a spiegare le predizioni di un modello assegnando punteggi di importanza alle caratteristiche di input. Due approcci dominanti, SHAP (Shapley Additive exPlanations) e Integrated Gradients (IG), soddisfano entrambi la proprietà di completezza, garantendo che le attribuzioni sommino alla variazione dell'output del modello tra uno stato di riferimento e l'input. Tuttavia, entrambi presentano distinzioni limitanti:

• SHAP si basa su operazioni di rivelazione delle caratteristiche discrete e combinatorie. Tratta le caratteristiche come o completamente ignote o completamente osservate, creando un'intervenzione discontinua che manca di una rivelazione graduale dell'informazione.
• IG definisce un percorso continuo nello spazio di input (ad esempio, una linea retta dal baseline all'input). Questo approccio valuta il modello punto per punto lungo una traiettoria che può attraversare regioni dello spazio di input semanticamente prive di significato. Di conseguenza, IG è suscettibile ad "artefatti di percorso", come le "ombre" (shadows), dove le caratteristiche incontrate precocemente nella traiettoria (vicino al baseline) influenzano sproporzionatamente l'attribuzione dell'input finale, anche se tali caratteristiche sono irrilevanti per la specifica predizione.

Il problema centrale è che i metodi di percorso standard integrano la risposta grezza del modello in punti specifici dello spazio di input senza controllare la risoluzione o l'incertezza con cui le caratteristiche vengono interrogate.

Metodologia: Reveal-IG
Gli autori propongono Reveal-IG, un metodo che eleva il framework di attribuzione di percorso dallo spazio di input allo spazio di distribuzioni di sonda strutturate. Invece di attraversare una traiettoria di valori di input grezzi, Reveal-IG attraversa una traiettoria di distribuzioni di probabilità che si concentrano progressivamente attorno all'input di interesse ($x^\star$).

1. Formulazione del Percorso Distribuzionale:
   Il metodo definisce un percorso attraverso uno spazio di distribuzioni di sonda $q_\theta(z | x^\star)$, parametrizzato da $\theta$. La quantità oggetto di decomposizione è la risposta attesa del modello:
   $$G(\theta; x^\star) = \mathbb{E}_{z \sim q_\theta(\cdot|x^\star)}[f(z)]$$
   L'attribuzione si ottiene integrando i gradienti della risposta attesa lungo il percorso delle distribuzioni:
   $$\Delta G = \int_S \nabla_\theta \mathbb{E}_{z \sim q_\theta(z|x^\star)}[f(z)] \cdot d\theta$$
   Questo mantiene la proprietà di completezza degli integrali di percorso, ma la applica alla risposta attesa piuttosto che all'output grezzo.

2. Design della Sonda:

• Dati Immagine: La sonda è una distribuzione Gaussiana fattorizzata sulle componenti dei canali dei pixel. Il percorso inizia da un riferimento ampio (alta incertezza, ad esempio $\mu=0, \sigma=1$) e termina con una sonda concentrata attorno all'immagine osservata. La varianza finale della sonda ($\sigma_{final}$) può essere fissata o scelta adattivamente in base alla scala di rumore in cui il logit target del modello rimane stabile.
• Dati Tabulari: Poiché l'interpolazione lineare nello spazio tabulare è spesso semanticamente non valida, la sonda è definita su distribuzioni marginali empiriche dai dati di addestramento. Un kernel di similarità controllato dalla temperatura transita la distribuzione dalla marginale empirica a una distribuzione concentrata attorno al valore della caratteristica osservata $x^\star_i$. Il percorso è definito dalla diminuzione della temperatura, rivelando gradualmente l'informazione della caratteristica.

3. Stima del Gradiente:
   I gradienti sono calcolati rispetto ai parametri della sonda $\theta$, non rispetto ai valori di input.

• Per modelli differenziabili e sonde Gaussiane, il trucco della riparametrizzazione ($z = \mu + \sigma\epsilon$) permette una stima efficiente del gradiente tramite differenziazione automatica.
• Per modelli non differenziabili (ad esempio, ensemble di alberi) o dati tabulari con sonde empiriche, il metodo utilizza uno stimatore black-box. Campiona i valori delle caratteristiche dall'insieme di addestramento e li pesa secondo la distribuzione della sonda, consentendo la stima del gradiente senza richiedere la differenziabilità del modello.

Contributi Chiave

• Innalzamento dell'Integrazione di Percorso (Lifted Path Integration): Il documento introduce un framework in cui l'integrale di percorso viene eseguito su uno spazio di distribuzioni strutturate piuttosto che su punti di input grezzi. Ciò consente di controllare la "risoluzione" con cui le caratteristiche vengono interrogate.
• Rivelazione Continua dell'Informazione: Reveal-IG fornisce un analogo continuo della rivelazione discreta delle caratteristiche di SHAP, sostituendo l'inclusione brusca delle caratteristiche con un percorso differenziabile da sonde ad alta incertezza a sonde concentrate.
• Adattabilità al Dominio: Il framework è istanziato sia per la classificazione di immagini (usando sonde Gaussiane) che per la regressione tabulare (usando sonde marginali empiriche), dimostrando che la visione "elevata" (lifted) fornisce un linguaggio comune per l'attribuzione attraverso domini con diverse strutture geometriche.
• Mitigazione degli Artefatti: Mediante la media delle risposte del modello su distribuzioni ampie nelle prime fasi del percorso, il metodo diluisce l'influenza di strutture distanti o adiacenti al baseline che tipicamente causano gli artefatti di "ombra" presenti nel classico IG.

Risultati Sperimentali

• Diagnostica Sintetica: In esperimenti controllati 2D, Reveal-IG evita gli artefatti di "ombra" visti in IG (dove l'attribuzione è influenzata da caratteristiche lontane dal punto di interesse) e il bias strutturale allineato agli assi di SHAP. Produce campi di attribuzione che interpolano tra gli estremi di SHAP e IG al variare della granularità del percorso di rivelazione.
• Classificazione di Immagini (ImageNet): Valutato su ResNet-50 e ViT-B/16, Reveal-IG raggiunge prestazioni state-of-the-art o quasi state-of-the-art.
  • Supera significativamente i baseline su metriche che utilizzano il segno delle attribuzioni (ad esempio, Positive-Evidence Insertion/Deletion e Sensitivity-n), indicando una migliore distinzione tra le caratteristiche che supportano rispetto a quelle che sopprimono la classe target.
  • Rimane competitivo su metriche basate sulla magnitudo (ad esempio, RMA), sebbene metodi come Blur-IG e IDG siano forti competitori nei compiti di salienza non firmata.
  • L'analisi dell'accumulo di attribuzione lungo il percorso mostra che Reveal-IG assegna la maggior parte dell'attribuzione tardi nella traiettoria (quando la sonda si concentra), mentre IG assegna gran parte dell'attribuzione precocemente, vicino al baseline.
• Regressione Tabulare: Valutato sui dataset Bike Sharing, California Housing e Wine Quality.
  • Reveal-IG è costantemente forte sulle metriche di inserimento direzionale (coerenza dell'attribuzione firmata) e sensitivity-max (stabilità).
  • Sebbene KernelSHAP e l'ablazione delle caratteristiche siano competitivi su metriche di sufficienza/completezza (metriche native per i metodi basati su perturbazione), Reveal-IG offre un compromesso favorevole, fornendo prestazioni native della perturbazione con una stabilità significativamente maggiore e un percorso più naturale per i dati tabulari che evita interpolazioni lineari arbitrarie.

Significatività e Rivendicazioni
Il documento sostiene che Reveal-IG riformula l'attribuzione di percorso come un problema di smoothing (levigatura). Mentre metodi come Blur-IG levigano lo spazio di input (da grossolano a fine), Reveal-IG leviga la risposta del modello integrando le predizioni su distribuzioni con incertezza decrescente.

Gli autori argomentano che la scelta dello spazio del percorso determina quali parti del comportamento input-output del modello vengono incorporate nella spiegazione. Passando dallo spazio di input allo spazio di distribuzione, Reveal-IG consente:

1. Risoluzione Controllata: La capacità di interrogare il modello a diverse scale di informazione.
2. Sonde Specifiche per il Dominio: La flessibilità di definire sonde che rispettino la struttura dei dati (ad esempio, marginali empiriche per i dati tabulari) senza imporre interpolazioni geometriche arbitrarie.
3. Robustezza: Una riduzione degli artefatti dipendenti dal percorso, portando ad attribuzioni più stabili e semanticamente significative, particolarmente riguardo al segno dell'importanza della caratteristica.

Il documento riconosce i limiti, tra cui l'aumento del costo computazionale (circa 7 volte più lento di IG per le immagini e fino a 1000 volte per i dati tabulari a causa del campionamento Monte Carlo) e l'assunzione di distribuzioni fattorizzate che ignora le correlazioni tra le caratteristiche. Tuttavia, sostiene che questo scambio produce un framework di attribuzione più robusto e interpretabile, specialmente per compiti in cui il segno dell'attribuzione è critico.