Riassunto Tecnico: Il Limite Rappresentazionale delle Interazioni Scalari

1. Definizione del Problema

Il documento affronta un limite fondamentale nell'IA Spiegabile (XAI) riguardante il modo in cui la cooperazione tra feature viene quantificata nelle reti neurali profonde. I paradigmi attuali si affidano a punteggi di interazione a coppie con segno (es. Shapley Interaction Index, Faith-SHAP) per spiegare le dipendenze tra le feature. Questi metodi assegnano un singolo valore scalare a una coppia di feature, interpretando i valori positivi come sinergia e quelli negativi come ridondanza.

Gli autori sostengono che questo approccio scalare sia fondamentalamente errato perché confonde tre distinti meccanismi cooperativi:

1. Unicità (U): Il valore predittivo che una feature fornisce e che nessun'altra feature può fornire.
2. Ridondanza (R): Il valore predittivo condiviso tra più feature.
3. Sinergia (S): Il valore predittivo che emerge solo quando le feature vengono combinate, superando la somma dei loro contributi individuali.

Il problema centrale è che un singolo scalare non può simultaneamente codificare queste tre dimensioni ortogonali. Il documento dimostra che su modelli strutturali causali (SCM) di ordine superiore minimi, nello specifico un XOR a 3 vie, gli indici "faithful" restituiscono zero (cancellando il segnale), mentre gli indici "projective" ridistribuiscono il segnale di ordine superiore in coefficienti di ordine inferiore spurii, fallendo nel distinguere il meccanismo sottostante.

2. Metodologia: Stochastic Hi-Fi

Per risolvere questo collo di bottiglia rappresentazionale, gli autori introducono Stochastic Hi-Fi, un stimatore post-hoc, che non richiede il riaddestramento, capace di decomporre l'importanza delle feature in profili U/R/S per ogni feature.

Nucleo Operativo

A differenza dei metodi che si basano sul riaddestramento dei modelli su sottoinsiemi di feature (che rispondono a ciò che un modello potrebbe apprendere) o sulla decomposizione della varianza osservazionale (che non può disambiguare la sinergia dalla ridondanza senza intervento), Stochastic Hi-Fi utilizza l'inferenza mascherata interventistica.

• Perdita Interventistica: Per una coalizione di feature $S$, il metodo calcola la perdita attesa $L(S)$ mascherando le feature in $S$ e sostituendole con campioni da una distribuzione di background $p_{bg}$ (la marginale delle feature inattive). Questo esamina ciò che il modello effettivamente dispiegato utilizza.
• Decomposizione LOCO: Il metodo definisce il guadagno Leave-One-Covariate-Out (LOCO) per una feature $i$ nel contesto $C$ come la riduzione della perdita quando $i$ viene aggiunta a $C$.
  • Unicità ($U_i$): Il guadagno LOCO minimo attraverso tutti i contesti (valore predittivo nel contesto meno favorevole).
  • Effetto di primo ordine ($\pi_i$): Il guadagno LOCO in un contesto vuoto.
  • Capacità Predittiva Massima ($L^{\max}_i$): Il guadagno LOCO massimo attraverso tutti i contesti.
  • Ridondanza ($R_i$) e Sinergia ($S_i$): Derivate algebricamente come $R_i = \pi_i - U_i$ e $S_i = L^{\max}_i - \pi_i$.

Strategia di Stima

Valutare tutte le $2^n$ coalizioni è intrattabile. Stochastic Hi-Fi impiega un approccio a vocabolario stocastico:

1. Vocabolario di Coalizioni: Mantiene una tabella delle coalizioni visitate, stimando la loro media e varianza online utilizzando l'algoritmo di Welford.
2. Politica di Esplorazione: Una strategia $\epsilon$-greedy con un termine softmin dà priorità alle coalizioni sotto-campionate, garantendo al contempo che ogni coalizione abbia una probabilità di campionamento non nulla (condizione di massa positiva).
3. Campionamento a Diamante (Diamond Sampling): Per ridurre la varianza nella stima delle interazioni a coppie (la differenza mista $\Delta_{ij}$), il metodo valuta quattro coalizioni strutturalmente adiacenti ($C, C\cup\{i\}, C\cup\{j\}, C\cup\{i,j\}$) utilizzando lo stesso batch di background. Questo accoppiamento "a diamante" sfrutta la covarianza positiva tra coalizioni adiacenti per annullare il rumore, a condizione che sussista una condizione di covarianza di dominanza di adiacenza.

3. Contributi Chiave

1. Il Teorema della Confusione (Teorico)

Gli autori dimostrano il Teorema 1, evidenziando che su un SCM XOR a 3 vie minimo, nessun indice scalare può rappresentare congiuntamente U, R e S.

• Gli indici faithful (es. Shapley-Taylor) restituiscono esattamente zero per tutte le coppie, cancellando il segnale di ordine superiore.
• Gli indici projective (es. SII standard) ridistribuiscono l'effetto tripartito in coefficienti di coppia spurii di magnitudo $\pm 1/4$.
• Conclusione: Il fallimento è rappresentazionale, non computazionale. Lo spazio di output deve cambiare da uno scalare a un vettore (U, R, S).

2. Stimatore Stochastic Hi-Fi (Metodologico)

Il documento introduce uno stimatore che non richiede riaddestramento con rigorose garanzie statistiche:

• Semantica Interventistica: Audita i modelli dispiegati tramite inferenza mascherata invece del riaddestramento.
• Limiti a Campione Finito: Fornisce limiti di concentrazione di tipo Hoeffding per l'approssimazione Monte Carlo delle perdite delle coalizioni.
• Riduzione della Varianza: Dimostra che il campionamento "a diamante" riduce strettamente la varianza rispetto al campionamento indipendente sotto specifiche condizioni di covarianza (Teorema 3).
• Convergenza: Stabilisce garanzie di convergenza uniforme per il profilo U/R/S su un vocabolario finito.

3. Validazione Empirica

Il metodo è validato in tre domini distinti:

• SCM Tabulari: Stochastic Hi-Fi recupera la vera struttura U/R/S dei modelli XOR e AND-OR, mentre i baselines scalari non riescono a distinguere i meccanismi (rapporti di recupero fino a 411$\times$ superiori ai baselines).
• Circuiti Transformer (GPT-2): Applicato al circuito di Identificazione dell'Oggetto Indiretto (IOI), separa le teste di backup ridondanti dalle coppie di teste sinergiche. Identifica teste che sono invisibili al patching delle attivazioni di primo ordine (basso effetto singleton) ma che portano una sostanziale sinzia a livello di coppia.
• Imaging Medico (ChestX-ray14): Su un modello DenseNet121, il metodo eguaglia GradCAM nel Pointing Game (localizzazione), ma supera significativamente le prestazioni su Deletion AUC (fedeltà causale), dimostrando che i profili U/R/S su griglia grossolana preservano meglio la fedeltà causale rispetto alle mappe di salienza standard.

4. Risultati e Rivendicazioni

Metriche di Performance

• SCM: Sul 3-way XOR, i baselines scalari confondono ruoli distinti con rapporti fino a 411$\times$. Stochastic Hi-Fi recupera il profilo dominante per la sinergia per le feature attive e separa la feature spettatrice.
• GPT-2 IOI: La decomposizione rivela che le coppie all'interno dello stesso ruolo (es. teste S-Inhibition) sono dominate dalla ridondanza, mentre le coppie tra ruoli diversi (es. Induction + S-Inhibition) sono dominate dalla sinergia. Identifica con successo teste con unicità negativa (indicando un comportamento di backup) e alta sinergia nonostante i bassi punteggi di primo ordine.
• ChestX-ray14:
  • Localizzazione: L'accuratezza del Pointing Game è statisticamente indistinguibile da GradCAM ($p=0.140$). L'IoU@15 mostra un piccolo deficit significativo, attribuito alla griglia grossolana $14\times14$.
  • Fedeltà Causale: La Deletion AUC migliora sostanzialmente da 0.332 (GradCAM) a 0.269 ($p=1.61 \times 10^{-78}$), indicando una capacità superiore di identificare le feature la cui rimozione degrada le prestazioni del modello.

Significato e Ambito

Il documento sostiene che l'interazione a coppie con segno è un'utile proiezione ma non è una spiegazione completa della cooperazione.

• Disarticolazione dei Meccanismi: Il contributo primario è lo spostamento del codominio di output da uno scalare a un profilo disarticolato per meccanismo (U, R, S), permettendo ai ricercatori di distinguere tra contributi unici, ridondanti e sinergici.
• Fedeltà del Modello: Evitando il riaddestramento, il metodo esamina il modello specifico dispiegato piuttosto che un modello ipotetico riaddestrato.
• Limitazioni: Gli autori notano esplicitamente che le stime di unicità ($U_i$) sono limiti superiori conservativi quando il vocabolario non è esaustivo. Nell'imaging, le griglie grossolane scambiano la risoluzione spaziale con la fedeltà causale. Il metodo dipende dalla scelta della distribuzione di background $p_{bg}$, che definisce l'estimando e richiede una segnalazione esplicita della sensibilità.

Il documento conclude che le spiegazioni delle interazioni dovrebbero riportare i meccanismi, non solo i segni, e che Stochastic Hi-Fi fornisce un quadro post-hoc trattabile per farlo con una rigorosa semantica interventistica.