Riassunto Tecnico: Certified Interventional Fidelity (CIF)

Problema

L'interpretabilità meccanicistica si affida sempre più alle valutazioni intervienziali per convalidare le affermazioni causali riguardanti le reti neurali. Questi esperimenti comportano la modifica degli stati interni (ad esempio, l'attivazione per patching, l'ablazione, lo scambio di stati nascosti) per testare se una proposta di spiegazione (come un modello compresso, un circuito o un insieme di neuroni) riproduca fedelmente il comportamento del modello originale.

Le attuali pratiche di valutazione soffrono di una mancanza di rigore statistico. Tipicamente, i ricercatori campionano un numero fisso di input e interventi, calcolano una stima puntuale (ad esempio, l'accuratezza dell'intervento di scambio o il recupero del patching) e la riportano come un'affermazione definitiva. Tuttavia, i flussi di lavoro dell'interpretabilità sono intrinsecamente sequenziali e adattivi: i ricercatori monitorano i risultati, regolano gli insiemi di valutazione, cercano controesempi e si fermano quando l'evidenza appare forte. Senza una corretta quantificazione dell'incertezza che tenga conto di questa adattività, le fedeltà riportate possono essere artefatti di un campionamento finito o di "p-hacking" (arresto dipendente dai dati), portando a affermazioni sopravvalutate o a metodi erroneamente classificati.

Metodologia: Certified Interventional Fidelity (CIF)

Gli autori propongono la Certified Interventional Fidelity (CIF), un framework statistico che trasforma le valutazioni di interpretabilità intervenziale in problemi formali di inferenza causale dotati di garanzie anytime-valid (valide in qualsiasi momento). CIF è progettata per essere uno "strato statistico" che può essere avvolto attorno agli esistenti pipeline di valutazione.

1. Formalizzazione come Estimandi Causali

CIF richiede che ogni metrica riportata sia esplicitamente definita come un estimando causale limitato.

• Target: Un'aspettativa $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$, dove:
  • $\mathcal{D}$ è una distribuzione di input dichiarata.
  • $\Pi$ è una distribuzione di intervento dichiarata.
  • $Y$ è un punteggio limitato (tipicamente $Y \in [0, 1]$), come un indicatore di disaccordo o un punteggio di recupero normalizzato.
• Classi di Affermazioni:
  • Fedeltà di Astrazione/Riduzione: Misura la discrepanza tra un modello ad alto livello $M_H$ e il modello originale $M_L$ sotto corrispondenti interventi.
  • Effetto Componente/Recupero: Misura l'entità con cui il ripristino di una specifica componente (ad esempio, tramite patching) recupera il comportamento originale.

2. Confidence Sequences (CS) Anytime-Valid

Per affrontare il problema del monitoraggio e dell'arresto adattivo, CIF utilizza le Confidence Sequences invece di intervalli di confidenza a campione fisso. Una sequenza di intervalli $(C_n)_{n \ge 1}$ è valida se $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. Ciò consente ai valutatori di controllare i risultati in qualsiasi momento e di interrompere l'esecuzione precocemente senza gonfiare i tassi di errore di Tipo I.

• CS di tipo Hoeffding: Fornisce limiti semplici e trasparenti basati sull'intervallo dello score e sulla dimensione del campione $n$.
• CS basate su Betting (Scommessa): Utilizzano un processo di capitale (martingala) (specificamente la strategia Online Newton Step) che si adatta alla varianza empirica degli score osservati. Questo metodo riduce significativamente il numero di campioni necessari per la certificazione rispetto ai limiti di Hoeffding.

3. Campionamento Adattivo con Bounded Importance Weighting

CIF supporta il campionamento adattivo diretto al fallimento (failure-directed sampling), dove la distribuzione di intervento $\Pi$ viene modificata nel tempo per concentrarsi su fallimenti probabili o componenti ad alto impatto.

• Meccanismo: Per preservare la validità dell'estimando target $\theta$ nonostante il cambiamento della distribuzione di campionamento, CIF impiega il mixture importance weighting. Ad ogni step $t$, il campionatore estrae da un mix $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$, dove $\tilde{q}_t$ è una proposta adattiva basata sulla cronologia.
• Garanzia: I pesi di importanza $w_t = \Pi(I_t)/q_t(I_t)$ sono limitati da $W_{max} = 1/(1-\alpha)$. Il framework utilizza stimatori di tipo Horvitz-Thompson e limiti basati su martingala per garantire che le sequenze di confidenza rimangano valide per il $\Pi$ target originale, anche quando il campionamento è adattivo.

4. Confronti Multipli e Selezione

Quando si scansionano più componenti o circuiti, CIF affronta il problema del bias di selezione raccomandando:

• Correzione di Bonferroni (allocazione di $\delta/K$ per componente).
• "Peeling" sequenziale (arresto del campionamento per candidati chiaramente subottimali).
• Metodi di controllo del False Discovery Rate (FDR) validi in qualsiasi momento.

Contributi Chiave

1. Riformulazione: Il paper riformula le metriche di interpretabilità intervenziale come problemi sequenziali di inferenza causale, separando la domanda scientifica (l'estimando) dalla procedura di campionamento.
2. Garanzie Statistiche: Fornisce sequenze di confidenza a campioni finiti e validi in qualsiasi momento (anytime-valid) per questi estimandi, validi sotto monitoraggio arbitrario e arresto dipendente dai dati.
3. Efficienza Adattiva: Introduce la CIF adattiva utilizzando il bounded mixture importance weighting, permettendo un'efficace ricerca dei fallimenti pur mantenendo la validità statistica.
4. Betting-Adaptive Variance: Dimostra che le sequenze di confidenza basate sul betting possono ridurre i costi di certificazione di 10–30× rispetto ai normali limiti di Hoeffding, sfruttando la varianza empirica.
5. Strumentazione Pratica: Gli autori forniscono algoritmi per la certificazione, confronti a coppie e campionamento adattivo, insieme a una checklist di reporting per applicare CIF a nuove valutazioni.

Risultati Sperimentali

Gli autori hanno valutato CIF su due benchmark primari:

1. Astrazioni Neurali MNIST:

   • Setup: Valutata la fedeltà di astrazione (Interchange Intervention Accuracy) per varie metodologie di pruning e compressione su un MLP a 3 strati.
   • Risultati: Sotto un intervento aggressivo ($p=0.5$), nessun metodo è stato in grado di certificare un'alta fedeltà ($F \ge 0.90$), un risultato negativo che le sole stime puntuali avrebbero potuto occultare. Sotto interventi più lievi ($p=0.1$), le CS basate sul betting hanno certificato affermazioni di alta fedeltà con drasticamente meno passaggi in avanti (ad esempio, 64 campioni rispetto a 1.141 per Hoeffding). Il campionamento adattivo è risultato più efficace per trovare fallimenti che per certificare già alte fedeltà.

2. Circuiti IOI di GPT-2 Small:

   • Setup: Valutati i punteggi di recupero del patching per i circuiti scoperti tramite ACDC, attribution patching e metodi identificati manualmente sul compito di Indirect Object Identification.
   • Risultati: Tutti i circuiti mostravano alte stime puntuali ($\hat{\mu} \in [0.959, 0.972]$). Tuttavia, i limiti di Hoeffding erano troppo ampi per certificare alte soglie entro il budget di 2.000 campioni. Le CS basate sul betting hanno certificato con successo $\mu \ge 0.95$ per il circuito completo di 13 teste in soli 357 campioni, mentre Hoeffding ne richiedeva oltre 2.000.

3. Sensibilità e Copertura:

   • L'analisi di sensibilità ha mostrato che ad alti livelli di perturbazione, la scelta della metrica di discrepanza (ad esempio, perdita 0-1 vs divergenza KL) poteva portare a intervalli di confidenza non sovrapponibili, rendendo la scelta della metrica un fattore critico per le conclusioni qualitative.
   • La validazione della copertura ha confermato che sia le CS di Hoeffding che quelle di betting hanno raggiunto una copertura empirica pari o superiore al livello nominale (ad esempio, 95%) anche sotto protocolli di monitoraggio (peeking) aggressivi.

Significato e Affermazioni

Il paper posiziona CIF non come un nuovo metodo per scoprire circuiti o astrazioni, ma come un livello di verifica per la parte di stima dell'interpretabilità meccanicistica.

• Affrontare il "pezzo mancante": Gli autori sostengono che, sebbene l'inquadramento causale dell'interpretabilità sia stabilito, la pratica statistica è spesso informale. CIF colma questo vuoto fornendo una quantificazione dell'incertezza rigorosa che sopravvive alla natura adattiva della ricerca sull'interpretabilità.
• Riduzione dei Costi: Una chiave affermazione pratica è che la scelta della costruzione statistica (Hoeffding vs Betting) può cambiare l'ordine di grandezza dei costi di certificazione, rendendo la valutazione rigorosa fattibile per modelli costosi come GPT-2.
• Trasparenza: CIF costringe i ricercatori a dichiarare esplicitamente le distribuzioni di input e di intervento, rendendo esplicito l'ambito dell'affermazione ed esponendo la sensibilità a queste scelte di progettazione.
• Limitazioni: Gli autori dichiarano esplicitamente che CIF non risolve il problema dell'identificazione (ovvero, se un'astrazione scelta catturi realmente la struttura causale di interesse); risolve solo il problema della stima (stimare in modo affidabile la fedeltà di una proposta di affermazione dato un indice e una distribuzione specifici). Assume inoltre punteggi limitati, sebbene varianti sub-gaussiane o di clipping possano estendere il framework.

In sintia, CIF fornisce un framework per trasformare le "stime puntuali" in "affermazioni certificate", garantendo che le conclusioni sull'interpretabilità meccanicistica siano robuste rispetto al campionamento finito, al monitoraggio e alle strategie di ricerca adattiva.