Sintesi Tecnica: Co-Ablazione Condizionale (COAX)

1. Definizione del Problema

L'interpretabilità meccanicistica si basa sull'assegnazione di punteggi di importanza a singoli componenti del modello (ad es., teste di attenzione) per comprendere come un modello produca comportamenti specifici. L'approccio standard utilizza la valutazione del primo ordine: l'ablazione di un'unità in isolamento, la misurazione del cambiamento dell'output e l'aggregazione di questi effetti. Ciò presuppone che l'importanza del componente sia additiva.

Tuttavia, questa ipotesi fallisce in presenza di auto-riparazione (l'effetto "Idra"), dove un modello possiede componenti di backup dormienti che si attivano solo quando un componente primario viene rimosso.

• Il Punto Cieco: Su un modello intatto, un componente di backup appare irrilevante (bassa importanza) perché è silente. Quando un componente primario viene ablato, il backup prende il sopravvento, riparando il danno e attenuando l'effetto misurato del primario.
• Conseguenza: I punteggi del primo ordine leggono erroneamente entrambi i lati della ridondanza: sottostimano il primario (perché il backup ripara l'errore) e mancano completamente il backup (perché è dormiente). Ciò porta a un'attribuzione errata, al fallimento dei knockout delle capacità e a una rimozione (pruning) subottimale del modello.

2. Metodologia: Co-Ablazione Condizionale (COAX)

Gli autori riformulano il problema come completamento del circuito condizionale: dato un insieme di componenti primari $S$, identificare le unità rimanenti la cui importanza cresce significativamente una volta rimosso $S$.

Il Punteggio COAX

COAX è un punteggio privo di etichette (label-free) e ancorato all'output, che misura la crescita condizionale dell'effetto di ablazione di un'unità.

1. Geometria di Fisher: Il metodo misura gli effetti di ablazione nella metrica indotta dalla distribuzione di output (informazione di Fisher). Per un'unità $u$, l'effetto di ablazione è la perturbazione del logit $\delta z_u = z_0 - z_{\{u\}}$. L'energia di questo effetto è la media del costo KL, approssimata dalla norma pesata da Fisher della caratteristica centrata $\tilde{\delta z}_u$.
2. Crescita Condizionale:
   • Sia $S$ un insieme di semi di componenti primari (ad es., identificati da un metodo del primo ordine).
   • Calcolare l'energia dell'ablazione di un'unità candidata $u$ in isolamento: $E(\delta z_u | \emptyset)$.
   • Calcolare l'energia dell'ablazione di $u$ dopo che $S$ è stato ablato: $E(\delta z_u | S)$.
   • Il punteggio COAX è la differenza:
     $$\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$$
3. Base Teorica:
   • Proposizione 1: Stabilisce l'identità di Fisher, collegando il prodotto interno delle caratteristiche centrate alla matrice di Gram di Fisher.
   • Proposizione 2 (Punto Cieco dell'Additività): Dimostra che qualsiasi punteggio basato esclusivamente su statistiche dello stato pulito (ad es., attivazione pulita o gradienti puliti) non può distinguere un puro backup (dormiente sul modello pulito) da un'unità inerte.
   • Proposizione 3 (Crescita Condizionale come Sinergia): Mostra che per un'unità dormiente, il punteggio di crescita condizionale approssima l'energia della sua sinergia a coppie con l'insieme di semi $S$. Pertamente, COAX recupera l'interazione del secondo ordine che i punteggi del primo ordine scartano.

Efficienza

A differenza dei calcoli espliciti di sinergia a coppie che richiedono $O(|U|^2)$ passaggi in avanti, COAX richiede solo $O(|U|)$ passaggi (una singola scansione di ablazione singola e una scansione condizionale per ogni seme). È un metodo basato solo sul passaggio in avanti (forward-only) e non richiede passaggi all'indietro (backward passes) o etichette di task.

3. Contributi Chiave

1. Formalizzazione dell'Auto-riparazione: Il documento formalizza l'auto-riparazione come un fallimento dell'additività nell'importanza dei componenti e introduce il "completamento del circuito condizionale" come il compito di recuperare i compensatori dormienti.
2. Punteggio COAX: Introduce un punteggio privo di etichette e ancorato a Fisher che espone i backup dormienti misurando la crescita dell'energia di ablazione dopo il condizionamento su un insieme primario.
3. Validazione Causale: Dimostra che le teste recuperate sono veri backup attraverso controlli meccanicistici (curve di risveglio, passaggio di mano dell'attribuzione del logit diretto) e patching controfattuale (il congelamento dei backup rimuove l'auto-riparazione).
4. Utilità a Valle: Mostra che il recupero di questi backup corregge l'attribuzione mascherata, consente il knockout completo delle capacità e migliora il pruning strutturato.

4. Risultati Sperimentali

Scoperta dei Backup (Circuito IOI di GPT-2-small)

• Task: Identificare 8 teste di spostamento del nome (name-mover) documentate, dati i 3 primari spostatori di nomi.
• Performance:
  • Baseline del primo ordine: Saliency di ablazione singola (0.33 AUC), AtP (0.60), EAP-IG (0.70) e AtP*GradDrop (0.82) consapevole dell'auto-riparazione.
  • COAX: Raggiunge un ROC-AUC di 0.91.
  • Significatività: COAX colloca 6 degli 8 backup documentati tra i suoi primi 20 candidati. Il miglioramento rispetto al miglior baseline basato sul gradiente (AtP*) è statisticamente significativo ($p < 0.05$) controllando l'insieme di semi.
• Benchmark Sintetico: Su un benchmark sintetico con 100 backup piantati, i punteggi dello stato pulito operano al livello del caso o al di sotto (0.42–0.51), mentre COAX raggiunge lo 0.90, confermando il punto cieco teorico dei metodi del primo ordine.

Generalizzazione

• Scala: Il fenomeno del "risveglio" (aumento della norma di output dopo l'ablazione del primario) è osservato in modelli GPT-2-small, medium e large.
• Architettura: Applicato al circuito di induzione attraverso 8 modelli (Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo). COAX recupera insiemi compensatori che riducono significativamente la log-probabilità di induzione (da 2.1 a 12 volte più di un campionamento casuale), dimostrando la trasferibilità senza etichette.

Applicazioni a Valle

1. Recupero dell'Attribuzione: L'ablazione dei primari da sola riduce la differenza di logit IOI solo di 0.22 (mascherata dall'auto-riparazione). L'aggiunta dei backup recuperati tramite COAX ripristina il calo a 1.76, rivelando il vero effetto causale.
2. Knockout delle Capacità: Per disabilitare il comportamento IOI, è necessario rimuovere i backup.
   • Rimuovendo solo i primari: L'accuratezza rimane ~0.97 (auto-riparazione attiva).
   • Rimuovendo primari + backup COAX: L'accuratezza scende a 0.70, corrispondendo all'oracolo documentato (0.72).
   • Rimuovendo primari + le proprie teste di rango superiore (top-up del primo ordine): L'accuratezza scende a 0.24, indicando un'over-ablazione verso i componenti core.
3. Pruning Strutturato: Una strategia di pruning sequenziale che rimeasura i punteggi COAX dopo ogni rimozione (per tenere conto dei nuovi backup esposti) supera tutti i baseline (Random, Magnitude, Wanda, Taylor) attraverso scale da 124M a 7B parametri. Al 50% di sparsità, COAX mantiene la perplexity significativamente più vicina al modello denso rispetto a qualsiasi competitore.

5. Significato e Rivendicazioni

Il documento sostiene che l'importanza del componente non è una proprietà intrinseca di un'unità, ma è condizionale sullo stato del resto del circuito.

• Motivazione: Nei circuiti robusti, i componenti che contano di più sono spesso quelli che rimangono silenti finché il loro primario fallisce. I metodi del primo ordine, che valutano le unità in isolamento, mancano sistematicamente questi "eroi nascosti".
• Spostamento Operativo: COAX sposta il paradigma dal "valutare le unità in isolamento" al "valutare le unità rispetto a ciò che è stato rimosso".
• Limitazioni e Ambito:
  • COAX è uno strumento di completamento, non uno strumento di scoperta autonomo; richiede un insieme di semi primari (che può essere trovato tramite metodi del primo ordine).
  • È più efficace nei regimi di sostituzione dormiente (come i backup IOI). Nei regimi in cui la ridondanza è condivisa tra teste omogenee che scoccano insieme (come l'induzione), COAX trova insiemi portanti ma non identifica unicamente una distinta "classe di backup".
  • Il metodo è attualmente istanziato alla granularità delle teste di attenzione; non recupera segnali forti in circuiti dominati da MLP (ad es., il circuito "maggiore di"), suggerendo che il meccanismo del circuito (MLP vs. Attention) determina la recuperabilità dell'auto-riparazione.

Il documento conclude che un'interpretabilità fedele dei modelli robusti deve essere condizionale: la ridondanza non è rumore da mediare, ma una struttura su cui deve essere condizionata per rivelare l'intero circuito.