🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

Questo articolo dimostra che, sebbene il raggruppamento delle teste di attenzione basato sulle statistiche di co-attivazione generi proposte di circuiti plausibili, solo i test di ablazione causale possono validarne la necessità funzionale, rivelando che tali segnali economici spesso non riescono a identificare i veri circuiti in architetture complesse come i modelli Mixture-of-Experts.

Autori originali: Yongzhong Xu

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yongzhong Xu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: "Proporre" vs. "Dimostrare" un Team

Immagina di cercare di capire come funziona una macchina complessa (come il cervello di un robot gigante). Sospetti che determinati gruppi di ingranaggi (chiamati attention heads) lavorino insieme come un team per eseguire compiti specifici, come "ricordare la parola precedente" o "trovare un pattern".

Per molto tempo, i ricercatori hanno cercato di trovare questi team osservando la co-attivazione. Questo è come guardare gli ingranaggi e dire: "Ehi, l'Ingranaggio A e l'Ingranaggio B girano sempre contemporaneamente. Devono essere un team!"

Questo articolo pone una domanda critica: solo perché gli ingranaggi girano insieme, significa che sono effettivamente un team funzionale che svolge un lavoro importante? O stanno solo girando insieme perché sono entrambi collegati allo stesso interruttore, anche se non stanno facendo nulla di utile?

Gli autori chiamano questa la differenza tra una Proposta (un'ipotesi basata sull'osservazione) e una Scoperta (un fatto confermato basato sulla prova).

L'Esperimento: Il "Test del Silenzio"

Per dimostrare che un team è reale, gli autori non si sono limitati a guardarli girare; hanno eseguito un Test del Silenzio (che chiamano Closure).

La Proposta: Hanno usato una ricetta matematica (clustering) per trovare gruppi di ingranaggi che girano insieme.
Il Test: Hanno spento (ablato) quel gruppo specifico di ingranaggi.
Il Verdetto:
- Circuito Reale: Se la macchina inizia a commettere errori o smette di funzionare, il gruppo era un team reale ed essenziale.
- Circuito Finto: Se la macchina continua a lavorare perfettamente (o addirittura lavora meglio), il gruppo non era un vero team. Erano solo "rumore" o parti ridondanti che non contavano nulla.

I Risultati: Due Storie Diverse

Gli autori hanno testato questo su tre diversi tipi di cervelli robotici (modelli AI).

1. I Modelli Densi (I Cervelli "Standard")

Modelli: Pythia 1B e OLMo 1B.
La Storia: In questi modelli, il "Test del Silenzio" ha funzionato perfettamente. Quando hanno spento i gruppi di ingranaggi che la matematica diceva essere "team", il cervello del robot è diventato effettivamente peggiore nel suo compito.
L'Analogia: È come trovare un gruppo di musicisti in un'orchestra che suonano sempre le stesse note. Quando li metti a tacere, la musica cade a pezzi. Conclusione: In questi modelli, l'ipotesi del "girare insieme" era solitamente una proposta corretta per un circuito reale.

2. Il Modello MoE (Il Cervello "Specialista")

Modello: OLMoE-1B-7B (Mixture of Experts). Questo modello è diverso; ha un "manager" che decide quali specialisti lavorare su quali compiti.
La Storia: Qui le cose si fanno complicate.
- Prima, la matematica è fallita nel trovare qualsiasi team guardando l'intero cervello.
- Così, i ricercatori hanno provato un trucco più intelligente: hanno raggruppato gli input in base a quale "manager" era attivo e hanno cercato i team all'interno di quei gruppi. Questa volta, la matematica ha trovato un segnale molto forte. Sembrava un vero team!
- Il Colpo di Scena: Quando hanno eseguito il Test del Silenzio su questo "team perfetto", il cervello del robot non è peggiorato. È migliorato.
L'Analogia: Immagina un gruppo di persone in un ufficio che stanno sempre in un angolo a parlare ad alta voce. Pensi che siano un "Team di Progetto". Ma quando chiedi loro di andarsene, l'ufficio funziona meglio perché stavano solo distraendo tutti.
Conclusione: In questo modello, la matematica ha trovato un gruppo che sembrava un team, ma era in realtà solo "rumore". Il Test del Silenzio ha dimostrato che sembrare un team non è sufficiente per essere un team.

La Linea Temporale dell'Addestramento: "Forma" vs. "Funzione"

Gli autori hanno anche osservato questi cervelli crescere da neonati ad adulti (durante l'addestramento). Hanno guardato due cose:

Forma: L'ingranaggio sembra concentrarsi sulla cosa giusta? (es. Guarda la parola precedente?)
2.Funzione: L'ingranaggio sta effettivamente facendo il lavoro? (Se lo spegni, il robot si rompe?)

Hanno scoperto una discrepanza sorprendente:

Funzione senza Forma: A volte, un gruppo di ingranaggi stava facendo il lavoro pesante (funzione essenziale) prima ancora di iniziare a sembrare focalizzato. Stavano lavorando duramente pur essendo ancora "erranti".
Forma senza Funzione: A volte, un gruppo di ingranaggi sembrava perfettamente focalizzato e nitido (ottima forma), ma se li spegnevi, non succedeva nulla. Sembravano un team, ma erano solo decorativi.

La Sorpresa della "Ridondanza"

In un test specifico (Pythia 1B su testo naturale), hanno trovato un fenomeno strano.

Quando hanno spento il "team", la fiducia del robot nella risposta esatta è crollata (era sicura di aver sbagliato).
MA, il punteggio complessivo (loss media) è cambiato appena.
L'Analogia: Immagina un generatore di emergenza. Se tagli la linea elettrica principale, le luci sfarfallano selvaggiamente (il segnale specifico crolla), ma poiché il generatore di emergenza interviene molto velocemente, la casa non resta al buio (il punteggio complessivo rimane lo stesso). Il modello ha così tanti percorsi di backup che nasconde il danno, facendo apparire il "team" meno importante di quanto sia in realtà.

Il Messaggio Principale

L'articolo si conclude con una regola semplice per i ricercatori di AI:

"La co-attivazione è una proposta; la Closure è la prova."

Solo perché parti di un cervello AI si attivano insieme, o sembrano focalizzate, o appaiono in un cluster statistico, non significa che siano un circuito funzionale. Devi eseguire il "Test del Silenzio" (ablazione) per vedere se contano davvero.

Nei modelli standard, l'ipotesi è spesso corretta.
Nei modelli complessi "Mixture of Experts", l'ipotesi può essere completamente errata, portandoti a pensare di aver trovato un team quando in realtà hai trovato un gruppo di distrazioni.

Ciò che il documento NON afferma:

Non dice che questo metodo funzioni per tutti i modelli AI (solo per quelli testati).
Non dice che questo si applichi ad altri tipi di feature AI (come gli "Sparse Autoencoders") che usano una matematica diversa.
Non offre consigli medici o clinici. Si tratta puramente di capire come funzionano questi specifici cervelli informatici.

Sintesi Tecnica: Scoperta di Circuiti Validata dalla Chiusura nelle Teste di Attenzione

Enunciato del Problema
L'interpretabilità meccanicistica si è spostata verso la visione di gruppi di componenti (sottospazi, manifold, set di teste) piuttosto che di singole unità come oggetto fondamentale di studio. Un approccio metodologico prevalente propone di trovare questi gruppi attraverso il clustering di statistiche di co-attivazione (ad esempio, utilizzando modelli di Ising binarizzati su feature di autoencoder sparsi o teste di attenzione). Tuttavia, rimane una lacuna critica: un gruppo di co-attivazione statisticamente coerente costituisce effettivamente un "circuito" nel senso di carico funzionale? Un vero circuito è un gruppo di componenti la cui rimozione degrada causalmente le prestazioni del modello sugli input in cui si applica la funzione del gruppo.

Il documento indaga se i segnali economici — specificamente l'appartenenza ai cluster di co-attivazione, la selettività dell'attenzione verso il target e il rapporto di partecipazione — possano servire come prova sufficiente per la scoperta di circuiti, o se propongano meramente dei candidati che richiedono una validazione causale. Gli autori si chiedono se il solo clustering possa distinguere tra:

Circuiti Veri: Gruppi che implementano congiuntamente una funzione e sono carichi (load-bearing).
Comunità Co-attive: Gruppi che si attivano insieme a causa di driver a monte condivisi, ma contribuiscono in modo ridondante o marginale.
Comunità Cancellabili: Gruppi che aggiungono segnali di bias che la rete compensa, tali per cui la loro rimozione potrebbe persino migliorare le prestazioni.

Metodologia
Lo studio impiega un framework di "proposta e validazione" attraverso tre modelli linguistici su scala 1B (Pythia 1B, OLMo 1B e il Mixture-of-Experts OLMoE-1B-7B) e due distribuzioni di input (induzione sintetica e testo naturale).

Proposta (Clustering):
- Estrazione del Segnale: Per ogni testa di attenzione, viene estratto un segnale privo di template: il peso massimo di attenzione assegnato a qualsiasi posizione di chiave in un input.
- Binarizzazione: I segnali sono binarizzati al mediano per testa, garantendo che ogni testa si attivi sul 50% degli esempi per costruzione, eliminando i bias del tasso di attivazione.
- Fit di Ising: Un modello di Ising a coppie viene adattato ai segnali binarizzati utilizzando la pseudolikelihood per stimare le intensità di accoppiamento tra le teste.
- Recupero della Comunità: Il clustering spettrale viene applicato alla matrice di accoppiamento assoluto. Il numero di cluster ( $k$ ) è selezionato per massimizzare l'Indice di Rand Corretto (ARI) rispetto a una classificazione supervisionata delle capacità delle teste (es. token precedente, induzione).
- Selezione del Candidato: Viene selezionato un sottocluster specifico basato su purezza, isolamento (rapporto tra accoppiamento interno ed esterno) e vincoli di dimensione.
Validazione (Test di Chiusura):
- Ablazione: La comunità selezionata viene ablata azerando i segmenti di output delle teste identificate prima che entrino nello stream residuo.
- Confronto: Il danno per singolo esempio (variazione della cross-entropy loss, accuratezza top-1 e logit del token target) viene confrontato con cinque ablazioni di controllo casuali appaiate della stessa dimensione.
- Criteri di Verdetto: Un candidato supera la chiusura se il danno è nella direzione prevista (la loss aumenta, l'accuratezza/il logit del target diminuiscono) ed è statisticamente significativo (z-score > 1.8) rispetto alla distribuzione di controllo casuale.
Proxy Estesi:
- Lo studio traccia anche la selettività dell'attenzione verso il target e il rapporto di partecipazione (PR) attraverso i checkpoint di addestramento per vedere se questi segnali "economici" correlano con la funzione di carico nel tempo.

Risultati Chiave

Modelli Densi (Pythia 1B, OLMo 1B):
- Le comunità di co-attivazione identificate sia su distribuzioni di testo sintetico che naturale superano la chiusura.
- L'ablazione di queste comunità aumenta costantemente la loss e diminuisce l'accuratezza/il logit del target rispetto ai controlli casuali.
- OLMo 1B (Testo Naturale): Ha prodotto il segnale più forte, con uno z-score di +36.4 $\sigma$ sulla loss e -50.9 $\sigma$ sul logit del target.
- Pythia 1B (Testo Naturale): Ha mostrato una "firma di ridondanza a valle". Sebbene il logit del target sia sceso significativamente (-52.5 $\sigma$ ), la variazione aggregata della loss è stata piccola (+1.95 $\sigma$ ). Ciò indica che il modello possiede percorsi ridondanti a valle che ricostruiscono l'output ablato, isolando la cross-entropy loss mentre la fiducia nella specifica predizione crolla.
Mixture-of-Experts (OLMoE-1B-7B):
- Fallimento Marginale: Sul testo naturale, il modello di Ising marginale è collassato (ARI $\approx$ 0.006), fallendo nel recuperare qualsiasi struttura.
- Recupero Condizionato dalla Rotta: Stratificando gli esempi per pattern di routing (usando k-means sui pesi di routing) e adattando Isings separati, è stato recuperato un segnale statisticamente significativo (ARI 0.191, +3.05 $\sigma$ sopra un null di partizione casuale).
- Fallimento della Chiusura: Nonostante il recupero statistico, la comunità scoperta ha fallito la chiusura nella direzione errata. L'ablazione della comunità ha migliorato la loss (z = -5.64 $\sigma$ sullo strato di scoperta, -12.94 $\sigma$ al di fuori di esso). Le teste agivano come rumore modulato dal routing; rimuenderle ha aiutato il modello, specialmente sugli input al di fuori dello specifico strato di routing.
Assi di Addestramento (Proxy):
- Funzione senza Forma: In OLMo 1B, le teste BOS (inizio sequenza) erano cariche (superavano la chiusura) a 2B di token prima che il loro pattern di selettività verso il BOS si fosse formato (la selettività era vicina allo zero).
- Forma senza Funzione: In Pythia 1B, le teste del token precedente mostravano alta selettività e alto rapporto di partecipazione (PR) a 1B di token, ma fallivano la chiusura (l'ablazione non ha danneggiato le prestazioni, e in alcuni casi ha aiutato).
- Questo disaccoppiamento bidirezionale prova che i pattern di attenzione e la funzione sono costrutti distinti, non semplici diverse sensibilità dello stesso fenomeno.

Reporting Multi-Metrica
Il documento sostiene che la cross-entropy loss da sola sia una metrica inaffidabile per la chiusura. Può essere gonfiata dal collasso della varianza di controllo (come visto in OLMo testo naturale) o mascherata dalla ridondanza a valle (come visto in Pythia testo naturale). Gli autori raccomandano uno standard multi-metrico:

Direzione: Tutti i metrica devono muoversi nella direzione del danno.
Logit del Target: Il principale indicatore dell'impatto causale.
Accuratezza: Evidenza corroborante.
Loss: Un limite inferiore conservativo, soggetto a slack di aggregazione.

Rivendicazioni e Significatività
Il documento conclude con quattro rivendicazioni specifiche:

Proposta vs. Scoperta: Il clustering di co-attivazione non supervisionato è un metodo di proposta di circuiti, non un metodo di scoperta. Identifica comunità candidate, ma solo l'ablazione causale (chiusura) le valida come cariche funzionalmente.
Successo nei Modelli Densi: Nei modelli densi su scala 1B, le comunità di co-attivazione su testi sintetici e naturali possono proporre con successo circuiti carichi che sopravvivono alla chiusura.
Fallimento MoE: Nelle architetture MoE, anche il recupero statistico condizionato dalla rotta (che supera un test null accurato) è insufficiente come prova di un circuito. Le comunità recuperate possono fallire la chiusura nella direzione opposta (migliorando le prestazioni dopo la rimozione).
Divergenza dei Metriche: Il divario tra i pattern di attenzione (selettività/PR) e la funzione è bidirezionale; una testa può avere un pattern nitido senza funzione, e funzione senza un pattern.

Ambito e Limitazioni
Gli autori dichiarano esplicitamente di non pretendere che questi risultati si generalizzino ai manifold delle feature SAE (che utilizzano diversi criteri di validazione), a modelli più grandi, ad altre architetture (es. LLaMA, Mistral) o ad altre distribuzioni di input (es. codice). Notano inoltre che il fallimento "nella direzione errata" in MoE è specifico per l'architettura testata e il protocollo di routing; l'affinità di Ising utilizzata è una scelta per la comparabilità, non necessariamente l'affinità ottimale per circuiti discreti. Lo studio sottolinea che il risultato negativo in MoE è essenziale, poiché dimostra che la coerenza statistica non garantisce la caricità causale, specialmente in architetture complesse.