💬 NLP

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

Questo documento dimostra che, sebbene i circuiti dei modelli linguistici identificati siano altamente coerenti e necessari per l'esecuzione del compito, essi mancano di specificità del compito a causa di una sostanziale sovrapposizione tra compiti diversi, sfidando così l'utilità del quadro di riferimento per interventi mirati e per la comprensione.

Autori originali: Michael Li, Nishant Subramani

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Michael Li, Nishant Subramani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una fabbrica enorme e complessa (un Modello Linguistico di grandi dimensioni) in grado di risolvere ogni sorta di problema, dal fare calcoli matematici al raccontare barzellette. Da lungo tempo, gli scienziati cercano di capire esattamente quali macchinari all'interno di questa fabbrica siano responsabili di quali compiti. Chiamano questi specifici gruppi di macchinari "circuiti".

Questo articolo pone due domande semplici su tali circuiti:

Coerenza: Se la fabbrica esegue lo stesso compito (come sommare numeri) dieci volte, utilizza esattamente gli stessi macchinari ogni volta?
Specificità: Se la fabbrica esegue un compito matematico, utilizza macchinari diversi rispetto a quando esegue un compito storico?

Ecco cosa hanno scoperto i ricercatori, utilizzando semplici analogie:

1. Il test della "Coerenza": Sì, sono affidabili.

I ricercatori hanno verificato se la fabbrica utilizza gli stessi strumenti per lo stesso compito.

La scoperta: Sì! Se alla fabbrica viene chiesto di sommare numeri, utilizza in modo affidabile un insieme specifico di macchinari (principalmente i "livelli MLP", che sono come i banchi di lavoro pesanti della fabbrica) per quasi ogni singolo problema matematico.
L'analogia: È come un cuoco che prepara una torta specifica. Ogni volta che prepara quella torta, utilizza lo stesso mixer e lo stesso forno. Non passa a un frullatore o a un tostapane a metà strada. I ricercatori hanno scoperto che se "staccavano la spina" a questi macchinari specifici, la fabbrica smetteva quasi completamente di funzionare su quel compito. Questo dimostra che questi macchinari stanno effettivamente svolgendo il lavoro, non sono semplicemente lì a sembrare occupati.

2. Il test della "Specificità": No, non sono unici.

Questa è la parte sorprendente. I ricercatori si aspettavano che i macchinari utilizzati per la "Matematica" fossero totalmente diversi da quelli utilizzati per la "Storia" o la "Logica".

La scoperta: Si sbagliavano. I macchinari utilizzati per la Matematica sono quasi gli stessi identici macchinari utilizzati per la Storia, la Logica e persino la comprensione del testo.
L'analogia: Immagina di avere una cassetta degli attrezzi. Pensavi che la "Cassetta della Matematica" contenesse solo attrezzi matematici (righelli, calcolatrici) e che la "Cassetta della Storia" contenesse solo attrezzi storici (mappe, libri). Ma quando li hai aperti, hai scoperto che entrambe le cassette contenevano lo stesso 90% degli attrezzi.
- Se avessi rimosso gli "attrezzi matematici" dalla cassetta, la fabbrica non avrebbe potuto fare matematica.
- Ma se avessi rimosso quegli stessi attrezzi, la fabbrica non avrebbe potuto fare nemmeno storia o logica.
- Si è scoperto che la fabbrica si affida a una massiccia "infrastruttura" condivisa (i banchi di lavoro/livelli MLP) per fare tutto. Questi attrezzi sono la fondazione per tutti i compiti, non solo per uno.

3. I "Gioielli nascosti": Una piccola dose di unicità.

C'è alcuna differenza tra i compiti?

La scoperta: Sì, ma è molto piccola. All'interno della grande pila di attrezzi condivisi, esiste un minuscolo insieme specializzato di attrezzi (circa il 10-30% del totale) che è unico per il compito specifico.
L'analogia: Riprendendo la cassetta degli attrezzi: mentre il 90% degli attrezzi è condiviso, la "Cassetta della Matematica" contiene un minuscolo calcolatore speciale che la "Cassetta della Storia" non ha. Se rimuovi solo quel calcolatore, la matematica fallisce, ma la storia funziona ancora. Tuttavia, poiché il 90% condiviso è così enorme e importante, rimuovere l'intera "Cassetta della Matematica" rompe tutto, facendo sembrare che gli attrezzi matematici fossero l'unica cosa che contava.

Il quadro generale

L'articolo conclude che quando osserviamo i modelli linguistici a livello di "testine di attenzione" e "livelli MLP" (le parti grandi e visibili della fabbrica), stiamo vedendo principalmente l'infrastruttura generale dell'edificio, non i progetti specifici per ogni compito.

Cosa significa per la comprensione: Possiamo facilmente trovare i "banchi di lavoro" che il modello utilizza, ma non possiamo facilmente dire quale banco sia solo per la matematica e quale sia solo per la storia, perché tutti vengono utilizzati per entrambi.
La precisazione: I ricercatori suggeriscono che per trovare i veri e propri "attrezzi specializzati" unici (il piccolo 10%), potremmo dover guardare più da vicino, forse ai singoli viti o fili (neuroni o caratteristiche) piuttosto che all'intero banco di lavoro.

In sintesi: Il modello è coerente (utilizza gli stessi attrezzi per lo stesso compito), ma non è specifico (utilizza gli stessi attrezzi per ogni compito). I "circuiti" che troviamo sono principalmente la fondazione condivisa del modello, non le istruzioni uniche per un singolo compito.

Riepilogo Tecnico: Misurare la Coerenza e la Specificità dei Circuiti dei Modelli Linguistici

Enunciato del Problema

Il campo dell'interpretabilità meccanicistica mira a ingegnerizzare all'inverso le reti neurali identificando i "circuiti": sottografi sparsi di componenti del modello (tipicamente teste di attenzione e strati MLP) che sono causalmente responsabili di comportamenti specifici. Sebbene il lavoro esistente abbia stabilito metodi per estrarre questi circuiti e valutarne la necessità (la rimozione del circuito degrada le prestazioni) e la sufficienza (il circuito da solo riproduce il comportamento), due proprietà critiche rimangono poco esplorate: coerenza e specificità.

Coerenza: Se un circuito cattura realmente l'algoritmo di un modello per un compito, gli stessi componenti dovrebbero ricomparire su diverse istanze di input di quel compito. Senza coerenza, un circuito potrebbe essere un artefatto di un input specifico piuttosto che un meccanismo generalizzabile.
Specificità: Il circuito di un compito dovrebbe essere significativamente distinto dai circuiti di compiti non correlati. Senza specificità, un circuito non può essere utilizzato per comprendere o intervenire sul comportamento specifico di un compito, poiché potrebbe semplicemente riflettere un'infrastruttura del modello a scopo generale.

Questo articolo indaga se i circuiti scoperti a livello di teste di attenzione e strati MLP esibiscano queste proprietà su diversi compiti e famiglie di modelli.

Metodologia

Impostazione Sperimentale

Gli autori hanno valutato sei compiti che spaziano dal ragionamento algoritmico (Addizione, Logica Booleana), al recupero di informazioni (Identificazione dell'Oggetto Indiretto [IOI], CopyColors MCQA), fino a benchmark basati sulla conoscenza (ARC Easy, ARC Challenge). Questi sono stati testati su sette modelli provenienti da quattro famiglie di architetture: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B) e OLMo-2 (1B, utilizzato per la dinamica del pretraining).

Estrazione dei Circuiti

Lo studio ha utilizzato l'Attribuzione dei Bordi con Patching (EAP) per estrarre circuiti per ogni esempio. L'EAP approssima gli effetti causali utilizzando informazioni sui gradienti, classificando i componenti in base ai loro punteggi di attribuzione assoluti. Per ogni compito, i circuiti sono stati estratti per $n=1000$ esempi, variando le dimensioni del circuito ( $K$ ) dall'1% al 30% dei componenti principali.

Metriche di Valutazione

Coerenza (Riutilizzo): Gli autori hanno definito un "insieme di componenti condiviso" ( $S_P$ ) contenente i componenti che appaiono in almeno una frazione $P$ dei circuiti per esempio. Hanno misurato il riutilizzo@P, la proporzione di un circuito per esempio coperta da questo insieme condiviso.
Necessità: Per confermare che i componenti condivisi siano causalmente importanti, gli autori hanno eseguito ablationi (azzeramento delle attivazioni) sull'insieme condiviso $S_P$ . Hanno confrontato il calo di accuratezza con un controllo a capacità conservata (C3), in cui un sottoinsieme casuale di componenti di uguale dimensione è stato sottoposto ad ablatione. Un punteggio di necessità positivo indica che l'insieme condiviso è funzionalmente critico oltre la semplice riduzione della capacità.
Specificità (Sovrapposizione Cross-Task):
- Ablazione Cross-Task: Gli autori hanno sottoposto ad ablatione il circuito condiviso del Compito A e hanno misurato le prestazioni sul Compito B. Se i circuiti sono specifici, l'ablatione del circuito del Compito A dovrebbe danneggiare il Compito A significativamente più del Compito B.
- Decomposizione: Per coppie di compiti, i circuiti sono stati partizionati in tre insiemi disgiunti: il nucleo condiviso ( $C_A \cap C_B$ ), specifico del compito ( $C_A \setminus C_B$ ) e complementare ( $C_B \setminus C_A$ ). Ogni insieme è stato sottoposto ad ablatione indipendentemente per misurarne l'impatto causale sul compito target rispetto ad altri compiti.

Risultati Chiave

1. I Circuiti sono Coerenti all'interno di un Compito

Su tutti i modelli e i compiti, una frazione sostanziale dei circuiti per esempio è tratta da un insieme condiviso di componenti.

Alto Riutilizzo: A $K=10\%$ , i tassi di riutilizzo sono variati dal 40% al 70% nella maggior parte delle combinazioni compito-modello. Ad esempio, nei modelli Llama e Qwen, circa la metà o più del circuito di qualsiasi singolo esempio era composta da componenti condivisi da quasi ogni esempio.
Importanza Causale: L'ablatione di questi componenti condivisi ha causato cali di accuratezza significativamente maggiori rispetto all'ablatione di un insieme casuale abbinato per capacità. Ad esempio, nei compiti di Addizione, la rimozione dell'insieme condiviso ha causato cali di accuratezza in eccesso di 0,8–1,0 rispetto ai controlli casuali, confermando che questi componenti sono funzionalmente necessari.
Dinamiche di Addestramento: In OLMo-2-1B, la coerenza è emersa nelle prime fasi del pretraining (raggiungendo un picco intorno a 76B di token) ma si è degradata nelle fasi successive. Tuttavia, la necessità (importanza causale) è diventata chiaramente misurabile solo durante la fase di annealing quando l'accuratezza di base è migliorata.

2. I Circuiti non sono Specifici tra i Compiti

Contrariamente all'aspettativa che compiti diversi si basino su meccanismi distinti, lo studio ha trovato un'estesa sovrapposizione tra i circuiti per compiti non correlati.

Cali di Prestazioni Indistinguibili: Quando si sottoponeva ad ablatione il circuito del Compito A e si valutavano le prestazioni sul Compito B, il calo delle prestazioni era paragonabile all'ablatione del circuito del Compito B stesso. Ad esempio, in Llama-3.2-3B, la rimozione del circuito di Addizione ha causato un calo del 99% sull'Addizione, e la rimozione dei circuiti di altri compiti ha causato un calo medio del 99% sull'Addizione.
Alta Sovrapposizione: A $K=10\%$ , la sovrapposizione di Jaccard tra i circuiti delle coppie di compiti è variata da 0,46 a 0,89, superando di gran lunga il ~5% atteso per circuiti casuali. Questa sovrapposizione è stata guidata principalmente dagli strati MLP, che dominavano i circuiti piccoli ( $K \le 10\%$ ) e costituivano la stragrande maggioranza del nucleo condiviso.
Componenti Specifici del Compito Esistono ma sono Minori: Sebbene sia stato identificato un piccolo insieme di componenti specifici del compito (che rappresentano il 15–30% del circuito a $K=10\%$ ), la loro rimozione ha causato solo danni aggiuntivi modesti rispetto all'impatto massiccio della rimozione del nucleo condiviso. Il nucleo condiviso ha rappresentato la maggior parte dell'impatto sulle prestazioni.

3. Composizione e Granularità

Dominanza degli MLP: A piccole dimensioni del circuito, i circuiti sono composti quasi interamente da strati MLP (ad esempio, 95–100% in Gemma 2 2B-IT a $K \le 10\%$ ). Le teste di attenzione diventano più prevalenti solo all'aumentare della dimensione del circuito ( $K \ge 20\%$ ).
Distribuzione degli Strati: Nelle famiglie Llama e Qwen, i circuiti piccoli si concentrano negli strati iniziali, mentre i modelli Gemma hanno mostrato una variazione più dipendente dal compito.

Significato e Affermazioni

L'articolo sostiene che, alla granularità delle teste di attenzione e degli strati MLP, la scoperta dei circuiti è efficace nell'identificare quali componenti sono importanti (coerenza) ma fallisce nell'isolare come un modello esegue un compito specifico distinto dagli altri (specificità).

Infrastruttura Generale vs Meccanismi del Compito: I risultati suggeriscono che i circuiti scoperti identificano principalmente un'infrastruttura del modello a scopo generale (in particolare strati MLP condivisi) piuttosto che algoritmi specifici del compito. L'alta sovrapposizione è spiegata dal fatto che questi strati eseguono operazioni fondamentali (ad esempio, memorizzare conoscenze parametriche, mappare token) su cui tutti i compiti a valle dipendono.
Implicazioni per l'Interpretabilità: La mancanza di specificità solleva dubbi sull'utilità dei metodi attuali di scoperta dei circuiti per la comprensione mirata o l'intervento. Se un "circuito" per il Compito A è in gran parte identico al circuito per il Compito B, identificarlo rivela più sul funzionamento generale del modello che sul suo comportamento specifico sul Compito A.
Direzioni Future: Gli autori suggeriscono che il recupero di una struttura specifica del compito potrebbe richiedere:
1. Unità di analisi più fini: Andare oltre gli strati MLP verso circuiti di caratteristiche sparse (ad esempio, utilizzando autoencoder sparsi) per disintrecciare componenti polisemantici.
2. Attribuzione contrastiva: Identificare componenti con alta attribuzione per un compito rispetto ad altri, piuttosto che in termini assoluti.

L'articolo conclude che, sebbene il nucleo condiviso dei circuiti sia un oggetto di studio significativo (potenzialmente alla base della generalizzazione e dell'apprendimento in contesto), l'ipotesi di modularità a livello di compito a livello di componente non è sostanzialmente supportata dalle prove attuali.