💬 NLP

Many Circuits, One Mechanism: Input Variation and Evaluation Granularity in Circuit Discovery

Questo articolo contesta l'assunto che le differenze strutturali nei circuiti scoperti indichino meccanismi distinti, dimostrando attraverso la "specializzazione fantasma" che statistiche di input variabili producono sottografi strutturalmente diversi ma funzionalmente equivalenti, rivelando così che le pratiche di valutazione standard spesso oscurano la mappatura molti-a-uno tra la struttura del circuito e la funzione del modello.

Autori originali: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Pubblicato 2026-06-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una macchina gigantesca e complessa (un grande modello di IA) che esegue un trucco specifico: osserva un modello di lettere e ne copia una alla fine della riga. Gli scienziati vogliono sapere come la macchina esegue questo trucco. Cercano di trovare il particolare "cablaggio" all'interno della macchina responsabile del trucco. Chiamano questo cablaggio un circuito.

Per molto tempo, i ricercatori hanno creduto che se avessero trovato un diverso diagramma di cablaggio per lo stesso trucco sotto condizioni leggermente diverse, ciò significasse che la macchina avesse sviluppato un nuovo modo specializzato di eseguire il trucco.

Questo articolo dice: Aspetta un attimo.

I ricercatori hanno scoperto che ciò che sembra essere una nuova macchina specializzata è in realtà la stessa macchina che esegue lo stesso trucco, ma con alcuni fili extra, non necessari, attaccati. Chiamano questo fenomeno "Specializzazione Fantasma" (Phantom Specialization).

Ecco la scomposizione utilizzando analogie semplici:

1. L'esperimento: Il gioco del "Copia l'altro"

I ricercatori hanno usato un gioco chiamato "Literal Sequence Copying" (Copia Sequenza Letterale).

Il compito: L'IA vede una sequenza come A B C D ... A B C e deve indovinare la lettera successiva (D).
Il colpo di scena: Hanno giocato a questo gioco usando parole che appaiono molto spesso nell'addestramento dell'IA (come "il/lo/la") e parole che appaiono molto raramente (come nomi propri oscuri).
L'aspettativa: Pensavano: "Forse l'IA usa un set diverso di fili interni per le parole rare rispetto alle parole comuni".

2. La scoperta: Il problema dei "Molti percorsi per Roma"

Quando hanno esaminato i diagrammi di cablaggio per le parole comuni rispetto alle parole rare, i diagrammi apparivano diversi.

Il circuito delle "parole rare" aveva più fili.
Il circuito delle "parole comuni" ne aveva meno.
Sembravano due progetti diversi.

Tuttavia, quando hanno testato la funzione:

Hanno preso i fili delle "parole rare" e li hanno usati per copiare le "parole comuni". Ha funzionato perfettamente.
Hanno preso i fili delle "parole comuni" e li hanno usati per le "parole rare". Anche questo ha funzionato perfettamente.
La conclusione: I fili extra nel circuito delle "parole rare" non stavano facendo nulla di speciale. Erano solo decorazioni. La macchina stava usando esattamente la stessa logica centrale per entrambi.

3. L'analogia: Lo "Spandrel" o lo "Zaino Extra"

Immagina di fare un'escursione.

Scenario A: Prepari uno zaino piccolo ed efficiente per una breve passeggiata.
Scenario B: Prepari uno zaino enorme e pesante per una lunga camminata.

Se guardi i due zaini, sembrano totalmente diversi (Struttura). Potresti pensare: "Lo zaino grande è uno strumento specializzato per lunghe escursioni!"

Ma cosa succederebbe se scoprissi che entrambi gli zaini contengono esattamente la stessa bottiglia d'acqua e la stessa mappa? Lo spazio extra nello zaino grande è solo vuoto o riempito di oggetti casuali che si trovano lì per caso. Se prendessi lo zaino piccolo e lo usassi per la lunga camminata, sopravviveresti comunque. Se prendessi lo zaino grande e lo usassi per la breve passeggiata, sopravviveresti comunque.

La "Specializzazione Fantasma" è l'illusione che lo zaino grande sia un tipo diverso di strumento, quando in realtà è solo lo stesso strumento con del peso inutile attaccato.

4. Perché è successo? (Il meccanico "Avido")

I ricercatori hanno scoperto che il metodo usato per trovare questi circuiti è un po' come un meccanico avido che cerca di riparare un'auto.

Il meccanico vuole trovare il set più piccolo di fili che faccia funzionare l'auto.
A volte, ci sono più fili che fanno esattamente lo stesso lavoro (ridondanza).
Quando il meccanico guarda un input di una "parola rara", lo stato interno dell'auto è leggermente diverso. Il meccanico avido sceglie un set di fili per tenerlo e taglia il resto.
Quando guarda una "parola comune", lo stato interno è di nuovo leggermente diverso, quindi il meccanico sceglie un set di fili diverso da tenere.

Il risultato? Due diagrammi di cablaggio diversi che fanno funzionare l'auto perfettamente. Le differenze non sono dovute al fatto che l'auto ha bisogno di motori diversi; è solo perché il meccanico ha fatto scelte diverse tra opzioni ugualmente valide.

5. Il problema della "Lente Zoom" (Granularità della valutazione)

L'articolo ha anche scoperto che gli scienziati spesso guardavano i circuiti attraverso la "lente" sbagliata.

La lente "Livello Sorgente" (Zoom fuori): Guarda l'intero componente (come un intero chip). Se un qualsiasi filo sul chip è attivo, l'intero chip è considerato "funzionante". Questo fa apparire i circuiti molto fedeli e diversi.
La lente "Livello Edge" (Zoom dentro): Guarda i singoli fili. Quando fai lo zoom, vedi che molti dei fili selezionati erano in realtà superflui.

L'articolo sostiene che se guardi solo da lontano (Livello Sorgente), vedi la "Specializzazione Fantasma". Se fai lo zoom (Livello Edge), vedi che i circuiti stanno in realtà facendo la stessa identica cosa.

Sintesi dei punti principali

Fili diversi $\neq$ Logica diversa: Solo perché due circuiti appaiono diversi sulla carta, non significa che facciano cose diverse.
Il "Fantasma": La specializzazione apparente è un'illusione causata dal modo in cui estraiamo e misuriamo questi circuiti.
La ridondanza è reale: I modelli di IA hanno molti percorsi di backup. Se un percorso viene tagliato, un altro prende il sopravvento. Questo rende difficile trovare l'unico "vero" circuito.
Come risolvere il problema: Per capire come funziona l'IA, non dobbiamo solo guardare un singolo circuito. Dobbiamo:
- Testare se un circuito funziona su diversi tipi di input (Test di Trasferimento).
- Guardare i singoli fili, non solo i grandi componenti (Valutazione a Livello Edge).
- Eseguire l'estrazione più volte e vedere cosa rimane costante (Estrazioni Multiple).

In breve: L'IA non sta costruendo un nuovo motore per le parole rare; sta solo indossando un cappello diverso. Il cappello sembra diverso, ma il motore sottostante è lo stesso.

Sintesi Tecnica: Molti Circuiti, Un Singolo Meccanismo

Definizione del Problema

L'interpretabilità meccanicistica mira a l'ingegneria inversa delle reti neurali identificando i "circuiti": sottografi sparsi del grafo computazionale di un modello che implementano comportamenti specifici. Un'ipotesi prevalente nel campo è che, per un dato modello e un dato compito, esista un singolo circuito stabile da scoprire. Di conseguenza, le differenze strutturali tra i circuiti scoperti vengono spesso interpretate come prova di meccanismi distinti o specializzazioni funzionali sottostanti.

Tuttavia, questa ipotesi affronta diverse sfide riguardanti la stabilità dei metodi di estrazione, l'esistenza di comportamenti di backup ridondanti (l'effetto Idra) e la fondamentale non-identificabilità. Sebbene lavori precedenti abbiano dimostrato che i circuiti possono variare tra modelli, scale o strutture di prompt, rimane poco chiaro se le differenze strutturali derivino esclusivamente da cambiamenti nelle statistiche di input (ad esempio, la frequenza dei token) mentre la definizione del compito rimane fissa e, soprattutto, se tali differenze strutturali corrispondano a una genuina specializzazione funzionale.

Metodologia

Gli autori investigano questa questione utilizzando la Copia di Sequenza Letterale (LSC), un compito non semantico in cui il modello deve riprodurre un token da un'occorrenza precedente in una sequenza. Questo compito isola un comportamento di copia ristretto, minimizzando i confondimenti semantici.

Disegno Sperimentale:

Modelli: Cinque modelli Pythia che vanno da 70M a 1.4B di parametri.
Condizioni: Il vocabolario è partizionato in quattro bande di frequenza dei token (frequenza molto bassa da molto alta) basate sulle statistiche di pre-training, più una condizione di controllo pesata sulla frequenza.
Estrazione: Viene utilizzato l'algoritmo ACDC (Automatic Circuit Discovery) per estrarre i circuiti. Per garantire la robustezza, vengono eseguite tre estrazioni indipendenti per ogni modello per condizione, producendo un totale di 75 circuiti.
Granularità di Valutazione: Lo studio introduce una distinzione critica tra due livelli di valutazione:
- Livello di sorgente (Source-level): Preserva tutti gli archi uscenti da qualsiasi nodo che contribuisca ad almeno un arco del circuito.
- Livello di arco (Edge-level): Preserva solo gli archi specifici selezionati dall'algoritmo di scoperta.
Assi di Analisi: I circuiti sono confrontati su assi strutturali (sovrapposizione degli archi), funzionali (trasferimento tra bande, sufficienza, necessità) e rappresentazionali (geometria delle attivazioni interne). Sono anche impiegate intervنzioni di scambio causale per testare l'intercambiabilità delle rappresentazioni interne.

Contributi Chiave

Specializzazione Fantasma: Il documento conia il termine "specializzazione fantasma" per descrivere un fenomeno in cui gli algoritmi di scoperta dei circuiti recuperano circuiti strutturalmente distinti per diverse condizioni di input (ad esempio, bande di frequenza) che tuttavia implementano esattamente lo stesso calcolo.
Mappatura Molti-a-Uno: Gli autori dimostrano una mappatura molti-a-uno dalla struttura del circuito alla funzione. La divergenza strutturale non implica necessariamente una specializzazione funzionale; piuttosto, gli algoritmi di scoperta possono campionare da una classe di equivalenza di sottografi validi e funzionalmente intercambiabili.
Dipendenza dalla Granularità: Lo studio stabilisce che la visibilità di questa degenerazione dipende interamente dalla granularità della valutazione. La valutazione a livello di sorgente gonfia sistematicamente la fedeltà apparente e oscura la mancanza di specializzazione, mentre la valutazione a livello di arco rivela la mappatura molti-a-uno.
Raccomandazioni Metodologiche: Il documento propone che le differenze strutturali non dovrebbero essere accettate come prova di meccanismi distinti senza test di trasferimento tra le condizioni, e raccomanda l'uso della valutazione a livello di arco e di molteplici estrazioni con aggregazione a voto di maggioranza per identificare strutture stabili.

Risultati Chiave

Differenze Strutturali: I circuiti estratti da diverse bande di frequenza sono strutturalmente distinti. I circuiti a bassa frequenza sono sistematicamente più grandi e contengono un sovrainsi di archi rispetto ai circuiti ad alta frequenza. La similarità di Jaccard tra le bande è inferiore rispetto a quella all'interno delle bande, sebbene i divari assoluti siano piccoli.
Equivalenza Funzionale: Nonostante le differenze strutturali, i circuiti sono funzionalmente equivalenti.
- Trasferimento tra Bande: Gli archi specifici per banda si trasferiscono ampiamente tra tutte le bande di frequenza con un'alta efficienza (81–97%).
- Sufficienza del Nucleo: Un "nucleo universale" di archi condivisi tra la maggior parte delle bande (specificamente quelli che compaiono in $\ge$ 3 di 5 condizioni) recupera almeno il 99% delle prestazioni del circuito completo.
- Scambio Causale: Le intervنzioni di scambio confermano che le rappresentazioni interne sono intercambiabili tra le bande di frequenza; scambiare le attivazioni tra le bande preserva l'output del modello con una fedeltà quasi perfetta.
Instabilità e Rumore: L'estrazione è rumorosa; gli archi specifici per banda sono altamente instabili tra le estrazioni indipendenti (appaiono in un solo caso su tre estrazioni). Questo rumore è funzionalmente irrilevante, poiché disegni strutturalmente diversi producono output equivalenti.
Inflazione della Valutazione: La valutazione a livello di sorgente gonfia l'accuratezza apparente del circuito di 0,22 e 0,85 punti rispetto alla valutazione a livello di arco, mascherando efficacementamente l'assenza di specializzazione.
Invarianza Rappresentazionale: Mentre la dinamica di elaborazione (tempi di convergenza) varia leggermente con la frequenza dei token, la geometria rappresentazionale sottostante e i percorsi causali rimangono ampiamente invarianti tra le bande.

Significato e Rivendicazioni

Il documento sostiene che le differenze strutturali tra i circuiti sono insufficienti come prova di meccanismi distinti. La "specializzazione" osservata è un artefatto fantasma del processo di estrazione (potatura greedy su percorsi ridondanti) e della metodologia di valutazione (granularità a livello di sorgente).

Gli autori affermano che:

La degenerazione è prevalente: Gli algoritmi di scoperta campionano da una classe di equivalenza di sottografi strutturalmente distinti ma funzionalmente intercambiabili, analogamente alla degenerazione biologica.
La granularità conta: La struttura causale di un modello si manifesta diversamente a diversi livelli di descrizione. La valutazione a livello di sorgente crea uno "stato macroscopico" di apparente fedeltà che collassa la degenerazione sottostante, mentre la valutazione a livello di arco rivela la vera mappatura molti-a-uno.
Spostamento Metodologico: Per evitare di interpretare erroneamente gli artefatti di estrazione come specializzazione funzionale, il lavoro futuro deve impiegare test di trasferimento tra le condizioni, dare priorità alla valutazione a livello di arco e utilizzare molteplici estrazioni per distinguere i meccanismi stabili dal rumore.

Il documento conclude che un singolo circuito scoperto non dovrebbe essere trattato come identificatore unico del meccanismo sottostante, poiché lo stesso compito può essere implementato da molteplici configurazioni strutturali valide a seconda delle statistiche di input e delle scelte di estrazione.