Riepilogo Tecnico: Tutti i Circuiti Conducono a Roma

Enunciato del Problema

Il documento mette in discussione un'assunzione centrale, in gran parte implicita, nel campo dell'interpretabilità meccanica, nota come Ipotesi di Anisotropia Funzionale. Tale ipotesi postula che capacità o compiti specifici all'interno dei Modelli Linguistici su Larga Scala (LLM) siano supportati da un singolo meccanismo interno unico o quasi unico (un circuito o fascio specifico). Secondo questa visione, le funzioni del modello sono assunte essere distribuite in modo anisotropo, il che significa che ogni capacità corrisponde a un unico sottografo privilegiato.

Gli autori sostengono che questa assunzione sia alla base dei paradigmi di valutazione dominanti nella Scoperta di Circuiti e Fasci (CSD), dove il successo è misurato dal recupero di un circuito "verità fondamentale" o dalla ricerca del meccanismo più piccolo possibile che preservi le prestazioni del compito. Il documento si chiede se questi metodi stiano effettivamente identificando un meccanismo sottostante unico o semplicemente una delle molte realizzazioni possibili.

Metodologia

Per indagare sistematicamente l'esistenza di meccanismi in competizione, gli autori introducono la Repulsione del Fascio Consapevole delle Sovrapposizioni (OASR).

1. Framework di Scoperta del Fascio: Il lavoro si basa sul framework DiscoGP, che formula la scoperta del fascio come un problema di selezione degli archi differenziabile. Un fascio è definito come un sottografo che contribuisce causalmente al calcolo e può sostenere indipendentemente le prestazioni del compito (a differenza di un circuito standard che potrebbe fare affidamento su attivazioni corrette).
2. Meccanismo OASR: I metodi di scoperta standard convergono spesso verso soluzioni simili a causa dell'inizializzazione casuale o dei paesaggi di ottimizzazione. OASR modifica la funzione obiettivo aggiungendo una perdita di sovrapposizione ($L_{overlap}$) esplicita.
   • Dopo aver scoperto un fascio iniziale $R$, il metodo penalizza l'attivazione attesa degli archi già selezionati in $R$.
   • L'obiettivo combinato è: $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • Questa "repulsione" costringe l'ottimizzatore a trovare fasci alternativi che siano fedeli al compito ma strutturalmente distinti (minimizzando l'Intersezione-sull'Unione, o IoU) rispetto a quelli scoperti in precedenza.
3. Ambito Sperimentale: Gli autori applicano OASR su più compiti di riferimento (Identificazione dell'Oggetto Indiretto [IOI], BLiMP, AGA, ANA, varianti del DNA e Docstring) e modelli (GPT-2 Small e Pythia-160M). Validano inoltre i loro risultati attraverso altri metodi CSD, tra cui ACDC (euristica), EAP (attribuzione basata sul gradiente) e Potatura degli Archi (EP).

Risultati Chiave

1. Esistenza di Fasci Funzionalmente Equivalenti a Bassa Sovrapposizione

La principale scoperta empirica è che un singolo compito LLM può essere eseguito fedelmente da più fasci strutturalmente distinti.

• Caso di Studio IOI: Utilizzando OASR, gli autori hanno scoperto due fasci per il compito IOI che hanno entrambi raggiunto il 100% di accuratezza. Tuttavia, la loro sovrapposizione strutturale (IoU) era solo del 4,1%, vicina alla probabilità casuale.
• Generalizzazione: Questo fenomeno vale per tutti i benchmark testati. Per ogni compito, sono stati scoperti coppie di fasci con alte prestazioni ma IoU molto bassa (tipicamente 4–11%).
• Effetto di Scalatura: All'aumentare del numero di fasci scoperti (fino a 20 esecuzioni), l'intersezione reciproca degli archi si riduce drasticamente (spesso a <1% di IoU), mentre l'unione degli archi cresce. Ciò indica che lo spazio dei meccanismi validi è vasto e non converge verso un singolo nucleo.

2. Persistenza tra i Metodi

Il collasso dell'anisotropia funzionale non è un artefatto del solo metodo OASR o di DiscoGP:

• ACDC: Variare l'ordine di attraversamento delle teste di attenzione (una scelta di ordinamento non semantica) ha portato a circuiti significativamente diversi con bassa IoU, nonostante l'uso delle stesse soglie.
• EAP: Cambiare informazioni irrilevanti per il compito (ad esempio, scambiare nomi nei prompt IOI) ha portato a circuiti sistematicamente diversi, mettendo in discussione la stabilità dei metodi basati sull'attribuzione.
• Potatura degli Archi: Quando si utilizzano funzioni di perdita specifiche per il compito, anche EP ha mostrato un'alta diversità nei circuiti scoperti, simile a DiscoGP.

3. Assenza di Componenti Indispensabili

Gli autori hanno testato una versione "indebolita" dell'ipotesi di anisotropia: che, sebbene esistano più fasci, potrebbero condividere un piccolo "nucleo" essenziale di archi indispensabili.

• Fascio Ultra-Sparso: Hanno identificato un fascio a tre archi ultra-sparso per IOI che ha raggiunto il 86,7% di accuratezza in isolamento.
• Non-Indispensabilità: Tuttavia, quando il compito è stato decomposto (ad esempio, separando i template ABBA e BABA) o quando questi tre archi sono stati esplicitamente vietati, il processo di scoperta ha comunque trovato altri fasci sparsi ad alte prestazioni.
• Conclusione: Nessun singolo arco (né even il nucleo a tre archi) è strettamente indispensabile per tutti i meccanismi funzionalmente validi. La presunta "essenzialità" del nucleo emerge solo quando il compito è trattato come un aggregato complessivo.

4. Analisi Teorica

Il documento propone l'Ipotesi del Circuito Denso Distributivo per spiegare questi risultati.

• Dimostrazione Teorica: Sotto ipotesi lievi (additività residua e linearità locale), gli autori dimostrano l'esistenza di più circuiti strutturalmente distinti e a bassa sovrapposizione che sono $\epsilon$-fedeli allo stesso compito.
• Meccanismo: Negli spazi ad alta dimensionalità, il numero di possibili sottoinsiemi di archi cresce in modo combinatorio. A causa della sovrapposizione lineare, sottoinsiemi distinti di archi possono produrre vettori di lettura quasi identici (collisioni di somma di sottoinsiemi). Se la decisione del compito è protetta da un margine finito, queste differenze strutturali non influenzano la previsione finale, permettendo molteplici spiegazioni valide.

Significato e Affermazioni

Il documento non afferma di invalidare la Scoperta di Circuiti e Fasci (CSD) come campo; piuttosto, invita a una ripensamento fondamentale di come i risultati CSD debbano essere interpretati e valutati.

• Rifiuto dell'Unicità: I risultati suggeriscono che le spiegazioni meccaniche negli LLM sono intrinsecamente non canoniche. Un circuito o fascio scoperto rappresenta una realizzazione valida tra molte in uno spazio di meccanismi funzionalmente equivalenti, non il meccanismo sottostante a un compito.
• Critica alla Valutazione: I paradigmi di valutazione attuali che cercano una "verità fondamentale" o un circuito unico "minimale" si basano su un'assunzione errata. Il documento sostiene che la ricerca di un singolo sottografo sparso e indispensabile sia insufficiente a spiegare la non unicità empirica osservata.
• Visione Distribuita: Gli autori sostengono una visione distribuita del calcolo, dove il comportamento del compito emerge da un regime denso di meccanismi in competizione e parzialmente ridondanti.
• Implicazioni: Ciò sfida la nozione di componenti "essenziali" e suggerisce che la ridondanza negli LLM non è meramente un sistema di backup latente (attivato solo in caso di ablazione), ma una caratteristica fondamentale del normale funzionamento del modello.

In sintesi, il documento fornisce sia prove empiriche che giustificazioni teoriche del fatto che "Tutti i Circuiti Conducono a Roma": molteplici percorsi strutturali distinti possono e supportano lo stesso comportamento funzionale negli LLM, minando l'assunzione di anisotropia funzionale.