Sintesi Tecnica: Apprendimento di Circuiti Scalabile per l'Interpretazione di Grandi Modelli Linguistici

1. Definizione del Problema

L'interpretabilità meccanicistica mira a scoprire il "perché" dietro i comportamenti dei Grandi Modelli Linguistici (LLM) identificando i circuiti: sottografi compatti che collegano componenti chiave (ad esempio, teste di attenzione, neuroni) che guidano specifiche capacità. Tuttavia, gli attuali metodi di apprendimento dei circuiti affrontano due colli di bottiglia primari:

1. Polisemia: I neuroni grezzi negli LLM sono polisemici, il che significa che un singolo neurone si attiva per molteplici concetti non correlati tra loro. Ciò risulta in circuiti appresi densi, rumorosi e difficili da interpretare per l'essere umano.
2. Scalabilità: Sebbene gli Autoencoder Sparsi (SAE) offrano una soluzione scomponendo le attivazioni in feature ad alta dimensionalità e monosemantiche (a singolo concetto), gli attuali metodi di apprendimento dei circuiti basati su interventi (ad esempio, causal tracing, attribution patching) non scalano alla dimensionalità elevata delle feature degli SAE. Questi metodi richiedono costose controfattuali interazioni (passaggi forward e backward) per ogni componente, rendendoli proibitivi per modelli grandi e spazi di feature ad alta dimensionalità.

2. Metodologia: CircuitLasso

Gli autori propongono CircuitLasso, un approccio di apprendimento dei circuiti scalabile che sostituisce le costose pipeline basate su interventi con un framework di regressione lineare sparsa.

Formulazione Core

Invece di stimare gli effetti causali tramite interventi, CircuitLasso tratta il grafo computazionale dell'LLM come un Modello di Equazioni Strutturali (SEM) lineare sparso. Dato $N$ componenti (neuroni o feature SAE) e $M$ osservazioni, il metodo cerca una matrice di adiacenza pesata $A$ tale che:
$$X \approx A^\top X$$
dove $X$ è la matrice delle attivazioni. L'obiettivo è apprendere un Grafo Aciclico Diretto (DAG) che rappresenti le dipendenze minimizzando l'errore di ricostruzione soggetto a vincoli di sparsità ($\ell_1$ penalty) e aciclicità:
$$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$$

Gestione dei Vincoli e Scalabilità

• Aciclicità: Invece di imporre complessi vincoli di aciclicità continui (che sono computazionalmente pesanti), CircuitLło sfrutta la nota architettura feed-forward dei Transformer. Assume una struttura a blocchi superiore triangolare in cui lo strato $i$ dipende solo dagli strati $j < i$. Ciò trasforma il problema in una serie di sottoproblemi Lasso (regressione lineare sparsa) indipendenti, risolvibili efficientemente tramite l'algoritmo FISTA.
• Dati Osservativi: Il metodo opera esclusivamente su dati osservativi (attivazioni da un passaggio forward), evitando la necessità dei molteplici passaggi forward/backward richiesti dai metodi basati su interventi.
• Integrazione SAE: Il framework è esteso per operare direttamente sulle feature SAE ($z \in \mathbb{R}^D$, dove $D \gg d$). Apprende le dipendenze tra le feature SAE a livello di strato e può anche collegare le feature dell'ultimo strato ai target di predizione a valle ($y$).

Analisi della Complessità

L'analisi teorica (Proposizione 3.2) dimostra che CircuitLasso offre guadagni di efficienza garantiti rispetto ai metodi basati su interventi allo stato dell'arte (come EAP-ig) sotto regimi specifici, in particolare quando il numero di posizioni dei componenti ($L$) è moderato rispetto alla lunghezza della sequenza e alle dimensioni del modello. Il costo scala con $O(M L^2 d^2)$, mentre i metodi di intervento scalano con il costo di passaggi forward/backward aggiuntivi attraverso l'intero modello.

3. Contributi Chiave

1. Algoritmo CircuitLasso: Un surrogato di regressione sparsa per la scoperta di circuiti che sostituisce le pipeline pesanti in termini di interventi con un approccio osservativo basato su Lasso.
2. Scalabilità agli SAE: Il primo metodo capace di apprendere efficientemente circuiti su feature SAE ad alta dimensionalità e monosemantiche, superando le proibizioni computazionali delle tecniche precedenti.
3. Efficienza Teorica: Un'analisi formale che stabilisce le condizioni in cui l'approccio basato su regressione è provabilmente più veloce dei baseline di intervento.
4. Validazione Empirica: Dimostrazioni su neuroni di modelli e feature SAE che mostrano come CircuitLasso raggiunga un'accuratezza strutturale comparabile ai baseline SOTA a una frazione del costo computazionale.

4. Risultati Sperimentali

Prestazioni di Benchmark (Neuroni del Modello)

Valutato su InterpBench (86 transformer semi-sintetici e il compito di Identificazione dell'Oggetto Indiretto):

• Accuratezza: CircuitLasso (variante lineare) ha ottenuto una media di Distanza di Hamming Strutturale (SHD) di 3.16, statisticamente indistinguibile dal baseline di intervento SOTA EAP-ig (2.98) e migliore di EAP (3.61).
• Efficienza: È stato 3.0 volte più veloce di EAP-ig (16.3s vs 49.1s per caso) e 2.1 volte più veloce di EAP.
• Nonlinearità: Un'estensione non lineare di CircuitLasso ha offerto miglioramenti marginali nell'accuratezza ma con un tempo di esecuzione significativamente più elevato, suggerendo che il surrogato lineare è sufficiente per recuperare lo scheletro delle dipendenze.

Caso di Studio sull'Interpretabilità (Feature SAE)

Applicato a GPT-2 Small sul dataset CoLA (Corpus of Linguistic Acceptability):

• Circuiti Monosemantici: Il metodo ha recuperato circuiti a forma di albero dove i nodi corrispondono a concetti interpretabili dall'uomo (ad esempio, "-self", "fame/sete", "punteggiatura finale").
• Propagazione Semantica: I circuiti hanno rivelato come i concetti persistano attraverso gli strati, si fondano (combinando concetti da più genitori) o decadono (ignorando determinati input).
• Causale vs Spurio: I grafi appresi hanno catturato sia le relazioni semantiche causali (ad esempio, "fame" che porta a "mangiare") sia le correlazioni spurie probabilmente introdotte dai bias del dataset (ad esempio, la co-occorrenza di "-self" e "fame").

Utilità a Valle (Generalizzazione del Dominio)

Valutato sul compito Bias-in-Bios (predire la professione mitigando al contempo il bias di genere):

• Performance: CircuitLasso ha raggiunto un'accuratezza di predizione della professione comparabile, e in alcuni casi leggermente superiore, al più forte baseline non-Oracle (SHIFT), mantenendo la fuga di genere vicino al valore ideale del 50%.
• Efficienza: Come mostrato nella Tabella 1, CircuitLasso ha richiesto significativamente meno feature e un tempo di esecuzione sostanzialmente inferiore rispetto a SHIFT. Per il modello Gemma-2-9B, CircuitLasso ha impiegato 107.4s rispetto ai 908.4s di SHIFT.

5. Significato e Rivendicazioni

Il paper sostiene che CircuitLasso affronta con successo il collo di bottiglia della scalabilità nell'interpretabilità meccanicistica. Il suo significato primario risiede nel raggiungere l'"efficienza a parità di accuratezza":

• Recupera circuiti strutturali con la stessa accuratezza dei metodi più rigorosi basati su interventi, ma a una frazione del costo computazionale.
• Permette l'uso di feature SAE monosemantiche per l'analisi dei circuiti, fornendo spiegazioni più chiare e interpretabili dall'uomo su come i concetti semantici si propagano attraverso gli LLM.
• Le intuizioni derivate da questi circuiti sono praticamente utili, consentendo compiti di generalizzazione del dominio e mitigazione del bias in modo efficace e a un costo molto più basso rispetto ai metodi esistenti.

Gli autori rimangono modesti riguardo alla natura dei pesi appresi, osservando che i coefficienti lineari rappresentano uno scheletro di dipendenza piuttosto che l'esatto effetto causale della computazione non lineare sottostante. Considerano il metodo come un surrogato di primo ordine che identifica efficacementamente quali componenti influenzano altri, piuttosto che quantificare l'esatta entità degli effetti causali.