Riepilogo Tecnico: Tracciamento di Circuiti Markoviani per la Dinamica degli Stati nei Transformer

Enunciato del Problema

L'interpretabilità meccanicistica si è concentrata prevalentemente sull'analisi di circuiti locali, caratteristiche e teste di attenzione per spiegare comportamenti isolati nei transformer. Tuttavia, i compiti di sequenza parzialmente osservabili richiedono un paradigma computazionale diverso: il modello deve mantenere e aggiornare nel tempo un riepilogo interno (stato) per informare le previsioni future. Sebbene i Modelli di Markov Nascosti (HMM) forniscano un quadro matematicamente rigoroso per tali compiti, dove la soluzione ottimale è un vettore di credenza bayesiana sugli stati latenti, manca una serie di benchmark controllati per verificare se le attivazioni dei transformer codifichino effettivamente queste dinamiche di transizione di stato. Il lavoro esistente studia spesso i componenti (sondaggio, patching, estrazione dello stato) in isolamento, senza accesso simultaneo alla verità fondamentale esatta per stati latenti, vettori di credenza e target controfattuali.

Metodologia: Tracciamento di Circuiti Markoviani (MCT)

Il documento introduce il Tracciamento di Circuiti Markoviani (MCT), una pipeline diagnostica progettata per verificare se le attivazioni dei transformer contengano una struttura di transizione di stato grossolana. La metodologia opera all'interno di un benchmark sintetico controllato utilizzando sei famiglie distinte di HMM con complessità variabili di transizione ed emissione.

Il Benchmark

Il benchmark addestra piccoli transformer causali (2 livelli, larghezza 128, ~275k parametri) su emissioni visibili provenienti da HMM dove gli stati latenti, le matrici di transizione e le probabilità di emissione sono noti esattamente. Questa configurazione fornisce:

1. Verità Fondamentale Esatta: Sequenze di stati latenti, vettori di credenza bayesiana e matrici di transizione.
2. Target Esatti: Previsioni del prossimo token ottimali secondo Bayes e target controfattuali forzati per lo stato (la distribuzione del prossimo token se lo stato latente fosse forzato a un valore specifico).

La Pipeline MCT

Dato un transformer addestrato su emissioni HMM, MCT esegue i seguenti passaggi:

1. Estrazione dello Stato: Un estrattore di stato $g$ mappa i vettori di attivazione $a_{\ell,t}$ in stati candidati discreti $z_t$. L'estrattore di riferimento utilizza il clustering K-means sulle attivazioni residue.
2. Recupero della Credenza: Una sonda lineare ridge mappa le attivazioni sul vettore di credenza bayesiana esatto per verificare se l'informazione sulla credenza è presente.
3. Recupero della Transizione: La sequenza di stati estratta viene utilizzata per stimare una matrice di transizione, che viene confrontata con la vera matrice di transizione HMM utilizzando la divergenza KL riga per riga.
4. Test dell'Ordine Markoviano: Modelli empirici di ordine 0, 1 e 2 vengono adattati agli stati estratti per valutare la forza del segnale markoviano del primo ordine.
5. Forzatura dello Stato (Intervento): Questo è il test causale fondamentale. Il centroide di un cluster di stato recuperato viene applicato (patchato) nel modello in una specifica posizione del token. L'output del modello viene quindi confrontato con il target controfattuale HMM esatto (la distribuzione risultante dalla forzatura dello stato latente). La prestazione è misurata dalla divergenza KL tra l'output del modello patchato e il target esatto.

Risultati Chiave

Apprendimento del Compito

In 18 esecuzioni (6 famiglie HMM $\times$ 3 semi), i transformer hanno appreso efficacemente il compito di previsione, ottenendo una perdita in eccesso media rispetto al predittore ottimale secondo Bayes di soli 0.0138.

Recupero dello Stato e della Transizione

• Informazione sulla Credenza: Le sonde lineari hanno confermato che l'informazione sulla credenza è recuperabile dalle attivazioni in tutte le famiglie, sebbene la qualità vari significativamente in base alla famiglia HMM.
• Struttura di Transizione: Le astrazioni di stato basate su residui e PCA hanno recuperato una struttura di transizione parziale. Il segnale è stato più forte nei regimi persistenti (transizioni appiccicose) e facilmente separabili (bassa entropia di emissione).
• Limitazioni: Il recupero è stato più debole nei regimi a emissione ambigua e a sei stati. Il clustering della credenza esatta è rimasto un limite superiore più forte rispetto al clustering derivato dalle attivazioni, suggerendo che il modello rappresenta un oggetto continuo simile alla credenza piuttosto che una copia diretta dell'etichetta latente discreta.

Forzatura dello Stato (Evidenza Causale)

L'intervento di forzatura dello stato ha fornito la prova più chiara di utilità causale:

• Prestazioni: Applicare un centroide di stato recuperato ha ridotto la divergenza KL verso il target controfattuale esatto da 0.1957 (senza patch) a 0.0532 in media.
• Controlli: Questo miglioramento ha superato significativamente i controlli, inclusi centroidi di stato errati, attivazioni medie, attivazioni casuali, centroidi di etichette mescolate e persino centroidi di stato vero in alcune metriche aggregate.
• Implicazione: L'astrazione di stato recuperata è causalmente significativa e più vicina allo stato predittivo interno del modello rispetto all'etichetta latente campionata in certi contesti.

Contributi

1. Benchmark Controllato: Un quadro unificato che fornisce etichette latenti esatte, credenze bayesiane, matrici di transizione e target controfattuali per testare i metodi di interpretabilità dei transformer.
2. Pipeline Diagnostica (MCT): Una pipeline di riferimento per mappare le attivazioni su astrazioni di stato, testare l'ordine markoviano e validare la rilevanza causale tramite forzatura dello stato.
3. Risultati Empirici: Evidenza che piccoli transformer apprendono predittori vicini all'ottimo bayesiano e che le loro attivazioni residue contengono una struttura di transizione parziale e grossolana, in particolare nei regimi con segnali di transizione forti.

Significato e Affermazioni

Il documento posiziona MCT non come un algoritmo completo per il recupero degli stati nascosti, ma come un quadro diagnostico per la dinamica degli stati nei transformer. Gli autori affermano che:

• MCT rileva con successo una struttura di transizione predittiva parziale in ambienti sintetici.
• Identifica dove i segnali di interpretabilità sono forti (regimi persistenti/facili) e dove sono deboli (regimi ambigui/ad alta entropia).
• I test di forzatura dello stato che utilizzano controfattuali HMM esatti forniscono un metodo rigoroso per valutare la rilevanza causale delle astrazioni di stato estratte.

Il lavoro è modesto per portata, riconoscendo che i compiti sono sintetici, i modelli sono minuscoli e l'estrattore di riferimento è semplice. Non afferma che il ragionamento nel linguaggio naturale possieda strutture di stato identiche, ma stabilisce piuttosto una linea di base per verificare se le astrazioni derivate dalle attivazioni possano esporre dinamiche predittive grossolane contro una verità fondamentale esatta.