Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

Sintesi Tecnica: Struttura Intrinseca: Identificabilità Spettrale per l'Interpretabilità Meccanicistica

Enunciato del Problema
L'interpretabilità meccanicistica (MI) mira a spiegare il comportamento delle reti neurali identificando i circuiti interni. Tuttavia, esiste un divario fondamentale: i metodi attuali, come gli Sparse Autoencoders (SAE), soffrono di variabilità tra una corsa e l'altra, dove diversi seed di addestramento o larghezze del dizionario recuperano caratteristiche materialmente diverse dalle stesse attivazioni. Non esiste una garanzia teorica che tali strutture scoperte siano proprietà intrinseche del modello o semplici artefatti della procedura di scoperta. Questo articolo affronta la questione dell'identificabilità: possiamo definire un primitivo meccanicistico che sia unicamente determinato dal modello stesso, indipendentemente dal sistema di coordinate o dall'algoritmo di recupero specifico?

Metodologia
Gli autori riformulano il passaggio forward del transformer come un sistema dinamico controllato dove la profondità agisce come tempo.

1. Formulazione del Sistema Dinamico: Sia $x_\ell$ lo stato dello stream residuo al livello $\ell$ e $u_\ell$ l'input di controllo esogeno (scritture dell'attenzione). L'aggiornamento del livello è modellato come $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$, dove $m$ rappresenta il sottolivello MLP.
2. Lifting di Koopman: La dinamica non lineare $F$ viene elevata (lifted) a un operatore lineare $\mathcal{K}$ che agisce su uno spazio di osservabili $\Psi$. Se lo span del dizionario $\mathcal{H}_N$ è K-invariante (chiuso sotto le dinamiche), l'operatore si restringe a una matrice a dimensione finita $A$.
3. Realizzazione di Koopman: Il sistema è rappresentato da una terna $(A, B, C)$, dove $A$ è la matrice di transizione, $B$ codifica la risposta del controllo e $C$ è la lettura (read-out). Lo spettro $\sigma(A)$ (autovalori) è proposto come l'oggetto intrinseco e indipendente dalle coordinate di interesse.
4. Stima: Gli autori utilizzano l'Extended Dynamic Mode Decomposition with Control (EDMDc) per stimare $(A, B)$ da dati di calibrazione (stati residui e scritture dell'attenzione).
5. Framework Teorico: L'articolo stabilisce le condizioni (ricchezza del dizionario, eccitazione persistente, separazione spettrale) sotto le quali lo spettro è recuperabile.

Contributi Chiave

• Teorema di Identificabilità Spettrale (Teorema 6.1): L'articolo dimostra che lo spettro della realizzazione di Koopman è identificabile da $M$ campioni di calibrazione al tasso parametrico $M^{-1/2}$, salvo permutazione. Questo è il primo teorema di identificabilità per un primitivo di interpretabilità meccanicistica.
  • Gli autovalori sono unici salvo permutazione e invarianti rispetto a qualsiasi cambiamento di base del dizionario.
  • Un limite inferiore minimax corrispondente (Teorema 7.1) conferma che nessun estimatore può ottenere un tasso migliore in $M$.
  • Una garanzia di autovalore gap-free (Teorema 6.8) è derivata usando l'appaiamento ottimale (Wasserstein-$\infty$), eliminando la necessità di una stretta separazione spettrale per il recupero degli autovalori, sebbene la separazione rimanga necessaria per il recupero degli autovettori.
• Robustezza alle Code Pesanti (Teorema 7.2): Gli autori estendono la garanzia di identificabilità alle attivazioni con code pesanti utilizzando un estimatore median-of-means, mostrando che il tasso $M^{-1/2}$ si mantiene sotto condizioni del quarto momento.
• Dissociazione Modale-Principale (Teorema 8.1): L'articolo dimostra una dissociazione strutturale: se la realizzazione è non-normale (il che è confermato da misurazioni empiriche), le direzioni principali delle attivazioni (massimizzanti della varianza) non possono coincidere con i modi di Koopman (portatori di dinamica). Ciò implica che l' "oggetto identificabile" (spettro) e l' "oggetto leggibile" (componenti principali) sono distinti.
• Completezza Algebrica del Calcolo di Intervento (Teorema 9.2): I proiettori spettrali di $A$ generano un'algebra commutativa che è completa per gli interventi di primo ordine (patching delle attivazioni, patching dei percorsi, ecc.), fornendo un rappresentante a forma chiusa unico per qualsiasi intervento sulle dinamiche elevate.
• Origine Strutturale della Variabilità degli SAE (Teorema 9.5): L'articolo dimostra che la variabilità run-to-run degli SAE è una conseguenza strutturale della loro funzione obiettivo, che non riesce a imporre la K-invarianza (DR2). Viene proposta una penalità di invarianza esplicita come rimedio.
• Riduzione Dipendente dall'Istanza (Teorema 10.1): Viene derivato un certificato di riduzione del modello che sfrutta il basso rango effettivo delle scritture dell'attenzione, offrendo un certificato di errore strettamente più acuto dei classici limiti Enns–Glover nel regime transformer.

Risultati Sperimentali
La teoria è stata valutata su tre transformer pre-addestrati: GPT-2 small, Gemma-2-2B e Qwen3-8B-Base.

• Convergenza: La distanza spettrale tra le stime split-half converge all'aumentare di $M$. Su Qwen3-8B-Base, il dizionario spettrale ha raggiunto l'esponente previsto di $-0.506 \pm 0.031$, corrispondendo al tasso teorico $M^{-1/2}$.
• Gap di Invarianza SAE: I dizionari degli SAE hanno mostrato residui di proiezione significativamente più grandi (violazioni di invarianza) rispetto ai dizionari spettrali e casuali, confermando il Teorema 9.5. Questo gap si è dimostrato sensibile alle regole di selezione delle feature (es. varianza vs frequenza).
• Performance degli Interventi: Quando testati sul circuito di Indirect Object Identification (IOI), i modi di Koopman hanno superato le direzioni casuali ma hanno sottoperformato rispetto alla Principal Component Analysis (PCA) nell'ablatore il comportamento del circuito. Il gap di performance è diminuito di $4.1\times$ all'aumentare della distanza di profondità, in linea con il teorema di dissociazione.
• Criterio di Universalità: Un test spettrale sulla universalità cross-model non ha distinto tra le repliche di seed della stessa architettura, indicando che il bias di mismatch del dizionario (non solo l'errore di campionamento) limita gli attuali proclami di universalità.
• Code Pesanti: Contrariamente alle aspettative, il processo di "lifting" (funzioni di Fourier casuali) ha efficacemente rimosso le code pesanti dallo stream residuo, rendendo l'estimatore robusto median-of-means non necessario per i dizionari specifici testati (eccetto per un livello specifico di Qwen3).

Significato e Rivendicazioni
L'articolo rivendica di porre l'interpretabilità meccanicistica su un rigoroso fondamento di identificabilità.

1. Impronta Digitale Intrinseca: Lo spettro di Koopman è un'impronta digitale intrinseca del modello, recuperabile con un intervallo di errore dichiarato, distinguendosi dagli artefatti del metodo di scoperta.
2. Limiti della Leggibilità: L'articolo afferma esplicitamente che l'identificabilità non implica la leggibilità. Poiché le realizzazioni dei transformer sono non-normali, i modi matematicamente identificabili (spettro di Koopman) sono strutturalmente distinti dalle direzioni basate sulla varianza (PCA) che gli esseri umani spesso trovano interpretabili.
3. Strutturale vs Algoritmico: La variabilità osservata negli SAE non è un problema di tuning, ma un fallimento strutturale dell'obiettivo di imporre l'invarianza dinamica.
4. Implicazioni per la Sicurezza: Per gli argomenti di sicurezza che richiedono l'identificazione di un meccanismo $Y$ responsabile del comportamento $X$, questo lavoro fornisce un certificato che $Y$ è una proprietà del modello piuttosto che della procedura. Tuttavia, avverte che questo certificato non garantisce la copertura comportamentale o la leggibilità umana.

Gli autori concludono che, sebbene lo spettro di Koopman fornisca una decomposizione matematicamente solida delle dinamiche di profondità del transformer, non è un sostituto diretto della scoperta di circuiti leggibili dall'uomo, e i due oggetti (identificabile vs leggibile) sono fondamentalmente diversi nel regime non-normale occupato da questi modelli.