Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

Technische Samenvatting: Intrinsieke Structuur: Spectrale Identificeerbaarheid voor Mechanistische Interpreteerbaarheid

Probleemstelling
Mechanistische interpreteerbaarheid (MI) streeft ernaar het gedrag van neurale netwerken uit te leggen door interne circuits te identificeren. Er bestaat echter een fundamentele kloof: huidige methoden, zoals Sparse Autoencoders (SAE's), lijden aan variabiliteit tussen verschillende runs, waarbij verschillende trainingsseeds of dictionary-breedtes materieel verschillende kenmerken uit dezelfde activaties herstellen. Er is geen theoretische garantie dat deze ontdekte structuren intrinsieke eigenschappen van het model zijn of louter artefacten van de ontdekkingsprocedure. Dit artikel adresseert de vraag van identificeerbaarheid: kunnen we een mechanistisch primitief definiëren dat uniek wordt bepaald door het model zelf, onafhankelijk van het coördinatensysteem of het specifieke herstelalgoritme?

Methodologie
De auteurs herformuleren de transformer forward pass als een gecontroleerd dynamisch systeem waarbij diepte fungeert als tijd.

1. Dynamisch Systeem Formulering: Laat $x_\ell$ de residual-stream staat zijn op laag $\ell$ en $u_\ell$ de exogene controle-input (attention writes). De laag-update wordt gemodelleerd als $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$, waarbij $m$ de MLP-sublaag representeert.
2. Koopman Lifting: De niet-lineaire dynamica $F$ wordt gelifst naar een lineaire operator $\mathcal{K}$ die werkt op een ruimte van observables $\Psi$. Als de dictionary span $\mathcal{H}_N$ K-invariant is (gesloten onder de dynamica), beperkt de operator zich tot een einddimensionale matrix $A$.
3. Koopman Realisatie: Het systeem wordt gerepresenteerd door een triple $(A, B, C)$, waarbij $A$ de transitie-matrix is, $B$ de respons op controle codeert, en $C$ de read-out is. Het spectrum $\sigma(A)$ (eigenwaarden) wordt voorgesteld als het intrinsieke, coördinaat-onafhankelijke object van belang.
4. Estimatie: De auteurs gebruiken Extended Dynamic Mode Decomposition with Control (EDMDc) om $(A, B)$ te schatten uit kalibratiedata (residual states en attention writes).
5. Theoretisch Kader: Het artikel stelt voorwaarden vast (dictionary rijkdom, persistente excitatie, spectrale separatie) waaronder het spectrum herstelbaar is.

Kernbijdragen

• Spectrale Identificeerbaarheidstelling (Theorem 6.1): Het artikel bewijst dat het spectrum van de Koopman-realisatie identificeerbaar is vanuit $M$ kalibratiesamples tegen de parametrische snelheid $M^{-1/2}$, tot op een permutatie na. Dit is de eerste identificeerbaarheidstelling voor een mechanistische-interpreteerbaarheid primitief.
  • De eigenwaarden zijn uniek tot op een permutatie en invariant onder elke verandering van de dictionary-basis.
  • Een bijbehorende minimax lower bound (Theorem 7.1) bevestigt dat geen enkele estimator een betere snelheid in $M$ kan bereiken.
  • Een gap-free eigenvalue guarantee (Theorem 6.8) wordt afgeleid met behulp van optimale matching (Wasserstein-$\infty$), waardoor de noodzaak voor strikte spectrale separatie voor eigenwaarde-herstel wordt weggenomen, hoewel separatie wel noodzakelijk blijft voor eigenvector-herstel.
• Robuustheid tegen Heavy Tails (Theorem 7.2): De auteurs breiden de identificeerbaarheidsgarantie uit naar heavy-tailed activaties met behulp van een median-of-means estimator, waarbij zij aantonen dat de $M^{-1/2}$ snelheid standhoudt onder vierde-moment condities.
• Modale-Principale Dissociatie (Theorem 8.1): Het artikel bewijst een structurele dissociatie: als de realisatie niet-normaal is (wat empirische metingen bevestigen), kunnen de hoofdrichtingen van de activaties (variantie-maximaliserend) niet samenvallen met de Koopman-modi (dynamica-dragend). Dit impliceert dat het "identificeerbare object" (spectrum) en het "leesbare object" (principale componenten) verschillend zijn.
• Algebraïsche Volledigheid van Interventie Calculus (Theorem 9.2): De spectrale projectoren van $A$ genereren een commutatieve algebra die volledig is voor eerste-orde interventies (activation patching, path patching, etc.), wat een unieke gesloten-vorm representant biedt voor elke interventie op de gelifte dynamica.
• Structurele Oorsprong van SAE Variabiliteit (Theorem 9.5): Het artikel demonstreert dat de run-to-run variabiliteit van SAE's een structureel gevolg is van hun objectieve functie, die faalt om K-invariantie af te dwingen (DR2). Een expliciete invariantie-penalty wordt voorgesteld als remedie.
• Instance-Dependent Reductie (Theorem 10.1): Een gecertificeerde modelreductie-bound wordt afgeleid die gebruikmaakt van de lage effectieve rang van attention writes, wat een strikt scherpere error-certificaat biedt dan klassieke Enns–Glover bounds in het transformer-regime.

Experimentele Resultaten
De theorie werd geëvalueerd op drie pretrained transformers: GPT-2 small, Gemma-2-2B, en Qwen3-8B-Base.

• Convergentie: De spectrale afstand tussen split-half schattingen convergeert naarmate $M$ toeneemt. Op Qwen3-8B-Base bereikte de spectrale dictionary de voorspelde exponent van $-0.506 \pm 0.031$, wat overeenkomt met de theoretische $M^{-1/2}$ snelheid.
• SAE Invariantie Gap: SAE dictionaries vertoonden significant grotere projectie-residuen (invariantie-schendingen) vergeleken met spectrale en random dictionaries, wat Theorem 9.5 bevestigt. Deze gap bleek gevoelig voor feature selectie regels (bijv. variantie versus frequentie).
• Interventie Prestaties: Wanneer getest op de Indirect Object Identification (IOI) circuit, presteerden Koopman modi beter dan random richtingen, maar minder goed dan Principal Component Analysis (PCA) bij het ableren van het gedrag van de circuit, wat de dissociatie-stelling bevestigt. Het prestatie-gat nam met een factor $4.1\times$ af naarmate de diepte-afstand toenam.
• Universaliteitscriterium: Een spectrale test voor cross-model universaliteit slaagde er niet in om seed-replica's van dezelfde architectuur te onderscheiden, wat aangeeft dat dictionary mismatch bias (niet alleen sampling error) de huidige universaliteitsclaims beperkt.
• Heavy Tails: Tegen de verwachting in, verwijderde het "lifting" proces (random Fourier features) de heavy tails effectief uit de residual stream, waardoor de robuuste median-of-means estimator niet noodzakelijk was voor de specifieke geteste dictionaries (behalve in één specifieke laag van Qwen3).

Betekenis en Claims
Het artikel claimt de mechanistische interpreteerbaarheid op een rigoureuze identificeerbaarheidsgrondslag te plaatsen.

1. Intrinsieke Vingerafdruk: Het Koopman spectrum is een intrinsieke, model-intrinsieke vingerafdruk die herstelbaar is met een gestelde foutmarge, wat het onderscheidt van artefacten van de ontdekkingsmethode.
2. Limieten van Leesbaarheid: Het artikel claimt expliciet dat identificeerbaarheid niet impliceert dat het leesbaar is. Omdat transformer realisaties niet-normaal zijn, zijn de mathematisch identificeerbare modi (Koopman spectrum) structureel verschillend van de variantie-gebaseerde richtingen (PCA) die mensen vaak interpreteerbaar vinden.
3. Structureel vs. Algoritmisch: De variabiliteit waargenomen in SAE's is geen afstemmingsprobleem, maar een structureel falen van de objectieve functie om dynamische invariantie af te dwingen.
4. Veiligheidsimplicaties: Voor veiligheidsargumenten die vereisen dat een mechanisme $Y$ verantwoordelijk voor gedrag $X$ wordt geïdentificeerd, biedt dit werk een certificaat dat $Y$ een eigenschap van het model is en niet van de procedure. Het waarschuwt echter dat dit certificaat geen garantie biedt voor gedragsmatige dekking of menselijke leesbaarheid.

De auteurs concluderen dat hoewel het Koopman spectrum een mathematisch solide, identificeerbare decompositie biedt van transformer diepte-dynamica, het geen directe vervanging is voor menselijk-leesbare circuit ontdekking, en dat de twee objecten (identificeerbaar versus leesbaar) in het niet-normale regime waarin deze modellen zich bevinden, fundamenteel verschillend zijn.