Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

Technisches Resümee: Intrinsische Struktur: Spektrale Identifizierbarkeit für Mechanistische Interpretierbarkeit

Problemstellung
Die mechanistische Interpretierbarkeit (MI) zielt darauf ab, das Verhalten neuronaler Netze zu erklären, indem sie interne Schaltkreise identifiziert. Es besteht jedoch eine fundamentale Lücke: Aktuelle Methoden, wie etwa Sparse Autoencoder (SAEs), leiden unter einer Variabilität zwischen den Durchläufen, bei der unterschiedliche Trainings-Seeds oder Wörterbuchbreiten materiell verschiedene Merkmale aus denselben Aktivierungen rekonstruieren. Es gibt keine theoretische Garantie dafür, dass diese entdeckten Strukturen intrinsische Eigenschaften des Modells sind oder lediglich Artefakte des Entdeckungsverfahrens darstellen. Diese Arbeit adresset die Frage der Identifizierbarkeit: Können wir ein mechanistisches Primitiv definieren, das durch das Modell selbst eindeutig bestimmt wird, unabhängig vom Koordinatensystem oder dem spezifischen Rekonstruktionsalgorithmus?

Methodik
Die Autoren formulieren den Transformer-Forward-Pass als ein kontrolliertes dynamisches System, wobei die Tiefe als Zeit fungiert.

1. Formulierung des dynamischen Systems: Sei $x_\ell$ der Zustand des Residual-Streams in Schicht $\ell$ und $u_\ell$ der exogene Kontrollinput (Attention-Writes). Die Schichtaktualisierung wird modelliert als $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$, wobei $m$ die MLP-Subschicht repräsentiert.
2. Koopman-Lifting: Die nichtlineare Dynamik $F$ wird auf einen linearen Operator $\mathcal{K}$ gehoben, der auf einem Raum von Observablen $\Psi$ wirkt. Wenn der Wörterbuch-Spann $\mathcal{H}_N$ K-invariant ist (abgeschlossen unter der Dynamik), beschränkt sich der Operator auf eine endlichdimensionale Matrix $A$.
3. Koopman-Realisation: Das System wird als Tripel $(A, B, C)$ dargestellt, wobei $A$ die Übergangsmatrix ist, $B$ die Antwort auf die Steuerung kodiert und $C$ den Read-out darstellt. Das Spektrum $\sigma(A)$ (Eigenwerte) wird als das intrinsische, koordinatenfreie Objekt der Untersuchung vorgeschlagen.
4. Schätzung: Die Autoren verwenden die Extended Dynamic Mode Decomposition with Control (EDMDc), um $(A, B)$ aus Kalibrierungsdaten (Residual-Zustände und Attention-Writes) zu schätzen.
5. Theoretischer Rahmen: Die Arbeit etabliert Bedingungen (Reichtum des Wörterbuchs, persistente Erregung, spektrale Separation), unter denen das Spektrum rekonstruierbar ist.

Zentrale Beiträge

• Spektrale Identifizierbarkeitstheorema (Theorem 6.1): Die Arbeit beweist, dass das Spektrum der Koopman-Realisation aus $M$ Kalibrierungsproben mit der parametrischen Rate $M^{-1/2}$ identifizierbar ist, bis auf eine Permutation. Dies ist das erste Identifizierbarkeitstheorem für ein mechanistisches-interpretierbares Primitiv.
  • Die Eigenwerte sind eindeutig bis auf Permutation und invariant gegenüber jeder Änderung der Wörterbuchbasis.
  • Eine passende Minimax-Untere Schranke (Theorem 7.1) bestätigt, dass kein Schätzer eine bessere Rate in Bezug auf $M$ erreichen kann.
  • Eine lückenlose Eigenwertgarantie (Theorem 6.8) wird unter Verwendung von optimalem Matching (Wasserstein-$\infty$) hergeleitet, wodurch die Notwendigkeit einer strikten spektralen Separation für die Eigenwertrekonstruktion entfällt, obwohl Separation für die Eigenvektorrekonstruktion weiterhin notwendig bleibt.
• Robustheit gegenüber Heavy Tails (Theorem 7.2): Die Autoren erweitzierten die Identifizierbarkeitsgarantie auf schwerfällige (heavy-tailed) Aktivierungen mittels eines Median-of-Means-Schätzers und zeigten, dass die $M^{-1/2}$-Rate unter Bedingungen des vierten Moments gilt.
• Modale-Prinzipale Dissoziation (Theorem 8.1): Die Arbeit beweist eine strukturelle Dissoziation: Wenn die Realisation nicht-normal ist (was empirische Messungen bestätigen), können die Hauptrichtungen der Aktivierungen (Varianz-maximierend) nicht mit den Koopman-Moden (Dynamik-tragend) übereinstimmen. Dies impliziert, dass das „identifizierbare Objekt“ (Spektrum) und das „lesbare Objekt“ (Hauptkomponenten) distinkt sind.
• Algebraische Vollständigkeit des Interventionskalküls (Theorem 9.2): Die Spektralprojektoren von $A$ erzeugen eine kommutative Algebra, die vollständig für First-Order-Interventionen (Activation Patching, Path Patching etc.) ist und einen eindeutigen geschlossenen Repräsentanten für jede Intervention auf den gehobenen Dynamiken bereitstellt.
• Struktureller Ursprung der SAE-Variabilität (Theorem 9.5): Die Arbeit zeigt, dass die Run-to-Run-Variabilität von SAEs eine strukturelle Konsequenz ihrer Zielfunktion ist, welche die K-Invarianz (DR2) nicht erzwingt. Eine explizite Invarianz-Straffunktion wird als Abhilfe vorgeschlagen.
• Instanzabhängige Reduktion (Theorem 10.1): Eine zertifizierte Modellreduktions-Schranke wird hergeleitet, welche die geringe effektive Rank der Attention-Writes ausnutzt und eine streng schärfere Fehlerschertifizierung bietet als klassische Enns–Glover-Schranken im Transformer-Regime.

Experimentelle Ergebnisse
Die Theorie wurde an drei vortrainierten Transformern evaluiert: GPT-2 small, Gemma-2-2B und Qwen3-8B-Base.

• Konvergenz: Die spektrale Distanz zwischen Split-Half-Schätzungen konvergiert mit zunehmendem $M$. Auf Qwen3-8B-Base erreichte das spektrale Wörterbuch den vorhergesagten Exponenten von $-0.506 \pm 0.031$, was die theoretische $M^{-1/2}$-Rate bestätigt.
• SAE-Invarianz-Gap: SAE-Wörterbücher zeigten signifikant größere Projektionsresiduen (Invarianzverletzungen) im Vergleich zu spektralen und zufälligen Wörterbüchern, was Theorem 9.5 bestätigt. Dieser Gap erwies sich als sensitiv gegenüber Feature-Selektionsregeln (z. B. Varianz vs. Frequenz).
• Interventionsleistung: Beim Testen des Indirect Object Identification (IOI) Schaltkreises übertrafen die Koopman-Moden zufällige Richtungen, aber blieben hinter der Hauptkomponentenanalyse (PCA) zurück, wenn es darum ging, das Verhalten des Schaltkreises zu ablaten. Die Leistungsdifferenz nahm mit zunehmender Tiefendistanz um den Faktor $4.1\times$ ab, was konsistent mit dem Dissoziations-Theorem ist.
• Universalitätskriterium: Ein Spektraltest auf Modell-Universalität konnte keine Unterscheidung zwischen Seed-Replikas derselben Architektur treffen, was darauf hindeutet, dass Dictionary-Mismatch-Bias (nicht nur Sampling-Fehler) aktuelle Universalitätsansprüche einschränkt.
• Heavy Tails: Entgegen der Erwartungen entfernte der „Lifting“-Prozess (Random Fourier Features) die Heavy Tails aus dem Residual-Stream effektiv, wodurch der robuste Median-of-Means-Schätzer für die getesteten Wörterbücher weitgehend unnötig wurde (außer in einer spezifischen Schicht von Qwen3).

Bedeutung und Behauptungen
Die Arbeit beansprucht, die mechanistische Interpretierbarkeit auf ein rigoroses Fundament der Identifizierbarkeit zu stellen.

1. Intrinsischer Fingerabdruck: Das Koopman-Spektrum ist ein intrinsischer, modell-eigener Fingerabdruck, der mit einem angegebenen Fehlerbereich rekonstruierbar ist und somit zwischen einem Artefakt der Entdeckungsmethode und einer echten Eigenschaft unterscheidet.
2. Grenzen der Lesbarkeit: Die Arbeit behauptet explizit, dass Identifizierbarkeit nicht mit Lesbarkeit gleichzusetzen ist. Da Transformer-Realisationen nicht-normal sind, sind die mathematisch identifizierbaren Moden (Koopman-Spektrum) strukturell verschieden von den varianzbasierten Richtungen (PCA), die Menschen oft als interpretierbar empfinden.
3. Strukturell vs. Algorithmisch: Die beobachtete Variabilität in SAEs ist kein Tuning-Problem, sondern ein strukturelles Versagen der Zielfunktion, die dynamische Invarianz nicht erzwingt.
4. Sicherheitsimplikationen: Für Sicherheitsargumente, die die Identifizierung eines Mechanismus $Y$ erfordern, der für ein Verhalten $X$ verantwortlich ist, liefert diese Arbeit ein Zertifikat dafür, dass $Y$ eine Eigenschaft des Modells und nicht des Verfahrens ist. Sie warnt jedoch davor, dass dieses Zertifikat keine Garantie für die verhaltensbezogene Abdeckung oder die menschliche Lesbarkeit bietet.

Die Autoren kommen zu dem Schluss, dass das Koopman-Spektrum zwar eine mathematisch fundierte, identifizierbare Zerlegung der Transformer-Tiefendynamik bietet, aber kein direkter Ersatz für die menschlich lesbare Entdeckung von Schaltkreisen ist, und dass die beiden Objekte (identifizierbar vs. lesbar) im nicht-normalen Regime, in dem sich diese Modelle bewegen, fundamental unterschiedlich sind.