The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

Technische Zusammenfassung: Die Geometrische Wand: Die Mannigfaltigkeitsstruktur sagt die Skalierungsgesetze von schichtweisen Sparse Autoencodern voraus

Problemstellung
Sparse Autoencoder (SAEs) operationalisieren die Hypothese der linearen Repräsentation (LRH), indem sie Modellaktivierungen als spärliche lineare Kombinationen von Wörterbuchatomen rekonstruieren. Dieser Ansatz geht implizit davon aus, dass der Aktivierungsraum durch eine global lineare Struktur gut angenähert wird. Die bestehenden Skalierungsgesetze für den Rekonstruktionsverlust von SAEs – insbesondere das gemeinsame Potenzgesetz, das den Verlust mit der Wörterbuchbreite ($n$) und der Sparsity ($k$) in Beziehung setzt – wurden jedoch nur an einzelnen Schichten (z. B. GPT-4 Schicht 5/6) angepasst und berücksichtigen nicht die scharfe Variation des Rekonstruktionsfehlers, die über verschiedene Schichten eines Netzwerks hinweg beobachtet wird.

Die Arbeit argumentiert, dass diese Variation nicht lediglich eine Ressourcenbeschränkung ist, sondern ein empirisches Indiz für eine geometrische Diskrepanz. Während SAEs eine flache, global lineare Basis voraussetzen, sind die Aktivierungsmannigfaltigkeiten großer Sprachmodelle gekrümmt, und ihre intrinsische Dimension variiert systematisch mit der Tiefe. Folglich kann kein einzelnes spärliches lineares Wörterbuch diese Mannigfaltigkeiten einheitlich abbilden, wodurch die Breite-Sparsity-Skalierung des SAE zu einer schichtabhängigen Funktion der Mannigfaltigkeitsgeometrie wird, anstatt ein universelles Gesetz zu sein.

Methodik
Die Autoren führen die erste schichtenübergreifende Skalierungsstudie durch, indem sie 844 Checkpoints für SAEs im Residualstream der Gemma Scope-Familie verwenden, die alle 26 Schichten von Gemma 2 2B und alle 42 Schichten von Gemma 2 9B abdecken. Die Analyse erfolgt in zwei Stufen:

1. Stufe 1: Anpassung der Skalierungsfläche pro Schicht

   • Für jede Schicht passen die Autoren eine „no-floor"-log-lineare Skalierungsfläche an den Rekonstruktionsverlust ($L$) als Funktion der Wörterbuchbreite ($n$) und der Sparsity ($k$) an.
   • Aufgrund der begrenzten Breiteabdeckung an den meisten Schichten (nur zwei Backbone-Breiten verfügbar) passen sie eine 4-Parameter-Oberfläche an: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
   • Daraus leiten sie den schichtweisen Breite-Skalierungsexponenten $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$ ab.
   • An sechs „Showcase"-Schichten mit reichhaltigeren Breitenraster ($\ge3$ Breiten) führen sie eine gemeinsame nichtlineare Anpassung einer 6-Parameter-„with-floor"-Oberfläche ($L = A(k)n^{-\alpha(k)} + B(k)$) durch, um den asymptotischen Rekonstruktionsboden $B(k)$ zu identifizieren.

2. Stufe 2: Schichtenübergreifende geometrische Regression

   • Die Autoren berechnen vier schichtweise geometrische Zusammenfassungen der Aktivierungsmannigfaltigkeit unter Verwendung extrinsischer euklidischer Schätzer (TWO-NN, Multi-Scale-PCA, etc.):
     • Intrinsische Dimension ($d_{int}$): Lokale Freiheitsgrade.
     • Multi-Scale-Krümmung ($\kappa_{ms}$): Durchschnittliche Abweichung von der Tangentialebene über variierende Radien.
     • Tangentenvariation ($\kappa_{tv}$): Rate der Rotation des Tangentialraums.
     • Heterogenität ($\nu$): Lokale Variation der intrinsischen Dimension.
   • Sie regressieren die Ausgaben von Stufe 1 (insbesondere den Breite-Exponenten $\alpha_\ell(k)$ und die Koeffizienten $\beta_n, \gamma$) gegen diese geometrischen Zusammenfassungen mittels Ordinary Least Squares (OLS).
   • Hypothesentests vergleichen eine geometrieinvariante Nullhypothese ($H_0$) gegen Modelle, bei denen die Zielgröße von einzelnen Merkmalen, Paaren mit geringer Korrelation oder allen vier Merkmalen abhängt.
   • Modellübergreifende Übertragung: Koeffizienten, die an einem Modell (z. B. 2B) gelernt wurden, werden verwendet, um die schichtweisen Exponenten des anderen Modells (9B) vorherzusagen, um eine übertragbare geometrische Gesetzmäßigkeit zu testen.

Hauptbeiträge

1. Geometrischer Rahmen für SAE-Residuen: Die Arbeit liefert eine pullback-informationsgeometrische Erklärung dafür, warum Aktivierungsräume möglicherweise keine global effizienten spärlichen linearen Codes zulassen. Sie postuliert, dass die „natürliche" Metrik im Aktivierungsraum die pullback Fisher-Rao-Metrik ist, während SAEs auf den euklidischen Abstand im umgebenden Raum optimieren, was eine Diskrepanz zwischen Basis und Mannigfaltigkeit erzeugt.
2. Geometrie-konditioniertes Skalierungsgesetz: Die Autoren erweitern das Standard-Skalierungsgesetz für Breite und Sparsity auf eine geometrie-konditionierte Betrachtung. Sie zeigen, dass die Parameter des Skalierungsgesetzes (insbesondere der Breite-Exponent) schichtweise Funktionen der Geometrie der Aktivierungsmannigfaltigkeit sind.
3. Modellübergreifendes geometrisches Gesetz und Kopplung des Bodens:
   • Sie zeigen, dass Regressionskoeffizienten, die an einem Modell gelernt wurden, erfolgreich die schichtweisen Breite-Skalierungsexponenten eines anderen Modells vorhersagen, was auf ein übertragbares geometrisches Gesetz hindeutet.
   • An Showcase-Schichten korreliert die asymptotische Rekonstruktionshöhe ($B$) mit der geometrischen Ordnung: Schichten mit höherer Krümmung und intrinsischer Dimension weisen höhere irreduzible Böden auf.

Ergebnisse

• Vorhersage von Skalierungsexponenten: Die Mannigfaltigkeitsgeometrie sagt den schichtweisen Breite-Skalierungsexponenten $\alpha_\ell(k=50)$ stark voraus. Die Multi-Scale-Krümmung ($\kappa_{ms}$) ist das dominierende einzelne Merkmal und erklärt fast die gesamte schichtenübergreifende Variation im 2B-Modell sowie den Großteil im 9B-Modell.
• Übertragbarkeit: Das geometrische Gesetz ist übertragbar. An Gemma 2 2B angepasste Regressionskoeffizienten sagen die 9B-Exponenten mit hoher Genauigkeit voraus ($R^2 \approx 0,92-0,93$), und umgekehrt, was darauf hindeutet, dass die Beziehung kein Artefakt einer spezifischen Modellgröße ist.
• Die Geometrische Wand: An Schichten, an denen der asymptotische Boden identifizierbar ist, korreliert die Bodenstärke mit der geometrischen Komplexität. Höhere Krümmung und intrinsische Dimension entsprechen höheren Böden. Dies wird als ein irreduzibles Residuum zweiter Ordnung interpretiert: Ein flaches spärliches lineares Wörterbuch kann eine gekrümmte Mannigfaltigkeit nicht perfekt approximieren, wodurch ein Restfehler verbleibt, der auch dann nicht verschwindet, wenn die Wörterbuchbreite gegen unendlich geht.
• Mechanistische Interpretation: Die „geometrische Wand" ist keine Obergrenze endlicher Ressourcen, sondern eine geometrieabhängige Grenze. Höhere Krümmung erhöht die Abweichung zweiter Ordnung von der Tangentialebene, während eine höhere intrinsische Dimension den Anteil des lokalen Tangentialraums verringert, der mit einem begrenzten Atombudget abgedeckt werden kann.

Bedeutung und Behauptungen
Die Arbeit beansprucht, die SAE-Grenze als eine geometrieabhängige Wand und nicht als eine Ressourcenobergrenze neu zu fassen. Sie argumentiert, dass die Variation der SAE-Verlässlichkeit über die Schichten hinweg durch die geometrische Struktur der Aktivierungen konditioniert ist, was durch die aktuellen schichtweisen Skalierungspraktiken unmodelliert bleibt.

Die Autoren behaupten nicht, dass SAEs für die Interpretierbarkeit ungeeignet sind. Stattdessen stellen sie fest, dass das schichtweise Skalierungsverhalten fundamental durch die Mannigfaltigkeitsstruktur eingeschränkt ist, die der SAE zu rekonstruieren versucht. Die Ergebnisse deuten darauf hin, dass die „Hypothese der linearen Repräsentation" eine metrikabhängige Approximation ist; die „bedeutungsvollen linearen Richtungen" sind nicht metrikfrei, und die Ausrichtung zwischen der euklidischen Metrik im umgebenden Raum (von SAEs verwendet) und der prädiktiven pullback-Metrik variiert systematisch mit der Tiefe. Die Arbeit bietet einen diagnostischen Rahmen, um zu verstehen, wo und warum die SAE-Rekonstruktion versagt, und verknüpft dies direkt mit der intrinsischen Geometrie der versteckten Zustände des neuronalen Netzwerks.