The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

Technische Samenvatting: De Geometrische Muur: Manifoldstructuur Voorspelt Schaalwetten voor Laagsgewijze Sparse Auto-Encoders

Probleemstelling
Sparse Auto-Encoders (SAE's) operationaliseren de Linear Representation Hypothesis (LRH) door modelactivaties te reconstrueren als schaarse lineaire combinaties van woordenboekatomen. Deze aanpak gaat impliciet uit van de aanname dat de activatieruimte goed wordt benaderd door een globaal lineaire structuur. Echter, bestaande schaalwetten voor SAE-reconstructieverlies – specifiek de gezamenlijke machtwet die verlies relateert aan woordenbreedte ($n$) en schaarsheid ($k$) – zijn tot nu toe alleen gefit op individuele lagen (bijvoorbeeld GPT-4 laag 5/6) en houden geen rekening met de scherpe variatie in reconstructiefout die wordt waargenomen over verschillende lagen van een netwerk.

Het artikel betoogt dat deze variatie niet louter een beperking in middelen is, maar een empirische spoor van een geometrisch mismatch. Waar SAE's uitgaan van een platte, globaal lineaire basis, zijn de activatiemanifolds van grote taalkundige modellen gebogen, en varieert hun intrinsieke dimensie systematisch met de diepte. Bijgevolg kan geen enkel schaars lineair woordenboek deze manifolds uniform matchen, waardoor de schaalwet van de SAE voor breedte en schaarsheid een laag-afhankelijke functie wordt van de geometrie van de manifold in plaats van een universele wet.

Methodologie
De auteurs voeren de eerste schaalstudie over lagen uit met behulp van 844 checkpoints voor SAE's in de residustroom van de Gemma Scope-familie, die alle 26 lagen van Gemma 2 2B en alle 42 lagen van Gemma 2 9B bestrijken. De analyse verloopt in twee fasen:

1. Fase 1: Per-laags schaaloppervlak-fit

   • Voor elke laag passen de auteurs een "no-floor" log-lineair schaaloppervlak aan op het reconstructieverlies ($L$) als functie van woordenbreedte ($n$) en schaarsheid ($k$).
   • Vanwege de beperkte breedte-coverage op de meeste lagen (slechts twee backbone-breedtes beschikbaar), passen ze een 4-parameter oppervlak aan: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
   • Hieruit leiden ze de per-laags breedte-schaalexponent $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$ af.
   • Op zes "showcase"-lagen met rijkere breedte-roosters ($\ge3$ breedtes) voeren ze een gezamenlijke niet-lineaire fit uit van een 6-parameter "with-floor" oppervlak ($L = A(k)n^{-\alpha(k)} + B(k)$) om de asymptotische reconstructievloer $B(k)$ te identificeren.

2. Fase 2: Cross-laag geometrische regressie

   • De auteurs berekenen vier laagsgewijze geometrische samenvattingen van de activatiemanifold met behulp van extrinsieke Euclidische schatters (TWO-NN, multi-scale PCA, enz.):
     • Intrinsieke dimensie ($d_{int}$): Lokale vrijheidsgraden.
     • Multi-scale kromming ($\kappa_{ms}$): Gemiddelde afwijking van het raakvlak over variërende stralen.
     • Raakvariatie ($\kappa_{tv}$): Snelheid van rotatie van het raakvlak.
     • Heterogeniteit ($\nu$): Lokale variatie in intrinsieke dimensie.
   • Ze regresseren de output van Fase 1 (specifiek de breedte-exponent $\alpha_\ell(k)$ en coëfficiënten $\beta_n, \gamma$) tegen deze geometrische samenvattingen met behulp van Ordinary Least Squares (OLS).
   • Hypothesetoetsing vergelijkt een geometrie-invariante nulhypothese ($H_0$) met modellen waarbij het doel afhankelijk is van enkele kenmerken, paren van kenmerken met lage correlatie, of alle vier de kenmerken.
   • Cross-model overdracht: Coëfficiënten die op het ene model zijn geleerd (bijvoorbeeld 2B), worden gebruikt om de per-laag exponenten van het andere model (9B) te voorspellen om een overdraagbare geometrische wet te toetsen.

Belangrijkste Bijdragen

1. Geometrisch Kader voor SAE-residuen: Het artikel biedt een pullback informatie-geometrische verantwoording die uitlegt waarom activatieruimten mogelijk geen globaal efficiënte schaarse lineaire codes toelaten. Het stelt dat de "natuurlijke" metriek op de activatieruimte de pullback Fisher-Rao-metriek is, terwijl SAE's optimaliseren voor de omringende Euclidische afstand, wat een mismatch tussen basis en manifold creëert.
2. Geometrie-geconditioneerde Schaalwet: De auteurs breiden de standaard breedte-schaarsheid schaalwet uit tot een geometrie-geconditioneerde verantwoording. Ze tonen aan dat de parameters van de schaalwet (specifiek de breedte-exponent) laagsgewijze functies zijn van de geometrie van de activatiemanifold.
3. Cross-model Geometrische Wet en Koppeling van de Vloer:
   • Ze tonen aan dat regressiecoëfficiënten die op het ene model zijn geleerd, succesvol de per-laag breedte-schaalexponenten van een ander model voorspellen, wat wijst op een overdraagbare geometrische wet.
   • Op showcase-lagen volgt de asymptotische reconstructievloer ($B$) de geometrische ordening: lagen met hogere kromming en intrinsieke dimensie vertonen hogere onreduceerbare vloeren.

Resultaten

• Voorspelling van Schaal-exponenten: De manifoldgeometrie voorspelt sterk de per-laag breedte-schaalexponent $\alpha_\ell(k=50)$. Multi-scale kromming ($\kappa_{ms}$) is het dominante enkele kenmerk, wat bijna alle variatie tussen lagen in het 2B-model en het merendeel in het 9B-model verklaart.
• Overdraagbaarheid: De geometrische wet is overdraagbaar. Regressiecoëfficiënten die op Gemma 2 2B zijn gefit, voorspellen de 9B-exponenten met hoge fideliteit ($R^2 \approx 0,92-0,93$), en omgekeerd, wat suggereert dat de relatie geen artefact is van een specifieke modelgrootte.
• De Geometrische Muur: Op lagen waar de asymptotische vloer identificeerbaar is, correleert de vloergrootte met geometrische complexiteit. Hogere kromming en intrinsieke dimensie corresponderen met hogere vloeren. Dit wordt geïnterpreteerd als een onreduceerbaar residu van de tweede orde: een plat schaars lineair woordenboek kan een gebogen manifold niet perfect benaderen, waardoor een residufout overblijft die niet verdwijnt, zelfs niet als de woordenbreedte naar oneindig gaat.
• Mechanistische Interpretatie: De "geometrische muur" is geen plafond van beperkte middelen, maar een geometrie-afhankelijk limiet. Hogere kromming verhoogt de afwijking van de tweede orde ten opzichte van het raakvlak, terwijl een hogere intrinsieke dimensie het aandeel van de lokale raakruimte vermindert dat bedekt kan worden door een beperkt budget aan atomen.

Betekenis en Beweringen
Het artikel beweert de SAE-limiet te herformuleren als een geometrie-afhankelijke muur in plaats van een plafond van middelen. Het betoogt dat de variatie in SAE-trouw over lagen wordt geconditioneerd door de geometrische structuur van de activaties, wat door huidige schaalpraktijken op één laag ongemodelleerd blijft.

De auteurs beweren niet dat SAE's ongeschikt zijn voor interpretatie. In plaats daarvan stellen ze dat het laagsgewijze schaalgedrag fundamenteel wordt beperkt door de manifoldstructuur die de SAE probeert te reconstrueren. De bevindingen suggereren dat de "lineaire representatiehypothese" een metriek-afhankelijke benadering is; de "betekenisvolle lineaire richtingen" zijn niet metriek-vrij, en de uitlijning tussen de omringende Euclidische metriek (gebruikt door SAE's) en de voorspellende pullback-metriek varieert systematisch met de diepte. Het werk biedt een diagnostisch kader om te begrijpen waar en waarom SAE-reconstructie faalt, en koppelt dit direct aan de intrinsieke geometrie van de verborgen toestanden van het neurale netwerk.