Technische Samenvatting: Subspace-Aware Sparse Autoencoders voor Effectieve Mechanistische Interpretatie

1. Probleemstelling

Sparse Autoencoders (SAE's) zijn een primaire tool geworden voor mechanistische interpretatie in Large Language Models (LLM's), met als doel hoogdimensionale activaties te ontrafelen in ijle (sparse), interpreteerbare kenmerken. De standaard SAE's opereren echter onder een fundamentele geometrische assumptie: dat elk semantisch kenmerk overeenkomt met een enkele, eendimensionale richting in de ambivalente ruimte.

Recente empirische bewijzen suggereren dat LLM-kenmerken vaak een meerdimensionale structuur vertonen (bijv. circulaire of sferische manifolds voor concepten zoals tijd of kleur), wat aansluit bij de Multi-dimensionale Lineaire Representatiehypothese. Dit paper identificeert een kritieke incompatibiliteit tussen de vector-gebaseerde ijle assumpties van standaard SAE's en de intrinsieke meerdimensionale geometrie van LLM-kenmerken. Deze mismatch leidt tot feature splitting (kenmerkfragmentatie), waarbij één coherent semantisch kenmerk wordt gefragmenteerd over vele bijna-collineaire, redundante decoder-atomen. Deze fragmentatie vertroebelt de intrinsieke geometrie die vereist is voor interpretatie en verhoogt de sample complexiteit die nodig is om deze kenmerken te leren, aange_zien elk trainings-token een kostbare LLM forward pass vereist.

2. Methodologie

Theoretische Analyse van Feature Splitting

De auteurs formaliseren de oorzaken van feature splitting via twee mechanismen:

1. Geometrische Noodzaak (Covering Number): Om een kenmerk met een intrinsieke dimensie $d_i \ge 2$ te reconstrueren met een fout $\epsilon$ met behulp van single-direction decoders, groeit het aantal benodigde atomen exponentieel met $d_i$. Specifiek schaalt het covering number als $\Omega((t/\epsilon)^{(d_i-k)/k})$ voor een co-activatie budget $k$. In standaard SAE's waar $k=1$, dwingt dit een exponentiële explosie van atomen af om de manifold van het kenmerk te dekken.
2. Optimalisatievoorkeur (Loss Landscape): De standaard SAE-doelstelling (reconstructiefout + $\ell_1$ ijlheid) stuurt de oplossing actief naar dit gefragmenteerde regime. De auteurs bewijzen dat de ware $d_i$-dimensionale basis instabiel is onder de $\ell_1$-straf. Er bestaat een continu pad van de ware basis naar een strikt lager risico-oplossing waarbij het kenmerk wordt gedekt door vele bijna-collineaire atomen. De $\ell_1$-straf creëert een "residue" op de volledige-activatie orthant die geen enkele basis-atoom kan absorberen, wat de toevoeging van niet-basis richtingen stimuleert om de loss te verlagen.

Voorgestelde Oplossing: Subspace-Aware Sparse Autoencoders (SASA)

Om dit op te lossen, introduceren de auteurs SASA, die single-vector decoders vervangt door geleerde decoder-subspaces.

• Architectuur: De latente ruimte wordt gepartitioneerd in $K$ groepen (blocks), elk van grootte $r$. De encoder produceert pre-activaties voor deze groepen.
• Sparsity Mechanisme: In plaats van coördinaat-gewijze ijlheid, dwingt SASA block sparsity af via een Top-$s$ group gating mechanisme. Dit selecteert de $s$ groepen met de hoogste activatie-normen, waarbij de gehele groep als een enkele actieve eenheid wordt behandeld.
• Regularisatie: Een nuclear-norm regularisator wordt toegepast op de reconstructiekaart van elk blok ($W_k = D_k E_k$). Dit straft de effectieve rang van de subspace af, wat de blok aanmoedigt om alleen de dimensies te gebruiken die nodig zijn om het kenmerk te vangen terwijl ruis wordt onderdrukt.
• Trainingsdoelstelling: De doelstelling minimaliseert de reconstructiefout plus een term proportioneel aan de som van de nuclear norms van de block reconstructiekaarten.

3. Belangrijkste Bijdragen

1. Identificatie van Geometrische Mismatch: Het paper demonstreert formeel dat de vector-kenmerk assumptie van standaard SAE's fundamenteel incompatibel is met meerdimensionale kenmerkstructuren, wat causaal leidt tot feature splitting.
2. Formalisering van Feature Splitting: De auteurs bieden een principieel criterium (via covering numbers) voor wanneer een kenmerk gefragmenteerd is. Ze bewijzen dat splitting niet slechts een geometrische noodzaak is voor low-rank benadering, maar actief wordt verkozen door de standaard SAE-doelstelling vanwege de instabiliteit van de ware basis onder $\ell_1$-regularisatie.
3. Introductie van SASA: Ze stellen SASA voor, die ijlheid verschuift naar het groepsniveau en nuclear-norm regularisatie gebruikt om de effectieve rang van geleerde subspaces aan te passen.
4. Theoretische Garanties:
   • Globale Optimaliteit: Ze bewijzen dat voor een block size $r \ge d_i$, de globale minimizer van de SASA-doelstelling een enkele groep is die het kenmerk-subspace exact herstelt (uniek tot rotatie en index). Dit keert de instabiliteit gevonden in standaard SAE's om.
   • Sample Complexiteit: Ze stellen vast dat SASA de sample complexiteit voor kenmerkherstel vermindert van exponentieel (in $d_i$) naar polynoom (in $d_i$). Aangezien elke sample een LLM forward pass vereist, vermindert dit de computationele kosten van training aanzienlijk.
5. Empirische Validatie: Experimenten op GPT-2 en Mistral-7B tonen aan dat SASA feature splitting en absorptie vermindert, monosemanticity verbetert, en de prestaties van standaard SAE's evenaart of overtreft terwijl het traint op ongeveer de helft van het token budget.

4. Resultaten

• Synthetische Data: Op synthetische manifolds (cirkels, sferen, helices), fragmenteert een standaard SAE (ReLU, TopK, Gated, etc.) het kenmerk over tientallen tot honderden atomen. In contrast vangt SASA de gehele manifold met een enkele actieve groep van effectieve rang $d_i$, waarbij de intrinsieke geometrie wordt hersteld.
• Real-World Modellen (GPT-2 & Mistral-7B):
  • Efficiëntie: SASA bereikt vergelijkbare KL-scores, Cross-Entropy (CE) scores en verklaarde variantie als standaard SAE's die getraind zijn op dubbel zo groot token budget (bijv. 150M tokens voor SASA versus 300M voor standaard SAE op GPT-2).
  • Interpreteerbaarheid: SASA vermindert feature absorption (een faalmodus gelinkt aan splitting) aanzienlijk. Op GPT-2 daalde de gemiddelde absorptie van 37,2% (Standaard) naar 6,6% (SASA).
  • Casestudy: Voor temporele concepten (dagen, maanden, jaren), fragmenteerde de standaard SAE de representatie over 35 atomen. SASA consolideerde dit tot één enkele groep van 6 vectoren, waardoor de cyclische topologie en geometrische structuur van de temporele subspace behouden bleven.

5. Betekenis en Claims

Het paper claimt dat de fragmentatie waargenomen in standaard SAE's niet een artefact is van slechte training, maar een fundamenteel gevolg van de doelstellingsfunctie die wordt toegepast op meerdimensionale kenmerken. Door te erkennen dat kenmerken subspaces bezetten in plaats van lijnen, biedt SASA een getrouwere representatie van LLM-internals.

De primaire betekenis ligt in efficiëntie en interpreteerbaarheid:

• Efficiëntie: Door de sample complexiteit te verminderen van exponentieel naar polynoom in de intrinsieke dimensie, verlaagt SASA drastisch de kosten van het trainen van interpretatietools, wat momenteel de bottleneck is vanwege de dure LLM-inferentie.
• Interpreteerbaarheid: Door feature splitting te voorkomen, levert SASA "monosemantische" groepen op die corresponderen met coherente concepten, wat mechanische analyse betrouwbaarder maakt en de noodzaak vermindert om clusters van bijna-duplicerende latents te aggregeren om een enkel kenmerk te begrijpen.

De auteurs blijven bescheiden over beperkingen, waarbij zij opmerken dat hoewel SASA de computekosten vermindert, trainen op grote schaal voor zeer grote modellen nog steeds middelenintensief blijft. Bovendien, hoewel SASA de subspace span identificeert, levert het niet automatisch een interpreteerbaar coördinatensysteem binnen die subspace, wat vaak handmatige inspectie vereist om interne coördinaten aan specifieke semantische waarden te koppelen.