Do Sparse Autoencoders Capture Concept Manifolds?

1. Probleemstelling

Sparse Autoencoders (SAE's) zijn de standaardtool voor het extraheren van interpreteerbare kenmerken uit Large Language Models (LLM's). Hun werking berust op de Linear Representation Hypothesis (LRH), die ervan uitgaat dat abstracte concepten corresponderen met onafhankelijke, lineaire richtingen (stralen) in de activatieruimte.

Echter, recente bewijzen suggereren dat veel concepten (bijvoorbeeld tijd, temperatuur, kleur, politieke bias) niet lineair zijn, maar georganiseerd zijn langs laagdimensionale, gebogen manifolds. Het artikel adresseert een kritieke kloof:

• Het Mismatch: SAE's zijn ontworpen om lineaire richtingen te vinden, maar de onderliggende geometrie van concepten is vaak niet-lineair en continu.
• De Kernvraag: Vangen SAE's deze manifolds? Zo ja, hoe? En als ze dat doen, waarom is de manifold-structuur vaak onzichtbaar bij het inspecteren van individuele kenmerken?

2. Methodologie

De auteurs ontwikkelen een theoretisch raamwerk en valideren dit via synthetische benchmarks en empirische analyse op Llama 3.1-8B.

A. Theoretisch Raamwerk: Additieve Mengeling van Manifolds

De auteurs formaliseren een model waarbij representaties een additieve superpositie zijn van manifolds ($x = \sum f_i(m_i)$). Ze definiëren drie distincte regimes voor hoe een SAE een manifold zou kunnen representeren:

1. Subspace Capture (Ideaal): Een kleine, vaste groep atomen spant de volledige manifold op. Dezelfde atomen vuren voor elk punt op de manifold, en hun coëfficiënten variëren continu.
2. Tiling (Shattering): De manifold is opgedeeld in disjuncte regio's. Verschillende atomen vuren voor verschillende regio's (onderling exclusief), fungerend als gelokaliseerde detectoren.
3. Tiling (Dilution): De manifold wordt bedekt door een grote, redundante set atomen. Meerdere atomen vuren voor dezelfde regio, maar geen enkele compacte groep spant de volledige manifold op. Dit resulteert in "mixed selectivity".

B. Synthetische Validatie

De auteurs construeerden een gecontroleerde benchmark met 48 synthetische manifolds (cirkels, bollen, tori, Möbiusbanden, helices, enz.) ingebed in een hoogdimensionale ruimte. Ze trainden SAE's met variërende spaarzaamheidsbudgets ($k$) om te observeren welk regime ontstaat.

• Meting: Ze introduceerden een Restricted $R^2$-score om te meten hoe goed een kleine subset van atomen een specifieke manifold reconstrueert.
• Ontdekking: Ze vonden dat SAE's zelden "Subspace Capture" bereiken. In plaats daarvan vallen ze vaak in een Dilution-regime, waarbij veel redundante atomen de manifold betegelen.

C. Ongecontroleerde Ontdekking via Ising-modellen

Om de verborgen manifold-structuur uit de gefragmenteerde SAE-kenmerken te herstellen, stellen de auteurs het gebruik van een paarwijze Ising-model op binaire kenmerkactivaties voor.

• Logica: In plaats van te kijken naar geometrische gelijkenis (decoder-richtingen), analyseren ze co-activatiestatistieken.
• Mechanisme: Atomen die dezelfde manifold betegelen, vertonen sterke statistische afhankelijkheden (ofwel positieve koppeling als ze samen vuren, of negatieve koppeling als ze onderling exclusief/shattered zijn).
• Algoritme: Pas een Ising-model aan op de binaire codes om een koppelingsmatrix $J$ te extraheren. Community detection op $|J|$ onthult groepen atomen die collectief een manifold representeren.

D. Empirische Analyse op LLM's

Het raamwerk werd toegepast op Llama 3.1-8B (Layer 19) met vijf verschillende SAE-architecturen (Standard, JumpReLU, TopK, BatchTopK, Matryoshka).

• Geteste Manifolds: Continue concepten zoals Leeftijd, Temperatuur, Dagen van de Week, Kleuren en Politieke Bias.
• Stuur-Experimenten: De auteurs verifieerden dat het sturen tussen de centroiden van deze manifolds gladde, voorspelbare veranderingen in token-kansen produceert, wat bevestigt dat de manifolds causaal relevant zijn.

3. Belangrijkste Resultaten

A. SAE's Opereren in het "Dilution"-Regime

In tegenstelling tot het ideaal van "Subspace Capture", tonen empirische resultaten aan dat huidige SAE's geen compacte groep atomen toewijzen om een manifold op te spannen.

• Fragmentatie: Manifolds worden gerepresenteerd door een grote, deels redundante set kenmerken.
• Gedeeltelijk Lineaire Benadering: Individuele SAE-kenmerken fungeren als gelokaliseerde detectoren (afstemmingscurven) die kleine plekken van de manifold bedekken. De vereniging van deze plekken benadert de gladde geometrie, maar geen enkel kenmerk vangt de globale structuur op.
• Spaarsheid Sweet Spot: Er is een specifiek spaarzaamheidsniveau waarbij "Capture" mogelijk is, maar standaard SAE-training kiest vaak voor "Dilution" of "Shattering" vanwege architecturale beperkingen en optimalisatiedynamiek.

B. Kenmerk Afstemmingscurves

Analyse van kenmerkactivaties onthult "afstemmingscurves" die doen denken aan biologische populatiecodering (bijvoorbeeld place cells).

• Voor de "Jaar"-manifold vuren kenmerken periodiek (bijvoorbeeld elke 10 jaar voor het cijfer van de "eenheden") of bedekken ze specifieke decennia.
• Geen enkel enkel kenmerk codeert het volledige concept; het concept wordt gecodeerd door de populatiecode van de groep.

C. Succes van Ongecontroleerde Ontdekking

De Ising-gebaseerde pijplijn slaagde erin bekende manifolds (Temperatuur, Kleuren, Dagen) te herstellen en nieuwe manifolds te ontdekken (bijvoorbeeld een manifold die epistemische onzekerheid in wetenschappelijke teksten codeert) zonder toezicht.

• Superioriteit ten opzichte van Cosine Similariteit: Clustering gebaseerd op cosine-similariteit van de decoder faalde bij het herstellen van manifolds, omdat atomen die een manifold opspannen orthogonaal kunnen zijn. Ising-koppelingen (voorwaardelijke onafhankelijkheid) slaagden erin de functionele groepen te identificeren.

4. Belangrijkste Bijdragen

1. Formalisatie van Manifold Capture: Wiskundig gedefinieerd wat het betekent voor een SAE om een manifold te vangen, met onderscheid tussen Subspace Capture (globaal) en Tiling (lokaal/shattered/gewaterd).
2. Identificatie van het "Dilution"-Regime: Aangetoond dat huidige SAE's manifolds typisch representeren via gefragmenteerde, redundante verzamelingen van atomen in plaats van coherente subspaces. Dit verklaart waarom individuele kenmerken vaak "gemengd" lijken of een duidelijk semantische betekenis missen.
3. Ising-gebaseerde Ontdekkingsmethode: Voorstellen en valideren van een post-hoc ongecontroleerde methode met Ising-modellen om kenmerken te groeperen in coherente manifolds, waardoor de beperkingen van op richting gebaseerde interpreteerbaarheid worden overwonnen.
4. Hervervorming van Interpreteerbaarheid: Betogen dat de eenheid van interpreteerbaarheid moet verschuiven van individuele richtingen naar geometrische objecten (manifolds).

5. Betekenis en Implicaties

• Uitleg van SAE-instabiliteit: Het artikel verklaart waarom geleerde dictionaries instabiel zijn over verschillende runs. Als concepten manifolds zijn, zijn er meerdere geldige "tilings" (bases) om dezelfde geometrie te representeren. Verschillende initialisaties leiden tot verschillende, maar even geldige decomposities.
• Beperkingen van Sturen: Het verklaart waarom sturen via individuele kenmerken vaak broos is. Interveniëren op een enkel kenmerk duwt de representatie van de manifold af in plaats van er soepel langs te bewegen.
• Toekomstige Richtingen:
  • Featurization: Toekomstige SAE-architecturen moeten geometrische objecten behandelen als primitieven, niet alleen richtingen.
  • Analyse: Interpreteerbaarheidstools moeten groepen van kenmerken (subspaces) analyseren in plaats van geïsoleerde atomen.
  • Workaround: Totdat nieuwe architecturen zijn ontwikkeld, is de Ising-gebaseerde post-hoc analyse de meest betrouwbare methode om betekenisvolle conceptstructuren uit bestaande SAE's te herstellen.

Kortom, het artikel betoogt dat hoewel SAE's de geometrie van neurale representaties succesvol behouden, ze dit doen op een gefragmenteerde, verdunde manier. Om deze modellen echt te begrijpen, moeten onderzoekers voorbij de "Linear Representation Hypothesis" gaan en een geometrisch perspectief adopteren dat concepten behandelt als laagdimensionale manifolds die worden betegeld door populaties van kenmerken.