Technische Samenvatting: Grootte Doet Er Niet Toe: Cosinus-gescorende Sparse Autoencoders

1. Probleemstelling

Sparse Autoencoders (SAEs) zijn standaardinstrumenten voor mechanistische interpreteerbaarheid, ontworpen om modelactivaties te deconstrueren naar een woordenboek van menselijk interpreteerbare kenmerken. Standaard SAE's detecteren kenmerken via een inwendig product score, $\langle w_i, x \rangle$, die schaalt met zowel de directionele uitlijning van de input $x$ als de magnitude van de input $\|x\|$.

Deze scoregeometrie is fundamenteel mismatch met moderne transformer-architecturen die pre-sublayer normalisatie (specifiek RMSNorm) gebruiken. Deze modellen lezen de genormaliseerde activatie $x/\|x\|$ tijdens de sublaag, waardoor de informatie over de magnitude effectief wordt weggegooid voordat de berekening plaatsvindt. De SAE-encoder, die echter gekoppeld is aan de residual stream, observeert nog steeds de volledige magnitude. Bij consequentie conflueert de inwendig product-score de inhoudelijke uitlijning met de token-norm.

Onder BatchTopK selectie (de standaard sparsity-mechanisme), creëert deze mismatch een pathologische selectiedruk: tokens met een hoge norm blazen de pre-activaties voor alle kenmerken tegelijkertijd op, ongeacht hun directionele uitlijning. Deze tokens claimen disproportioneel veel dictionary-slots, waardoor de SAE "norm-detectoren" leert (kenmerken die vuren op basis van token-magnitude) in plaats van "inhoud-detectoren". Dit resulteert in woordenboeken die gedomineerd worden door kenmerken die een hoeveelheid coderen die het model zelf negeert, wat de betrouwbaarheid van sparse probing, feature steering en circuit-analyse ondermijnt.

2. Methodologie

De auteurs stellen voor om de standaard inwendig product encoder-score te vervangen door een geleerde exponentiële cosinus-score. De nieuwe pre-activatie $s_i(x)$ wordt gedefinieerd als:

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

Waar:

• $x_c = x - b_{dec}$ de input is gecentreerd op de decoder-bias.
• $w_i$ unit-genormaliseerde encoder-rijen zijn.
• $a$ een leerbare exponent is die de afhankelijkheid van de input-magnitude controleert.
• $b$ een leerbare schaalparameter is.
• De term $e^b \|x_c\|^a$ interpoleert tussen pure cosinus-gelijkenis ($a=0$) en het inwendig product ($a=1$).

Het artikel onderzoekt twee parameterregimes:

1. Globale $a$: Een enkele scalaire exponent gedeeld over alle kenmerken.
2. Per-feature $a_i$: Een uitbreiding waarbij elk kenmerk zijn eigen exponent leert ($a_i = a_{base} + \delta_i$), wat heterogeniteit in norm-afhankelijkheid mogelijk maakt.

Belangrijke Ontwerpkwesties:

• Unit Normalisatie: Encoder-rijen worden bij elke forward pass unit-genormaliseerd om te garanderen dat de score een ware cosinus-gelijkenis is wanneer $a=0$.
• Initialisatie: $a$ wordt geïnitialiseerd op 0 (pure cosinus) en $b$ op $\log \sqrt{d_{model}}$.
• Stabiliteit: Om "winner-take-all" cascades te voorkomen waarbij features met iets hogere initiële gradiënten hun exponenten laten groeien om dominante posities in te nemen bij tokens met een hoge norm, gebruikt de per-feature variant een base+delta parametrisatie ($a_i = a_{base} + \delta_i$). Dit verankert de globale schaal terwijl individuele feature-offsets mogelijk blijven.

3. Belangrijkste Bijdragen

Architectuur

Het artikel introduceert cosinus-gescorende SAE's, een drop-in vervanging voor de standaard encoder die de standaardveronderstelling verwijdert dat magnitude een nuttig signaal is voor feature-detectie. Door de optimizer de exponent $a$ te laten leren, kan de architectuur het inwendig product herstellen als magnitude daadwerkelijk nuttig is, maar standaard terugvallen op directionele scoring.

Empirische Resultaten

Experimenten op Qwen3-8B (Laag 18, 500M tokens) en Gemma-2-2B tonen aan dat cosinus-gescorende SAE's het volgende bereiken:

• Gelijke Reconstructie: De Fraction of Variance Explained (FVE) en de behoud van modelgedrag (KL/CE scores) zijn statistisch ononderscheidbaar van standaard SAE's.
• Significante Interpretabiliteitswinst: Bij een gelijke reconstructie verbetert de per-feature cosinus-variant de sparse-probing top-1 nauwkeurigheid met +14,9% over acht SAEBench-datasets.
• Feature Discovery: De verbetering komt niet voort uit een betere codering van gedeelde kenmerken, maar uit de ontdekking van nieuwe, interpreteerbare kenmerken. Standaard SAE's falen in het leren van deze kenmerken omdat hun dictionary-slots bezet worden door norm-detectoren.
• Geleerde Geometrie: Het trainen drijft de geleerde exponent $a$ consistent richting nul. In het globale regime is $a \approx 0,26$; in het per-feature regime is de gemiddelde $a_i \approx 0,08$. Geen enkel kenmerk nadert het inwendig product-limiet ($a=1$), wat bevestigt dat richting, en niet magnitude, het nuttige signaal is.

Identificatie van Mechanisme

Het artikel isoleert de oorzaak van het falen van de standaard SAE onder norm-inflatie tijdens de forward-pass TopK selectie.

• Gradient Reweighting Faalt: Pogingen om gradiënt-magnitudes te egaliseren over norm-kwartielen in de standaard SAE (via loss reweighting) sluiten slechts 1,9–6,8% van de prestatiekloof. Dit bevestigt dat het probleem de selectiegeometrie is (welke features winnen de TopK-competitie), en niet de backward-pass gradiëntstroom.
• Norm-geconditioneerde Kenmerken: Standaard SAE's wijzen het merendeel van hun capaciteit toe aan kenmerken die overweldigend vuren op tokens met een hoge norm (86% van de activaties in het bovenste kwartiel). Deze kenmerken coderen magnitude, geen inhoud.
• Reconstructie Pathologie: Bij tokens met een hoge norm reconstrueren standaard SAE's met een output-norm die 9,5$\times$ groter is dan de input, terwijl cosinus SAE's een 1$\times$ ratio behouden, wat overeenkomt met de werkelijke readout van het model.

4. Betekenis en Claims

Het artikel stelt dat cosinus-scoring de standaard zou moeten zijn voor dictionary learning op genormaliseerde representaties. De geïdentificeerde foutmodus—waarbij inwendig product SAE's systematisch minder inhoud-kenmerken tellen ten gunste van norm-detectoren—beïnvloedt waarschijnlijk elke SAE die getraind is op post-RMSNorm locaties.

• Praktische Impact: De voorgestelde wijziging is een minimale architecturale modificatie (het toevoegen van één of twee scalaire parameters) die een meer interpreteerbaar woordenboek oplevert zonder reconstructiekosten.
• Reikwijdte en Beperkingen:
  • Het voordeel is het meest uitgesproken onder RMSNorm. Op LayerNorm modellen (bijv. Pythia, Falcon) neemt het voordeel af of verdwijnt het bij diepe lagen, wat suggereert dat LayerNorm's gemiddelde-aftrekking structuren behoudt die de inwendig product-scoring kan exploiteren.
  • Sentiment is de enige taak waarbij de standaard SAE de cosinus-variant overtreft, wat consistent is met de hypothese dat magnitude een taak-relevante signalisering draagt in sentimentanalyse.
  • De resultaten zijn robuust over lagen en modellen heen, maar zijn niet universeel; de omvang van de winst schaalt met de modeldimensie en diepte.

De auteurs concluderen dat het "size doesn't matter" principe standhoudt: voor genormaliseerde representaties is de magnitude van de activatie ruis voor feature-detectie, en moet de geometrie van de encoder-score dit reflecteren om betekenisvolle, menselijk herkenbare concepten te herstellen.