Technische Samenvatting: Spaars maar Foutief: Onjuiste $L_0$ leidt tot Onjuiste Kenmerken in Sparse Autoencoders

Probleemstelling

Sparse Autoencoders (SAEs) zijn ontworpen om "superpositie" in Large Language Models (LLMs) te omkeren, waarbij ze interpreteerbare, monosemantische latente kenmerken extraheren uit de interne activaties van het model. Een cruciale hyperparameter bij het trainen van SAEs is $L_0$, gedefinieerd als het gemiddelde aantal latente kenmerken dat per token activeert.

De huidige literatuur behandelt $L_0$ vaak als een neutrale ontwerpkeuze, waarbij SAEs worden geëvalueerd via "sparsity–reconstruction tradeoff"-plots. De heersende aanname is dat elke voldoende lage $L_0$ geldig is, mits deze een goede reconstructiefout oplevert, en dat hogere $L_0$-waarden alleen problematisch zijn als ze ervoor zorgen dat de representaties te dicht worden. Recente empirische observaties suggereren echter dat SAEs met een lage $L_0$ slecht presteren op downstream-taken zoals sparse probing. Dit artikel onderzoekt of er een inherent "juiste" $L_0$ bestaat voor een gegeven datadistributie en of afwijken hiervan de interpreteerbaarheid van de geleerde kenmerken fundamenteel in gevaar brengt.

Methodologie

De auteurs maken gebruik van een combinatie van synthetische toy-modellen en experimenten op echte LLMs (Gemma-2-2b en Llama-3.2-1b) om de relatie tussen $L_0$ en de kwaliteit van de kenmerken te analyseren.

1. Toy Model Experimenten:

   • De auteurs construeren een synthetische omgeving gebaseerd op de Linear Representation Hypothesis (LRH), waarbij inputs lineaire combinaties zijn van orthogonale "ware kenmerken".
   • Ze introduceren gecontroleerde correlaties tussen kenmerken (zowel positief als negatief) om realistische co-occurrence patronen in taal te simuleren.
   • Ze trainen SAEs (specifiek BatchTopK en JumpReLU architecturen) met variërende doel-$L_0$-waarden: te laag, exact correct (overeenkomend met de ware gemiddelde vuurratio van kenmerken), en te hoog.
   • Ze vergelijken de geleerde latenten met de grondwaarheid-kenmerken middels cosine similarity en analyseren de Mean Squared Error (MSE) reconstructieverlies.

2. Theoretische Analyse:

   • Het artikel biedt theoretische bewijzen (Theorema's F.1 en F.2) die aantonen dat wanneer $L_0$ wordt beperkt tot onder de ware $L_0$ van de data, de gedisentangled (correcte) dictionary niet de minimizer is van de verwachte MSE. In plaats daarvan stimuleert het optimalisatielandschap de SAE om gecorreleerde kenmerken te "mengen" om een lagere reconstructiefout te bereiken.
   • De auteurs bewijzen dat de correcte gedisentangled oplossing niet eens een lokaal minimum is onder deze beperkingen; gradiëntafdaling beweegt de SAE systematisch naar gemengde, polysemantische latenten.

3. Ontwikkeling van Proxy Metrieken:

   • De auteurs stellen een nieuwe metriek voor, decoder pairwise cosine similarity ($c_{dec}$), gedefinieerd als de gemiddelde absolute cosine similarity tussen alle paren decoder vectoren.
   • De hypothese is dat wanneer $L_0$ onjuist is (te laag of te hoog), latenten componenten van meerdere kenmerken mengen, wat hun onderlinge cosine similarity verhoogt. Wanneer $L_0$ correct is, zouden latenten meer orthogonaal moeten zijn (lagere $c_{dec}$).

4. LLM Validatie:

   • SAEs werden getraind op Gemma-2-2b en Llama-3.2-1b over een sweep van $L_0$-waarden.
   • De auteurs correleerden de $c_{dec}$-metriek met "sparse probing" prestaties (het vermogen van de SAE-latenten om de aanwezigheid van specifieke concepten te voorspellen).

Belangrijkste Resultaten

1. Onjuiste $L_0$ leidt tot Feature Mixing

• Lage $L_0$: Wanneer $L_0$ te laag is ingesteld, kan de SAE niet alle actieve kenmerken simultaan representeren. Om de reconstructiefout te minimaliseren, "bedriegt" de SAE door gecorreleerde kenmerken in enkele latenten te mengen.
  • Positieve Correlatie: Latenten die kenmerk $A$ volgen, zullen positieve componenten van het gecorreleerde kenmerk $B$ bevatten.
  • Negatieve Correlatie: Latenten die kenmerk $A$ volgen, zullen negatieve componenten van het anti-gecorreleerde kenmerk $B$ bevatten.
  • Dit resulteert in zeer polysemantische en ruizige latenten, zelfs als de reconstructiefout laag is.
• Hoge $L_0$: Wanneer $L_0$ te hoog is, vindt de SAE degeneratieve oplossingen die ook kenmerken mengen, hoewel dit effect minder wijdverspreid is dan bij een lage $L_0$. Sommige correcte kenmerken kunnen nog steeds geleerd worden, maar de algehele kwaliteit degradeert naarmate $L_0$ verder afwijkt van de waarheid.
• Asymmetrie: Het artikel merkt op dat het starten van de training met een $L_0$ die te laag is, een "lokaal minimum" creëert dat de SAE niet kan ontsnappen, zelfs niet als $L_0$ later wordt verhoogd. Daarentegen staat het starten met een $L_0$ die te hoog is de SAE toe om correcte kenmerken te herstellen wanneer $L_0$ naar beneden wordt bijgesteld.

2. Falen van Sparsity–Reconstruction Tradeoff Plots

De auteurs demonstreren dat standaard sparsity–reconstruction plots misleidend zijn. In hun toy-modellen bereikt een SAE met een correcte $L_0$ (en dus correcte, gedisentangled kenmerken) vaak een slechtere reconstructie (hogere MSE) dan een SAE met een te lage $L_0 die kenmerken mengt. Bij gevolgend zou het vertrouwen op enkel de reconstructiefout bij het selecteren van$L_0$ de juiste SAE verwerpen ten gunste van een onjuiste, polysemantische variant.

3. Effectiviteit van de $c_{dec}$ Metriek

• In toy-modellen wordt $c_{dec}$ exact geminimaliseerd bij de ware $L_0$.
• In LLM-experimenten vertoont $c_{dec}$ een duidelijke "elleboog" of minimumregio die sterk correleert met de piekprestaties op sparse probing-taken.
• Voor Gemma-2-2b is de optimale $L_0$ (geïndiceerd door de $c_{dec}$ minimum en piek probing) aanzienlijk hoger (rond de 200–250) dan de waarden die vaak worden gebruikt in bestaande open-source SAEs (vaak < 100).

4. Architectuurverschillen (JumpReLU vs. BatchTopK)

• BatchTopK: Vertoont een scherpe toename in $c_{dec}$ bij een lage $L_0$ en een globaal minimum.
• JumpReLU: Vertoont een "sticking" gedrag waarbij de effectieve $L_0$ nabij de correcte waarde blijft over een breed bereik van sparsity coëfficiënten ($\lambda_s$). JumpReLU SAEs presteren ook beter dan BatchTopK bij een hoge $L_0$, waarschijnlijk omdat ze drempelwaarden per latent kunnen aanpassen, terwijl BatchTopK een globale drempelwaarde gebruikt.

Betekenis en Claims

Het artikel claimt dat de aanname dat "elke voldoende lage $L_0$ geldig is" onjuist is. De primaire betekenis van dit werk is drieledig:

1. Correctie van een Fundamenteel Misconceptie: Het stelt vast dat $L_0$ geen vrije parameter is, maar een kritieke hyperparameter die moet overeenkomen met de onderliggende sparsity van de ware kenmerken in de LLM. Het onjuist instellen van $L_0$ (specifiek te laag) zorgt ervoor dat de SAE polysemantische, gecorrumpeerde kenmerken leert in plaats van monosemantische.
2. Herdefiniëring van Evaluatie: Het betoogt dat sparsity–reconstruction tradeoff plots een ongeldige methode zijn voor het selecteren van SAE-hyperparameters, omdat ze de voorkeur geven aan onjuiste, kenmerk-mengende oplossingen boven correcte, gedisentangled oplossingen.
3. Praktische Implicaties: De auteurs stellen dat de meeste momenteel gebruikte SAEs in de onderzoeksgemeenschap een $L_0$ hebben die te laag is. Dit suggereert dat veel bestaande "interpreteerbare" kenmerken in werkelijkheid een mengeling van concepten zijn, wat de onvoorspelbare resultaten kan verklaren die worden waargenomen bij SAE-gebaseerde steering en model editing.
4. Diagnostisch Instrument: Het artikel introduceert $c_{dec}$ als een praktische, ongesuperviseerde proxy-metriek om de zoektocht naar de correcte $L_0$ te begeleiden, met name in scenario's waar gelabelde probing-benchmarks niet beschikbaar zijn.

De auteurs concluderen dat beoefenaars $L_0$ correct moeten instellen om SAEs met monosemantische kenmerken te trainen, en dat het vakgebied af moet bewegen van het uitsluitend vertrouwen op reconstructiefout voor de evaluatie van SAEs.