Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

Technische Samenvatting: Het sturen van LLM's met Sparse Autoencoders

Probleemstelling
Sparse Autoencoders (SAE's) zijn voorgesteld als een instrument voor het interpreteren van Large Language Models (LLM's) door monosemantische kenmerken binnen de residu-stroom te ontdekken, gebaseerd op de Linear Representation Hypothesis en de superposition hypothesis. Hoewel SAE-kenmerken theoretisch in staat zijn om modelgeneratie te controleren (sturen), suggereerden recente benchmarks zoals AxBench (Wu et al., 2025) dat SAE's aanzienlijk onderpresteren vergeleken met eenvoudige baselines zoals prompting. Wu et al. (2025) concludeerden dat "zelfs eenvoudige baselines beter presteren dan Sparse Autoencoders" voor sturingstaken. Bovendien suggereerde eerder werk (Wang et al., 2025) dat hoge interpreteerbaarheid en sturingsnut sterk correleren met een hoge sparsiteit (lage $\ell_0$), een conditie die vaak wordt voldaan door kenmerken die geannoteerd zijn in repositories zoals Neuronpedia. De auteurs van dit artikel stellen dat de slechte prestaties gerapporteerd door Wu et al. (2025) mogelijk voortkomen uit suboptimale strategieën voor het labelen en selecteren van kenmerken, in plaats van een inherente beperking van SAE's.

Methodologie
Het artikel stelt een gesuperviseerde pipeline voor voor het labelen en selecteren van SAE-kenmerken om de sturingsprestaties te verbeteren, in contrast met eerdere ongesuperviseerde of op LLM gebaseerde labelingsbenaderingen.

1. Gesuperviseerde Labelingspipeline:

   • Databron: De auteurs maken gebruik van Stack Exchange-datasets (bijv. academie, biologie, sport) waarbij door gebruikers toegewezen tags dienen als ground-truth multi-labels.
   • Feature Probes: Voor elk SAE-kenmerk wordt een lineaire probe geconstrueerd door de activatiefrequentie van het kenmerk over een dataset te berekenen. Een binaire voorspelling wordt gedaan op basis van of de frequentie een drempelwaarde $\tau$ overschrijdt.
   • Gecalibreerde F1-score: Om kenmerken aan labels te koppelen, berekenen de auteurs een "gecalibreerde F1-score" ($F1^c$). Deze metriek past de standaard F1-score aan om rekening te houden met label support (frequentie), wat bias naar zeldzame of veelvoorkomende labels voorkomt. De optimale drempelwaarde $\tau$ wordt geselecteerd om deze score te maximaliseren.
   • Denoising en Selectie: Om kwalitatief hoogwaardige matches te garanderen, past de pipeline drie criteria toe:
     1. Label Support Drempelwaarde: Filtert labels met minder dan 50 voorkomens om variantie te verminderen.
     2. Output Score Proxy: Gebruikt een drempelwaarde ($10^{-3}$) gebaseerd op de output score van Arad et al. (2025) om te filteren op kenmerken met inherente sturingspotentie.
     3. Top-K Selectie: Behoudt de top 50 feature-label paren per categorie.

2. Sturingsmechanisme:

   • De auteurs hanteren de activatie-editing benadering van Templeton et al. (2024). Tijdens de inferentie worden specifieke feature-activaties ($z_f$) vastgezet op een waarde $\alpha$. De reconstructiefout wordt behouden, en de bewerkte latente vector wordt door de decoder gestuurd.
   • Evaluatie: De methode wordt geëvalueerd op AxBench, die gegenereerde tekst beoordeelt op vloeiendheid, instructieopvolging en conceptincorporatie. De auteurs optimaliseren de sturingssterkte $\alpha$ individueel voor elk feature-label paar met behulp van cross-validatie, in plaats van één enkele globale waarde te gebruiken.

3. Experimentele Opstelling:

   • Modellen: Experimenten werden uitgevoerd op Gemma 2 (9B) met gebruik van Gemma Scope SAE's (breedte 131k) die op lagen 17 en 32 in de residu-stroom zijn ingevoegd.
   • Baselines: Vergelijkingen omvatten de "NP random" baseline (willekeurig geselecteerde kenmerken met Neuronpedia labels) en de prompt steering baseline van Wu et al. (2025).

Belangrijkste Resultaten

• Prestatiepariteit met LoRA: Wanneer kenmerken worden geselecteerd en gelabeld via de voorgestelde gesuperviseerde pipeline, bereiken SAE's een sturingsprestatie op de AxBench benchmark die dicht bij die van LoRA (Low-Rank Adaptation) baselines ligt. Dit presteert significant beter dan de resultaten gerapporteerd door Wu et al. (2025).
• Causale Validiteit: De pipeline selecteert kenmerken die verrassend causaal zijn voor hun geïdentificeerde labels. Zelfs wanneer de "output score" component (een proxy voor sturingsvermogen) uit het selectieproces wordt verwijderd, vertonen de resterende door de gesuperviseerde labeling geselecteerde kenmerken nog steeds superieure sturingsprestaties vergeleken met willekeurige Neuronpedia selecties.
• Onafhankelijkheid van Sparsiteit: In tegen afstelling van de bevindingen in Wang et al. (2025), vinden de auteurs dat hoge sparsiteit (lage $\ell_0$) niet strikt cruciaal is voor succesvolle sturing. Zowel lage- als hoge-sparsiteit SAE's in het Gemma Scope model waren effectief voor sturingstaken.
• Prompting Baseline: Hoewel de voorgestelde SAE-methode aanzienlijk verbetert ten opzichte van eerdere SAE-pogingen, merken de auteurs op dat eenvoudige prompting een sterke baseline blijft, waarschijnlijk omdat LLM's expliciet zijn getraind om instructies op te volgen.

Betekenis en Claims
Dit artikel dient als een gedeeltelijk weerwoord tegen de claim dat SAE's ineffectief zijn voor sturing. De auteurs stellen dat de negatieve resultaten in Wu et al. (2025) de SAE's niet "volledige recht hebben gedaan" vanwege de afhankelijkheid van bestaande, potentieel suboptimale labels en een gebrek aan gesuperviseerde feature selectie.

De primaire betekenis ligt in het aantonen dat:

1. Labeling Ertoe Doet: De methode waarmee SAE-kenmerken worden gelabeld is cruciaal. Een gesuperviseerde benadering met gekalibreerde metrieken en support drempelwaarden levert kenmerken op met een echte causale impact op modelgeneratie.
2. Robuustheid van SAE's: SAE's kunnen concurreren met parameter-efficiënte fine-tuning methoden (LoRA) voor sturing, wat hun nut als interpreteerbaarheidsinstrument valideert.
3. Causale Ground Truth: In een onderzoekssetting bevestigt succesvolle feature sturing de "ground truth" van de label van een feature, wat het onderscheid maakt van artefacten van dataset-idiosyncrasieën (polysemanticiteit) die een correlatie-gebaseerde interpretatie zouden kunnen misleiden.

De auteurs behouden een bescheiden toon en erkennen dat, hoewel SAE's krachtig zijn voor onderzoek en het begrijpen van de interne werking van modellen, prompting een moeilijke baseline blijft om te verslaan voor praktische toepassingen vanwege de aard van LLM-training. Ze merken ook op dat feature sturing gepaard gaat met "gecontroleerde schade" aan het model, waardoor het minder geschikt is voor productieomgevingen vergeleken met standaard fine-tuning.