Technische Samenvatting: SynthSAEBench

Probleemstelling

Het verbeteren van Sparse Autoencoders (SAEs) voor Large Language Models (LLMs) wordt gehinderd door een gebrek aan betrouwbare evaluatiebenchmarks. Bestaande LLM-gebaseerde benchmarks, zoals SAEBench, lijden onder een hoge ruis tussen runs, wat het moeilijk maakt om echte architecturale verbeteringen te onderscheiden van statistische variantie. Bovendien is het zonder toegang tot grondwaarheid-features (ground-truth features) in LLMs onmogelijk om te diagnosticeren waarom een SAE slecht presteert of om te verifiëren of deze werkelijk de onderliggende feature-richtingen heeft geleerd.

Daartegenover staat de alternatieve aanpak van het gebruik van synthetische data, die historisch gezien heeft vertrouwd op "toy"-modellen met minder dan 10 features of op op maat gemaakte, niet-gestandaardiseerde opstellingen. Deze kleinschalige modellen slagen er niet in de complexiteit van echte neurale netwerken te vangen, specifiek fenomenen zoals feature-superpositie (het representeren van meer features dan dimensies), feature-correlatie en hiërarchische structuren. Bijgevolg is er geen gestandaardiseerde, grootschalige synthetische benchmark die grondwaarheid biedt en tegelijkert met de realiteit overeenkomt om als een zinvolle test voor SAE-architecturen te dienen.

Methodologie

De auteurs introduceren SynthSAEBench, een schaalbaar synthetisch datamodel en toolkit ontworpen om SAE's te evalueren tegen grootschalige data (16.384 features) met realistische kenmerken. Het model is gebouwd op de Linear Representation Hypothesis (LRH), die stelt dat concepten worden gerepresenteerd als bijna-orthogonale lineaire richtingen.

Generatie van Synthetische Data

Het proces voor het genereren van data breidt het traditionele Bernoulli-Gaussian dictionary learning model uit om de volgende aspecten te bevatten:

1. Superpositie: Features worden geïnitialiseerd als willekeurige eenheidsvectoren. De mate van superpositie wordt gecontroleerd via de gemiddelde maximale absolute cosinusgelijkenis ($\rho_{mm}$) tussen feature-richtingen.
2. Correlatie: Een laag-rang correlatiematrix ($\Sigma = FF^\top + \text{diag}(\delta)$) wordt gebruikt om gecorreleerde binaire firing-indicatoren te genereren via een Gaussian copula-benadering. Dit maakt configureerbare correlatiestructuren tussen features mogelijk.
3. Hiërarchie: Een bos van bomen vertegenwoordigt hiërarchische afhankelijkheden. Kind-features kunnen alleen vuren als hun ouder actief is. Het model ondersteunt wederzijdse uitsluiting tussen broers/zussen (bijv. een "hond" en een "vogel" kunnen niet beide actief zijn voor één enkel entiteit) en ouder-geschaalde magnitudes, waarbij de activatiekracht van een kind wordt gemoduleerd door de intensiteit van de ouder.
4. Firing Distributies: De firing-waarschijnlijkheid van features volgt een Zipfiaanse distributie om de frequentie van concepten in natuurlijke data na te bootsen, terwijl de firing-magnitudes worden gesampled uit gerectificeerde Gaussische distributies.

Het model genereert data met honderdduizenden samples per seconde op een enkele GPU, waarbij grondwaarheid-feature-richtingen ($D$) en firing-indicatoren ($z$) voor elke sample worden geleverd.

Evaluatiekader

SynthSAEBench evalueert SAE's met behulp van vier categorieën metrieken, waarbij gebruik wordt gemaakt van de beschikbaarheid van grondwaarheid:

• Reconstructiekwaliteit: Gemeten via verklaarde variantie ($R^2$).
• Feature Recovery: Gemeten via de Mean Correlation Coefficient (MCC) via optimale bipartiete matching tussen geleerde latents en grondwaarheid-features, en Feature Uniqueness.
• Classificatienauwkeurigheid: Precisie, Recall en F1-score voor het gebruik van SAE-latents als binaire classificators voor grondwaarheid-features.
• Sparsity: Vergelijking van gemiddelde $L_0$ (actieve features) en het aantal dode latents.

De benchmarkconfiguratie gebruikt $N=16.384$ features in een verborgen dimensie van $D=768$, waarbij SAE's worden getraind met een breedte van 4.096 (smaller dan de grondwaarheid) om de beperkingen van echte LLM SAE's te weerspiegelen.

Belangrijkste Bijdragen

1. SynthSAEBench Benchmark: Een gestandaardiseerde, grootschalige synthetische omgeving die correlatie, hiërarchie en superpositie incorporeert, en grondwaarheid-features en -firings levert.
2. Gecontroleerde Ondergrens-test: De benchmark fungeert als een stress-test voor SAE-architecturen. Als een architectuur faalt wanneer de Linear Representation Hypothesis per constructie standhoudt, is het onwaarschijnlijk dat deze zal slagen op echte LLM's waar de hypothese slechts een benadering is.
3. Reproductie van LLM-fenomenen: De auteurs laten zien dat SynthSAEBench bekende gedragingen reproduceert die worden waargenomen in LLM SAE's, waaronder:
   • De disconnect tussen hoge reconstructiekwaliteit en slechte latent-kwaliteit (geobserveerd bij Matching Pursuit SAE's).
   • Hoge probing-prestaties ondanks slechte reconstructie (geobserveerd bij Matryoshka SAE's).
   • De precisie-recall trade-off bemiddeld door $L_0$.
   • De bijna-equivalentie van JumpReLU en BatchTopK architecturen.
   • De onderprestatie van SAE's vergeleken met gesuperviseerde logistische regressie probes.
4. Identificatie van een Nieuwe Foutmodus: De studie identificeert dat Matching Pursuit (MP) SAE's gebruikmaken van superpositie-ruis om reconstructiemetrieken te verbeteren zonder daadwerkelijk de grondwaarheid-features te leren. Dit suggereert dat meer expressieve coderingprocedures kunnen overfitten op spurieuze correlaties, wat potentieel verklaart waarom eenvoudige lineaire encoders in de praktijk moeilijk te overtreffen blijven.

Resultaten

Experimenten werden uitgevoerd op standaard L1, Matching Pursuit, BatchTopK, Matryoshka BatchTopK en JumpReLU SAE's.

• Matryoshka SAE's: Behaalden de beste feature recovery (MCC en F1-scores) en probing-prestaties, ondanks de slechtste reconstructiekwaliteit (Explained Variance). Dit weerspiegelt bevindingen in LLM-benchmarks waar Matryoshka SAE's uitblinken in concept-ontwarring maar moeite hebben met reconstructie.
• Matching Pursuit (MP) SAE's: Behaalden de hoogste reconstructiekwaliteit (Explained Variance) maar presteerden slecht op feature recovery en probing. Verdere analyse onthulde dat MP-SAE's de reconstructie verbeteren door te overfitten op superpositie-ruis in plaats van echte features te leren.
• JumpReLU vs. BatchTopK: Deze twee state-of-the-art architecturen presteerden nagenoeg identiek over alle metrieken, wat hun status als topkeuzes valideert.
• Gesuperviseerde Probes: Logistische regressie probes, direct getraind op de synthetische activaties, bereikten een gemiddelde F1-score van 0,974, wat de beste SAE (Matryoshka, piek F1 $\approx$ 0,88) aanzienlijk overtreft. Dit bevestigt dat de kloof tussen SAE's en gesuperviseerde methoden een genuïne architecturale beperking is, en geen artefact van LLM-evaluatieruis.
• Ablaties: De resultaten bleven stabiel over variaties in correlatiestofte, correlatierang, firing-waarschijnlijkheid en hiërarchie-diepte. Opvallend genoeg verbeterde het verhogen van de standaarddeviatie van de firing-magnitude de MCC, maar verlaagde het de F1-scores, omdat firings met een lage magnitude moeilijker te onderscheiden waren van ruis.

Betekenis

Het artikel beweert dat SynthSAEBench een noodzakelijke aanvulling vormt op LLM-benchmarks. Door grondwaarheid-features, gecontroleerde ablaties en laag-ruis metrieken te bieden, stelt het onderzoekers in staat om snel te prototypen en foutmodi van SAE's te diagnosticeren die in de echte wereld verborgen blijven.

De auteurs benadrukken dat SynthSAEBench een "best-case scenario" voor SAE's vertegenwoordigt omdat de Linear Representation Hypothesis gegarandeerd standhoudt. Het feit dat geen enkele geëvalueerde architectuur perfecte feature recovery bereikt in deze ideale setting, onderstreept dat de bottleneck ligt in de huidige SAE-architecturen en trainingsdynamiek, en niet in de geldigheid van de representatiehypothese zelf. Dit versterkt de argumentatie voor voortdurende architecturale innovatie om superpositie, correlatie en hiërarchie effectiever aan te pakken. De benchmark is bedoeld om de ontwikkeling van SAE's te sturen, waarbij veelbelovende architecturen vervolgens gevalideerd worden op echte LLM-benchmarks.