🤖 machine learning

Are Sparse Autoencoder Benchmarks Reliable?

Dit artikel auditeert de SAEBench-evaluatiesuite en stelt vast dat meerdere sleutelmetrieën onbetrouwbaar zijn vanwege hoge ruis en slechte discriminatievermogen, en concludeert dat het vakgebied dringend behoefte heeft aan robuustere benchmarks voor sparse auto-encoders.

Oorspronkelijke auteurs: David Chanin

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: David Chanin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte recept te bedenken voor een nieuw type taart. Om te weten of je recept verbetert, heb je een proeverij nodig. Maar hier zit de addertje onder het gras: je hebt geen "perfecte taart" om het mee te vergelijken, en je weet zelfs niet precies welke ingrediënten een taart "goed" maken.

In de wereld van Kunstmatige Intelligentie (specifiek Large Language Models) proberen onderzoekers "Sparse Autoencoders" (SAE's) te bouwen. Denk aan een SAE als een receptdecoder. Het neemt de rommelige, complexe "gedachten" van een computerbrein en probeert ze te ontleden in simpele, begrijpelijke ingrediënten (zoals "deze neuron vuur af als hij denkt aan 'katten'" of "deze vuur af voor 'politiek'").

Om te weten of hun decoder werkt, vertrouwt het veld op een standaard toolkit genaamd SAEBench. Het is als een set van juryleden bij een bakwedstrijd, waarbij elk een andere regel gebruikt om de taarten te scoren.

Het Probleem:
David Chanin, de auteur van dit paper, besloot deze juryleden te auditeren. Hij vroeg: "Zijn deze juryleden eigenlijk goed in het onderscheiden van een goede taart van een slechte, of maken ze gewoon ruis?"

Hij testte de juryleden met drie verschillende methoden, die we kunnen zien als drie verschillende manieren om de betrouwbaarheid van een scheidsrechter te controleren:

1. De "Muntgooien"-test (Reseed Noise)

Stel je voor dat je precies dezelfde taart vijf keer bakt, met exact dezelfde ingrediënten en oven, maar je verandert de volgorde waarin je het beslag mengt (een willekeurige "seed"). Als de juryleden betrouwbaar zijn, zouden ze je elke keer dezelfde score moeten geven.

Wat hij vond: Sommige juryleden (metrieken) waren zeer consistent. Maar anderen, specifiek TPP en SCR, waren als juryleden die een munt opgooien om de score te beslissen. Als je de test opnieuw uitvoerde met een iets andere willekeurige seed, schoten hun scores wild omhoog en omlaag.
Het Vonnis: Je kunt geen jurylid vertrouwen dat je vandaag een "Gouden Medaille" geeft en morgen een "Deelnemerscertificaat" voor precies dezelfde taart.

2. De "Trainingsvoortgang"-test (Discriminability)

Stel je voor dat je een bakker een jaar lang ziet trainen. Je verwacht dat hun taart naarmate tijd verstrijkt steeds beter wordt. Een goede jurylid zou moeten zien dat de score omhoog gaat naarmate de bakker leert.

Wat hij vond: De TPP- en SCR-juryleden gedroegen zich omgekeerd. Naarmate de SAE's (de bakkers) beter werden en langer trainden, gaven deze juryleden hen juist slechtere scores. Het is als een leraar die tegen een student zegt: "Grootse werk! Je hebt harder gestudeerd, dus nu krijg je een lager cijfer."
Het Vonnis: Als een metriek slechter wordt naarmate het model beter wordt, is het kapot.

3. De "Waarheidstest" (Ground-Truth Correlation)

Dit is de moeilijkste test. Meestal weten we niet wat de "perfecte ingrediënten" zijn in een echte AI. Maar de auteur creëerde een nep, synthetische keuken (genaamd SynthSAEBench) waar hij wel het perfecte recept kende. Hij bakte taarten met deze nepkeuken en vroeg de juryleden om ze te scoren.

Wat hij vond:
- TPP was in de war. Het kon geen onderscheid maken tussen een goede en een slechte taart; zijn scores waren in feite willekeurige ruis vergeleken met de waarheid.
- SCR loog actief. Toen de bakker een perfecte taart maakte (de "oracle"), gaf deze jurylid een vreselijke score. Sterker nog, het gaf vaak de voorkeur aan slechtere taarten boven betere.
- Sparse Probing (specifiek de "sae-probes" versie): Dit was de enige jurylid die leek te hebben een idee. Het was grotendeels het eens met de waarheid, hoewel het nog steeds moeite had om zeer vergelijkbare taarten van elkaar te onderscheiden.

De Grote Conclusie

Het paper concludeert dat de huidige "standaardjuryleden" (SAEBench) onbetrouwbaar zijn.

TPP en SCR zijn kapot. De auteur zegt dat we ze helemaal moeten stoppen met gebruiken omdat ze misleidende resultaten geven.
De anderen zijn te ruisig. Ze hebben zoveel "statische ruis" in hun scores dat het moeilijk is om te zeggen of een kleine verbetering in de AI echt is of gewoon een toevalstreffer.

De Kernboodschap:
Op dit moment probeert het veld van AI-interpreteerbaarheid betere tools te bouwen, maar ze gebruiken een liniaal die uitrekt en krimpt. De auteur betoogt dat voordat we de nieuwe "recepten" (SAE-architecturen) die mensen uitvinden kunnen vertrouwen, we de linialen (benchmarks) die we gebruiken om ze te meten, moeten repareren. Tot die tijd vieren we misschien verbeteringen die er niet echt zijn, of missen we echte doorbraken omdat de juryleden te verward zijn om ze te zien.

Kortom: De tools die we gebruiken om AI-begrip te meten, zijn momenteel te ruisig en soms volledig verkeerd. We hebben betere tools nodig voordat we kunnen claimen dat we echte vooruitgang boeken.

Technische Samenvatting: Zijn Sparse Autoencoder-benchmarks betrouwbaar?

Probleemstelling

Sparse Autoencoders (SAE's) zijn een primair instrument voor mechanistische interpreteerbaarheid in Large Language Models (LLM's), met als doel activatievectoren te ontleden in schaarse, interpreteerbare kenmerkrichtingen. De "ware kenmerken" van een LLM zijn echter onbekend, waardoor een directe evaluatie van de kwaliteit van SAE's onmogelijk is. Bijgevolg vertrouwt het vakgebied op de SAEBench-bibliotheek, een suite van proxy-maatstaven, om SAE-architecturen te rangschikken en vooruitgang te sturen.

Het kernprobleem dat wordt aangepakt, is de betrouwbaarheid van deze proxy-maatstaven. Als de benchmarks ruis vertonen, geen correlatie tonen met de grondwaarheid, of niet in staat zijn om kleine architecturale verbeteringen te onderscheiden, loopt het vakgebied het risico om te optimaliseren voor artefacten in plaats van echte interpreteerbaarheid. Het artikel stelt dat zonder audit van deze proxies architecturale vooruitgang illusoir kan zijn, waarbij inspanning wordt gestoken in wijzigingen die op ruisgevoelige maatstaven beter lijken, maar geen echte verbetering bieden.

Methodologie

De auteurs auditeren zes standaard SAEBench-maatstaven—Sparse Probing, Sae-Probes, Targeted Probe Perturbation (TPP), Spurious Correlation Removal (SCR), Autointerp en RAVEL—via drie complementaire perspectieven die zijn ontworpen om specifieke faalmodi te isoleren:

Reseed-ruis (Stabiliteit):
- Opzet: Een vaste, canonieke Gemma Scope SAE (Gemma-2-2b, laag 12, breedte 65k) werd vijf keer geëvalueerd met verschillende random seeds.
- Doel: De variantie in scores voor een identiek model meten. Hoge variantie geeft aan dat vergelijkingen op basis van één seed onbetrouwbaar zijn en dat de maatstaf wordt gedomineerd door ruis in plaats van signaal.
- Maatstaf: Variatiecoëfficiënt (CV) en de berekening van een "minimale betrouwbare verschil"-drempel ( $|\Delta|^*$ ) voor 95% zekerheid bij vergelijkingen op basis van één seed.
Discriminatievermogen over trainingstrajecten:
- Opzet: Twee panelen van SAE's werden getraind en vastgelegd (snapshot) gedurende de training:
  - Een Cross-Architectuur Panel: Vier verschillende architecturen (BatchTopK versus Matryoshka) met grote verschillen.
  - Een Matryoshka Panel: Vier varianten van dezelfde architectuur die alleen verschillen in één hyperparameter ( $n$ , het aantal binnenste breedtes), elk getraind met drie onafhankelijke seeds.
- Doel: Bepalen of maatstaven SAE's van verschillende kwaliteit kunnen onderscheiden en of scores monotoon verbeteren naarmate de SAE traint.
- Analyse: Variantiedecompositie om signaal (SAE-variant) te scheiden van ruis (trainingsseed en snapshot-jitter).
Correlatie met Grondwaarheid (Validiteit):
- Opzet: SAE's werden getraind op SynthSAEBench-16k, een synthetisch model met een bekende woordenlijst van 16k kenmerken waarbij de kwaliteit van de grondwaarheid berekenbaar is via de Mean Correlation Coefficient (GT-MCC) en F1 (GT-F1).
- Doel: Controleren of proxy-maatstaven monotoon correleren met de bekende grondwaarheidkwaliteit van de SAE.
- Beperking: Autointerp en RAVEL werden uitgesloten van dit perspectief, aangezien ze natuurlijke taalconcepten vereisen die afwezig zijn in de synthetische woordenlijst.

Belangrijkste Resultaten

1. Hoge Reseed-ruis

TPP en SCR: Deze maatstaven vertonen extreem hoge ruis. TPP bij kleine top- $N$ -waarden heeft een CV van 16–39%, en SCR bij grote top- $N$ bereikt 6,2%. Dit impliceert dat vergelijkingen op basis van één seed vaak niet te onderscheiden zijn van ruis.
Betrouwbare Maatstaven: Sae-probes (de variant met 113 datasets en cross-gevalideerde regularisatie) en Sparse Probing (bij $k=5$ ) vertonen lage ruis (CV $\le$ 0,3%), waardoor ze betrouwbaar zijn voor vergelijkingen op basis van één seed met een minimale betrouwbare verschil van $\approx 0,01$ .

2. Falen van Discriminatievermogen en TrainingsTrends

TPP- en SCR-falen:
- TPP: Scores nemen vaak af naarmate de training vordert (vooral bij top- $N \ge 50$ ), wat ten onrechte suggereert dat ongetrainde SAE's beter zijn dan getrainde.
- SCR: Scores nemen af tijdens de training voor canonieke instellingen (top- $N=10$ ) bij verschillende architecturen. Bij grote top- $N$ (bijv. 500) wordt SCR negatief gecorreleerd met de grondwaarheid, wat betekent dat betere SAE's lagere scores krijgen.
Gebrek aan Discriminatievermogen: De meeste maatstaven falen in het onderscheiden van kleine hyperparametervarianten (bijv. verschillende $n$ in Matryoshka SAE's). In het Matryoshka-paneel domineert voor veel maatstaven de variantie door trainingsseeds en snapshot-jitter de variantie door de daadwerkelijke SAE-architectuur.
Instabiliteit in Rangschikking: Wanneer SAE's vergelijkbaar zijn, rangschikken verschillende maatstaven (en zelfs verschillende hyperparameters van dezelfde maatstaf) ze vaak op tegenstrijdige manieren (bijv. toonde Sparse Probing $k=1$ versus $k=10$ een negatieve correlatie van $\rho = -0,4$ ).

3. Grondwaarheid-Validiteit

Sae-Probes: Toont een sterke correlatie met GT-MCC (Spearman $\rho \approx 0,82$ voor boolean mixed taken), wat het valideert als een betrouwbare proxy voor kenmerkhervinding.
TPP: Toont in wezen geen correlatie met GT-MCC bij canonieke instellingen ( $\rho \approx -0,03$ ). Het lijkt kenmerkmenging te volgen in plaats van SAE-kwaliteit.
SCR: Zeer instabiel. Bij canonieke top- $N=10$ rangschikt het een "perfect oracle" SAE lager dan veel getrainde SAE's. Bij top- $N=500$ wordt het negatief gecorreleerd met de grondwaarheid ( $\rho = -0,64$ ).

Belangrijkste Bijdragen

Audit van SAEBench: De eerste uitgebreide audit van de de facto standaard SAE-evaluatiesuite op het gebied van ruis, discriminatievermogen en validiteit.
Identificatie van Onbetrouwbare Maatstaven: Het artikel levert empirisch bewijs dat TPP en SCR bij hun canonieke instellingen meerdere gezondheidsverstandstests falen en niet voor evaluatie mogen worden gebruikt.
Kwantificering van Ruis: De auteurs stellen drempels voor minimale betrouwbare verschillen vast, wat aantoont dat veel huidige vergelijkingen in de literatuur statistisch onderbemand zijn vanwege hoge maatstaf-ruis.
Validatie van Sae-Probes: Identificeert Sae-Probes (met zijn grotere dataset-suite en cross-gevalideerde regularisatie) als de meest betrouwbare maatstaf die momenteel beschikbaar is, en biedt een concrete weg vooruit voor het vakgebied.
Synthetisch Validatiekader: Demonstreert de bruikbaarheid van SynthSAEBench voor het valideren van proxy-maatstaven tegen bekende grondwaarheid, een mogelijkheid die eerder niet beschikbaar was voor standaard LLM SAE's.

Betekenis en Claims

Het artikel concludeert dat het vakgebied van SAE-interpreteerbaarheid momenteel geen betrouwbare benchmarks kent. De auteurs stellen dat zonder het oplossen van deze proxy-maatstaven architecturale vooruitgang wordt gehinderd omdat:

Inspanning wordt misleid naar wijzigingen die er beter uitzien op ruisgevoelige of ongeldige proxies.
Echte verbeteringen onopgemerkt blijven omdat het signaal-ruisverhouding van huidige maatstaven te laag is om kleine maar betekenisvolle architecturale varianten te onderscheiden.

De auteurs claimen niet het benchmarkprobleem opgelost te hebben, maar betogen dat betere SAE-benchmarks een prerequisiet zijn om SAE-architecturen te vertrouwen. Zij pleiten voor het vermijden van TPP en SCR, het adopteren van de ontwerpprincipes van Sae-Probes (grotere datasets, cross-validatie), en het prioriteren van maatstaven die lage reseed-ruis en monotoon verbetering tijdens training vertonen. Het werk dient als een waarschuwend audit bedoeld om verder onderzoek naar robuustere evaluatiesuites te stimuleren.