Technische Samenvatting: Instabiele Kenmerken, Reproduceerbare Subruimtes

Probleemstelling

Sparse Autoencoders (SAE's) zijn een primaire tool voor mechanistische interpreteerbaarheid, met als doel activaties van neurale netwerken te ontleden in ijle (sparse), menselijk interpreteerbare kenmerken. Een kritische beperking is echter de seed-afhankelijkheid: SAE's die getraind zijn op identieke data en hyperparameters, maar met verschillende willekeurige seeds, leren vaak substantieel verschillende verzamelingen kenmerken. Dit roept een fundamentele vraag op: wanneer een specifiek kenmerk niet opnieuw verschijnt in een nieuwe trainingsronde, is de onderliggende richting dan afwezig uit de nieuwe dictionary, of heeft de SAE simpelweg een andere basis geleerd voor dezelfde regio in de activatieruimte? Het onderscheid tussen deze mogelijkheden is essentieel, omdat automatische interpretatiemethoden plausibele verklaringen kunnen toekennen aan zelfs niet-canonieke of willekeurige instellingen, wat betekent dat een "interpreteerbaar lijkend" kenmerk mogelijk geen reproduceerbare eenheid van analyse is.

Methodologie

De auteurs onderzoeken dit probleem via kenmerkstabiliteit, gedefinieerd als de waarschijnlijkheid dat een kenmerk opnieuw verschijnt in een onafhankelijk getrainde SAE onder een cosinus-overeenkomstigheidsregel.

1. Stabiliteitsschatting: De auteurs trainen $N+1$ SAE's op identieke data met verschillende seeds. Eén run dient als anker. Voor elk ankerkenmerk tellen ze hoeveel andere runs een kenmerk bevatten met een cosinus-overeenkomstigheid $\ge \theta$ (standaard $\theta=0.7$). Dit levert een empirische verschijningskans $\hat{p}_i$ op voor elk kenmerk.
2. Classificatie: Kenmerken worden gecategoriseerd als stabiel ($\hat{p} \ge 1-\epsilon$) of instabiel ($\hat{p} \le \epsilon$), waarbij $\epsilon=0.05$.
3. Vergelijkende Analyse: Stabiele en instabiele kenmerken worden vergeleken over meerdere dimensies:
   • Functionele Impact: Gemeten via reconstructiekwaliteit (Explained Variance) en downstream next-token loss onder activatie-patching.
   • Activatiestatistieken: Frequentie en magnitude van activatie.
   • Tokenstructuur: Token-entropie (diversiteit van tokens die het kenmerk triggeren).
   • Automatische Interpretatie: Analyse van verklaringen gegenereerd door SAEBench.
4. Geometrische Analyse: De auteurs analyseren de geometrie van de decoderruimte, waarbij ze de effectieve rang van subruimtes berekenen die gespannen worden door stabiele versus instabiele kenmerken, en de cross-seed reproduceerbaarheid van deze subruimtes testen met behulp van Singular Value Decomposition (SVD) en logistische regressieclassificatoren.
5. Synthetische Validatie: Een gecontroleerd laag-dimensionaal synthetisch model wordt geconstrueerd waarbij grondwaarheid-kenmerken bestaan in een gedeelde laag-dimensionale subruimte. SAE's worden op deze data getraind om te verifiëren of basis-ambiguïteit binnen een gedeelde subruimte de geobserveerde instabiliteitspatronen kan reproduceren.
6. Kenmerken-pooling (Feature Pooling): Om te testen of stabiliteit verbeterd kan worden zonder de reconstructiekwaliteit op te offeren, construeren de auteurs nieuwe SAE's door unieke kenmerken uit meerdere onafhankelijke runs te poolen, waarbij ze diegenen selecteren met de hoogste verschijningskansen.

Belangrijkste Resultaten

1. Functionele Asymmetrie

Er is een uitgesproken functionele asymmetrie tussen stabiele en instabiele kenmerken:

• Stabiele Kenmerken: Dragen de meerderheid van het reconstructie- en voorspellingsrelevante signaal. Ze vertonen hogere activatiefrequenties, zwaardere high-magnitude staarten en een hogere token-entropie (dekken bredere lexicale en conceptuele patronen).
• Instabiele Kenmerken: Hebben een zwakke marginale impact. Het maskeren van een groot aantal instabiele kenmerken veroorzaakt slechts een lichte degradatie in reconstructiekwaliteit en next-token loss, terwijl het maskeren van veel minder stabiele kenmerken substantiële degradatie veroorzaakt. Ze worden gedomineerd door laag-frequente oppervlaktevorm-triggers (bijv. interpunctie, specifieke substrings, hoofdlettergebruik patronen) en hebben een lagere token-entropie.

2. Geometrische Structuur: Reproduceerbare Subruimtes

Hoewel individuele instabiele kenmerken niet-reproduceerbaar zijn over seeds, zijn ze geen pure ruis.

• Laag-dimensionale Concentratie: Instabiele kenmerken concentreren zich in lager-dimensionale subruimtes vergeleken met stabiele kenmerken (reductie van de effectieve rang met ~20–27%).
• Subruimte-reproduceerbaarheid: Hoewel de specifieke basisvectoren (individuele kenmerken) veranderen over seeds, zijn de subruimtes die zij spannen zeer reproduceerbaar. Een classifier getraind om instabiele kenmerken in één seed te onderscheiden, transfeert effectief naar andere seeds, en de top singular subruimtes van de ene seed benaderen die van anderen nauwkeurig.
• Synthetische Bevestiging: Het synthetische laag-dimensionale model bevestigt dit mechanisme: laag-dimensionale grondwaarheid-kenmerken worden hersteld op subruimte-niveau, maar slagen er niet in om als individuele latenten over seeds heen te aligneren vanwege basis-ambiguïteit binnen de gedeelde regio.

3. Constructie van Stabiele SAE's

Door unieke kenmerken uit meerdere onafhankelijke runs te poolen en die te selecteren met de hoogste verschijningskansen, construeren de auteurs "seed-robuuste" SAE's.

• Deze geconstrueerde SAE's herstellen bijna de baseline Explained Variance (EV) na een korte afstemming.
• Cruciaal is dat deze aanpak aantoont dat stabiliteit en reconstructiekwaliteit niet hoeven te botsen in deze constructie-setting; hoge stabiliteit gaat samen met een hoge EV.
• Deze gepoolde SAE's blijven competitief met standaard TopK SAE's op SAEBench interpreteerbaarheidsmetrieken.

4. Robuustheid en Baselines

• Trainingsschaal: Het vergroten van het aantal trainings-tokens vermindert instabiliteit aanvankelijk, maar nadert een non-zero plateau (~8% instabiele kenmerken), wat aangeeft dat instabiliteit niet louter het gevolg is van onder-training.
• Willekeurige Modellen: Wanneer SAE's worden getraind op activaties van een willekeurig geïnitialiseerd transformer (een "dead-salmon" baseline), stort het stabiele deel in en domineert instabiliteit. Dit bevestigt dat de stabiele kenmerken in getrainde modellen echte structuur reflecteren, en niet slechts artefacten zijn van de SAE-objectieffunctie.
• SAE Varianten: Verschillende sparsity-mechanismen (TopK, BatchTopK, JumpReLU, Vanilla) vertonen variërende graden van stabiliteit, maar de bimodale distributie van stabiele/instabiele kenmerken blijft persistent aanwezig bij de meeste varianten.

Betekenis en Claims

De paper betoogt dat instabiele kenmerken in SAE's niet louter gefaalde of ruisige latents zijn. In plaats daarvan reflecteren ze een reproduceerbare laag-dimensionale structuur binnen de activatieruimte die standaard SAE's over verschillende seeds heen verschillend oplossen vanwege basis-ambiguïteit.

• Implicaties voor Interpreteerbaarheid: Het bestaan van instabiele kenmerken suggereert dat een enkele SAE-dictionary belangrijke cross-seed structuren kan verhullen. Deze structuur is echter herstelbaar.
• Methodologische Bijdrage: De auteurs stellen voor dat het poolen van hoog-waarschijnlijkheidskenmerken over runs heen een levensvatbare strategie is om meer stabiele SAE's te construeren zonder de reconstructiekwaliteit of downstream interpreteerbaarheids-prestaties op te offeren.
• Theoretisch Inzicht: Het werk verheldert dat seed-afhankelijkheid vaak een reflectie is van verschillende basis-keuzes binnen een gedeelde regio van de activatieruimte, in plaats van de afwezigheid van gedeelde structuur. Dit onderscheid is cruciaal voor het begrijpen van de grenzen van kenmerk-niveau interpreteerbaarheid en het potentieel voor het herstellen van identificeerbare individuele kenmerken binnen reproduceerbare subruimtes.

De auteurs blijven bescheiden en merken op dat hun laag-dimensionale analyse bewijs levert voor een specifiek mechanisme van seed-afhankelijkheid, maar niet bewijst dat elk instabiel kenmerk in echte Large Language Models uitsluitend door dit mechanisme wordt geproduceerd. Bovendien is het gebrek aan een stabiliteit-EV trade-off specifiek voor de feature-pool constructiemethode, en niet noodzakelijkerwijs een eigenschap van een enkele SAE-trainingsdoelstelling.