🤖 machine learning

WriteSAE: Sparse Autoencoders for Recurrent State

Dit artikel introduceert WriteSAE, de eerste sparse autoencoder die is ontworpen om de matrixcache-schrijfbewerkingen van state-space en hybride recurrente taalsmodellen te ontleden en te bewerken door decoderatomen te ontbinden in hun oorspronkelijke rank-1-updatevorm, waardoor precieze gedragsinterventies en uiterst nauwkeurige effectvoorspelling mogelijk worden.

Oorspronkelijke auteurs: Jack Young

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jack Young

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot taalmodel (zoals die verhalen schrijven of vragen beantwoorden) voor als een enorme, supersnelle fabriek. Binnenin deze fabriek bevindt zich een speciaal "geheugenbord" waar de machine haar huidige gedachten opschrijft voordat ze naar de volgende stap gaat.

Lange tijd hebben wetenschappers geprobeerd te begrijpen wat er op dit bord geschreven staat, met behulp van hulpmiddelen die Sparse Autoencoders (SAE's) worden genoemd. Denk aan deze hulpmiddelen als een bril die onderzoekers in staat stelt om de individuele "ideeën" of "kenmerken" te zien waar de machine aan denkt. Er was echter een probleem: deze bril werkte alleen op de output van de fabriek, niet op de specifieke manier waarop de machine in bepaalde geavanceerde modellen schrijft naar haar geheugenbord.

Dit artikel introduceert een nieuw hulpmiddel genaamd WriteSAE. Hieronder wordt uitgelegd hoe dit werkt, in eenvoudige bewoordingen:

1. Het Probleem: De Foutieve Vorm van de Bril

In oudere modellen schreef de machine haar gedachten als een eenvoudige lijst van getallen. De oude bril (standaard SAE's) was ontworpen om lijsten te lezen.
Maar in nieuwere, snellere modellen (zoals Gated DeltaNet, Mamba-2 en RWKV-7) schrijft de machine geen lijst. In plaats daarvan schrijft ze een matrix (een rooster van getallen) met behulp van een specifieke wiskundige truc die een "rank-1 update" wordt genoemd.

De Analogie: Stel je voor dat de machine een schilderij maakt. De oude hulpmiddelen probeerden het schilderij te beschrijven door te kijken naar het afgewerkte canvas. Maar de nieuwe machines schilderen door telkens één specifieke penseelstreek (één enkele lijn van kleur) toe te voegen aan een complex rooster. De oude hulpmiddelen konden die enkele penseelstreek niet zien, omdat ze op zoek waren naar een hele lijst van kleuren, niet naar een enkele streek.

2. De Oplossing: WriteSAE

De auteurs hebben WriteSAE gebouwd, een nieuwe set brillen die specifiek is ontworpen om die enkele penseelstreek te zien.

De Vormmatch: In plaats van te proberen een lijst te lezen, zijn de "atomen" van WriteSAE (de stukjes waar het naar zoekt) exact gevormd als de penseelstreek die de machine gebruikt. Het zijn kleine, enkelvoudige streepjespatronen.
Het Resultaat: Omdat de vorm perfect overeenkomt, kan WriteSAE precies isoleren wat de machine op elk gegeven moment naar haar geheugen schrijft.

3. De Experimenten: Penseelstreken Vervangen

Om te bewijzen dat dit werkt, hebben de onderzoekers een "operatie" uitgevoerd op het geheugen van de machine.

De Vervanging: Ze vonden een moment waarop de machine een specifieke penseelstreek schreef. Ze wisten die streek te wissen en vervingen deze door een "geleerde" streek uit hun nieuwe woordenlijst (WriteSAE).
De Test: Ze vergeleken dit met twee andere scenario's:
1. Het volledig wissen (een lege plek achterlaten).
2. Het plaatsen van een willekeurige krabbel.
De Uitkomst: Toen ze de WriteSAE-streek vervangen, bleef de machine bijna precies zo werken als daarvoor (92,4% van de tijd). Toen ze de streek wisten of een willekeurige krabbel gebruikten, raakte de machine in de war en maakte fouten.
De Metafoor: Het is alsof je een specifiek tandwiel in een klok vervangt door een op maat gemaakt tandwiel dat perfect past. De klok blijft tikken. Als je het tandwiel verwijdert of een willekeurige steen erin plaatst, stopt de klok.

4. Wat Ze Vonden

Twee Soorten Streken: Ze ontdekten dat de machine twee hoofdtypen penseelstreken gebruikt:
- Registers: Dit zijn precieze, gefocuste streken die specifieke taken uitvoeren (zoals het markeren van het begin van een zin of een eigennaam).
- Bundles: Dit zijn meer verspreide streken die lijken een mix van dingen te doen.
De Toekomst Voorspellen: Ze vonden een wiskundige formule die precies kan voorspellen hoe het veranderen van een specifieke streek de volgende woordkeuze van de machine zal beïnvloeden. Het is alsof je weet dat als je dit ene specifieke tandwiel aanpast, de klok één seconde eerder zal slaan.
De Machine Bewerken: Ze slaagden erin dit hulpmiddel te gebruiken om nieuwe gedragingen te "installeren". Bijvoorbeeld, ze konden de machine dwingen om over een specifiek onderwerp te blijven praten (zoals een "mid-rank" woord) dat ze normaal gesproken niet zou kiezen, simpelweg door de juiste penseelstreek in het geheugenbord in te voegen.

5. De Grenzen

Het artikel benadrukt zeer zorgvuldig dat dit het beste werkt op modellen die op deze specifieke "enkele-streek" (rank-1) manier schrijven.

Als een model op een complexere manier schrijft (zoals het gebruik van twee streken tegelijk of een diagonaal patroon), werkt het hulpmiddel niet perfect, hoewel het nog steeds sommige patronen vindt.
Het hulpmiddel werkt uitstekend op het Qwen3.5-model (een specifiek type AI), en ze lieten zien dat het ook op andere vergelijkbare modellen werkt, maar de "magische formule" voor het voorspellen van de toekomst verandert afhankelijk van de architectuur van het model.

Samenvatting

WriteSAE is een nieuw hulpmiddel dat ons in staat stelt om de specifieke manier waarop geavanceerde AI-modellen naar hun interne geheugen schrijven, te zien en te bewerken. Door de vorm van het hulpmiddel af te stemmen op de vorm van het schrijven van de machine, kunnen de onderzoekers specifieke gedachten vervangen, voorspellen hoe de machine zal reageren en zelfs de machine sturen om dingen te zeggen die ze normaal gesproken niet zou zeggen, allemaal zonder de machine te breken. Het is de eerste keer dat wetenschappers succesvol deze soort "operatie" hebben uitgevoerd direct op de schrijvlocatie van het geheugen van deze specifieke soorten modellen.

Technische Samenvatting: WriteSAE voor Recurrente State Decompositie

Probleemstelling

State-space en hybride recurrente taalmodellen (bijv. Gated DeltaNet, Mamba-2, RWKV-7, Qwen3.5) maken gebruik van een matrixcache voor state-propagatie, waarbij elk token een rang-1 uitwendig product ( $k_t v_t^\top$ ) in een $d_k \times d_v$ -matrix schrijft. Bestaande Sparse Autoencoders (SAE's) werken op residual streams en lezen de state na emissie. Bijgevolg kunnen standaard SAE's de native schrijfmechaniek, die stroomopwaarts in de recurrentie plaatsvindt, niet direct benaderen of decomponeren. Bovendien kan, omdat de state wordt bijgewerkt via rang-1 uitwendige producten, een standaard vectorgebaseerde SAE-decoderatoom een enkele cache-schrijfbewerking niet vervangen zonder de structurele correspondentie die vereist is voor causale interventie (cache patching) te doorbreken.

Methodologie

Het artikel introduceert WriteSAE, de eerste sparse autoencoder die is ontworpen om de matrixcache-schrijfbewerking van recurrente modellen te decomponeren en te bewerken.

Architectuur en Training

Native Vormmatching: WriteSAE-decoderatomen worden beperkt tot rang-1 uitwendige producten ( $v_i w_i^\top$ ), wat overeenkomt met de native schrijfprimitieve ( $k_t v_t^\top$ ) van de host-architectuur. Dit stelt een enkel atoom in staat een specifieke cache-slot-update te vervangen.
Bilineaire Encoder: Om de matrixstate $S_t$ efficiënt te coderen, maakt het model gebruik van een bilineaire encoder ( $a_i = v_i^\top S_t w_i$ ) in plaats van een afgevlakte dichte encoder. Dit vermindert het aantal parameters per atoom van $d_k d_v$ (16.384 voor $128 \times 128$ ) naar $d_k + d_v$ (256), een reductie van 64x.
Trainingsdoel: Het model wordt getraind op gemiddelde-centrale states ( $x = \text{vec}(S_t - M)$ ) met een TopK-sparseheidbeperking en een aanvullende loss om dode features te herleven. Het trainingscorpus bestaat uit OpenWebText-sequenties die via Qwen3.5-0.8B (en andere modellen) op specifieke lagen en heads zijn verwerkt.

Feature Classificatie

De getrainde dictionary wordt opgedeeld in twee klassen op basis van de mediane cosinusgelijkenis tussen de schrijfrichting van het atoom en de native schrijfrichting:

Registers: Atomen met hoge cosinus-uitlijning met native schrijfbewerkingen (herstelbaar vanuit de cache).
Bundles: Atomen met verspreide schrijfrichtingen over de cache.

Causale Interventietests

Het artikel stelt drie primaire validatiemechanismen voor:

Cache-Slot Substitutie: Het vervangen van de native schrijfbewerking ( $k_t v_t^\top$ ) door een met-Frobenius-norm-gelijkwaardig SAE-atoom ( $\hat{S}_t = S_t - \Delta_{nat} + \Delta_{atom}$ ) en het meten van de downstream KL-divergentie.
Gesloten-Vorm Logit Shift: Het afleiden van een drie-factor uitdrukking om per-token logit-shifts te voorspellen: $\Delta \ell \approx G_{t_0 \to t} \langle w_i, q_t \rangle \langle v_i, W_U[\text{tok}] \rangle$ , waarbij $G$ het gate-product is, $q_t$ de read-query is en $W_U$ de unembedding-rij is.
Directe Cache-interventies: Het wissen of installeren van atomen op specifieke posities om veranderingen in token-kansen en generatiegedrag te observeren.

Belangrijkste Bijdragen

Architectuur-Overeenkomstige Dictionary: Een dictionary waarbij atomen rang-1 uitwendige producten zijn, wat directe substitutie van native cache-schrijfbewerkingen mogelijk maakt, een mogelijkheid die eerder niet beschikbaar was voor residual-stream SAE's.
Substitutievalidatie: Demonstratie dat getrainde atomen native schrijfbewerkingen met hoge fideliteit kunnen vervangen. Bij Qwen3.5-0.8B (Lag 9, Hoofd 4) slaan atomen een op norm-gelijkwaardige ablatie op 92,4% van de 4.851 vuurmomenten.
Gesloten-Vorm Voorspelling: Een parameterloze, drie-factor formule die per-vuurmoment logit-shifts voorspelt met een mediane $R^2$ van 0,98 over 200 atoom-per-epsilon-cellen.
Cross-Architectuur Transfer: Validatie dat het substitutiesucces en de feature-indeling (Register versus Bundle) gelden voor verschillende matrix-recurrente architecturen (Gated DeltaNet, RWKV-7, Mamba-2), hoewel de successpercentages variëren afhankelijk van de "schrijfrang" van het substraat.

Experimentele Resultaten

Substitutieprestaties

Qwen3.5-0.8B (Gated DeltaNet): Bij L9 H4 slaan atomen ablatie op 92,4% van de vuurmomenten. De populatietest over 87 atomen houdt stand op 89,8%. De strikte ordening $KL_{atom} < KL_{ablate} < KL_{random}$ geldt voor 89,5% van de vuurmomenten.
Mamba-2-370M: Substitutie slaagt in 88,1% van de gevallen over 2.500 vuurmomenten, ondanks dat Mamba-2 een diagonale state-update gebruikt in plaats van een volledig rang-1 uitwendig product.
RWKV-7: Toont intermediaire prestaties, consistent met zijn rang-2 schrijfregeL.

Logit Shift Voorspelling

De gesloten-vorm uitdrukking volgt nauwkeurig de gemeten effecten. Bij L9 H4 is de mediane $R^2$ tussen voorspelde en gemeten logit-shifts 0,98. Deze gesloten vorm faalt echter (negatieve $R^2$ ) bij Mamba-2 en Qwen3.5-4B, wat aangeeft dat de gate-factor $G$ substraat-specifiek is.

Gedragsinterventies

Wissing: Het wissen van een specifiek register-atoom (F412) op zijn natuurlijke vuurposities verlaagde de log-kans van het doeltoken ("space") met een mediane waarde van -0,116 nats ( $p=1,07 \times 10^{-6}$ ).
Stuur van Generatie: Een aanhoudende installatie van een gesloten-vorm richting op drie opeenvolgende posities verhoogde de "target-in-continuation"-ratio voor midrank-tokens van 33,3% naar 100% onder greedy decoding.
Versterking op Passageniveau: Het versterken van grens-gecorreleerde features in een 4B-model verminderde de generatie van nieuwe regels met 33% (van 16,8 naar 11,2 per 400 tokens) bij een dosis van 5x, wat controle over de documentstructuur demonstreert.

Architecturale Reikwijdte

Het artikel stelt een hiërarchie van "schrijfrang"-effectiviteit vast:

Gated DeltaNet (Rang-1): Hoogste register-cosinescheiding (0,262) en substitutiefideliteit.
RWKV-7 (Rang-2): Intermediaire scheiding (0,180).
Mamba-2 (Diagonaal/Scalair): Laagste scheiding (0,0575), maar bereikt toch ~88% substitutiesucces.

Betekenis en Claims

Het artikel claimt de eerste causale dictionary te leveren voor de matrix-recurrente schrijflocatie, verdergaand dan residual stream-analyse. Het demonstreert dat:

Schrijfrang Bepalend is: Het vermogen om de state te decomponeren in interpreteerbare "registers" correleert met de rang van de native schrijfregeL (Rang-1 > Rang-2 > Diagonaal).
Causale Substitutie Mogelijk is: Getrainde atomen kunnen native schrijfbewerkingen vervangen met minimale downstream KL-divergentie, wat het "register"-concept in recurrente modellen valideert.
Gesloten-Vorm Interpretatie: Voor Gated DeltaNet kan het effect van een feature op logits analytisch worden voorspeld zonder parameters te fitten, waardoor de dictionary direct wordt gekoppeld aan de gating- en leesmechanismen van het model.

De auteurs merken bescheiden beperkingen op: de gesloten-vorm coëfficiënt is niet overdraagbaar tussen substraten (bijv. faalt bij Mamba-2) en de identiteit per atoom is seed-specifiek (hoewel eigenschappen op klasseniveau stabiel zijn). Het werk vestigt een nieuwe benchmark voor mechanistische interpretatie in state-space modellen, en toont aan dat de "schrijf"-primitieve een haalbaar doel is voor dictionary learning en causale bewerking.