🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

Dit artikel stelt een methode voor voor het extraheren van interpreteerbare gewichtsmechanismen direct uit neurale netwerk lineaire lagen met behulp van kolom-getiled SVD om kenmerken te definiëren als trigger-schrijfsterkte-triples, waarbij een perfecte prestatie over alle geteste locaties op een Gemma-2-2B model wordt aangetoond terwijl de bijbehorende code en evaluatiesuite worden vrijgegeven.

Oorspronkelijke auteurs: Ash Manvi, Samreena Tajreen

Gepubliceerd 2026-08-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ash Manvi, Samreena Tajreen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe het brein van een gigantische, superintelligente robot werkt. Een lange tijd hebben wetenschappers zich gedragen als detectives die proberen te achterhalen wat de robot denkt door naar zijn "notities" (activaties) te kijken terwijl hij problemen oplost. Ze bouwden speciale woordenboeken om deze notities te labelen, en gaven namen als "kat" of "gerechtigheid" aan specifieke patronen van activiteit. Het is een beetje alsof je een vertaler hebt die je vertelt: "Ah, op dit moment denkt de robot aan een kat!" Maar er is een addertje onder het gras: deze vertaler is een apart hulpmiddel, geen onderdeel van het eigenlijke brein van de robot. Het is alsof je een handleiding hebt die de machine uitlegt, in plaats van de raderen en hendels te zien bewegen binnenin.

De grote vraag die dit artikel aanpakt is: Kunnen we de werkelijke "raderen" vinden binnen het brein van de robot die het denken verzorgen, zonder een aparte handleiding nodig te hebben? De auteurs kijken naar de "draden" (gewichten) die verschillende delen van het brein met elkaar verbinden. Ze willen specifieke, bruikbare schakelaars vinden die ideeën aan- en uitzetten. Als we deze schakelaars direct in de bedrading kunnen vinden, zullen we niet alleen raden wat de robot denkt; we zullen precies kunnen zien hoe hij zijn gedachten opbouwt, stap voor stap. Dit is cruciaal omdat als we de werkelijke mechanica begrijpen, we fouten kunnen herstellen of de robot in veiligere richtingen kunnen sturen, in plaats van alleen maar te gissen naar wat hij bedoelt.

Het verhaal van het artikel: Het vinden van de echte raderen

De auteurs, Ash Manvi en Samreena Tajreen van Aquin Labs, besloten te stoppen met het kijken naar de "notities" van de robot en begonnen direct naar de "bedradingsschema's" te kijken. Ze concentreerden zich op een specifiek type robotbrein genaamd Gemma-2-2B en vroegen zich af: "Als we de bedrading in kleine, hanteerbare stukjes snijden, kunnen we dan de exacte schakelaars vinden die de gedachten van de robot controleren?"

Om dit te doen, gebruikten ze een wiskundig hulpmiddel genaamd SVD (Singular Value Decomposition). Zie SVD als een superkrachtige manier om een rommelige, verwarde bal wol te nemen en deze te ontwarren tot nette, rechte draden. Meestal proberen wetenschappers de hele bal wol in één keer te ontwarren om de grootste draden te vinden. Maar de auteurs hadden een vermoeden dat de meest nuttige draden verborgen zouden kunnen zijn in kleinere, specifieke secties. Daarom probeerden ze een nieuwe truc: Tiled SVD.

Stel je de bedrading van de robot voor als een enorme muur van schakelaars. In plaats van te proberen de hele muur in één keer te ontwarren, hakten ze de muur in kleine, vierkante tegels (zoals een mozaïek). Ze ontwarren elke kleine tegel afzonderlijk. Uit elke tegel haalden ze een "mechanisme-montage", wat gewoon een chique naam is voor een drievoudig pakket:

De Trigger (v): Het specifieke signaal dat de schakelaar omzet.
Het Schrijven (u): De richting waarin de schakelaar de gedachten van de robot duwt.
De Sterkte (σ): Hoe hard die schakelaar duwt.

De auteurs gokten niet alleen of deze schakelaars werkten; ze bouwden een rigoureuze test om te zien of dit echte "mechanismen" waren of gewoon willekeurige ruis. Ze controleerden drie belangrijke zaken:

Energie-lift: Zorgt het omzetten van deze schakelaar ervoor dat het brein van de robot daadwerkelijk meer werk doet op een nuttige manier? Ze vonden dat hun "tiled" benadering (het snijden van de muur in kleine stukjes) veel beter was in het vinden van deze krachtige schakelaars dan wanneer men naar de hele muur tegelijk kijkt.
Dekking: Dekken deze schakelaars genoeg van het brein van de robot? Ze ontdekten dat slechts een paar schakelaars per tegel genoeg waren om bijna alles te verklaren wat de robot deed.
Causale Sturing: Als ze deze schakelaars handmatig omzetten, veranderde de robot zijn mening dan op een voorspelbare manier? Ze testten dit door signalen in de "residual stream" van de robot te injecteren (de hoofdweg waar gedachten doorheen reizen) en controleerden of de uiteindelijke antwoorden van de robot zoals verwacht veranderden.

Wat ze vonden

De resultaten waren verrassend succesvol. Ze testten zeven verschillende soorten bedrading in elk van de lagen van het robotbrein (26 lagen in totaal). Dat zijn 182 verschillende plekken die ze controleerden.

De "Grote" Schakelaars: Voor de twee belangrijkste soorten schakelaars die daadwerkelijk nieuwe gedachten in het geheugen van de robot schrijven (genaamd mlp.down en attn.o), gebruikten ze een volledige test die ook controleerde of de robot zijn mening correct veranderde. Alle 52 van deze plekken slaagden.
De "Helper" Schakelaars: Voor de andere vijf soorten schakelaars die helpen bij het verwerken van informatie maar niet direct in het geheugen schrijven, gebruikten ze een iets eenvoudigere test. Alle 130 van deze plekken slaagden.

In totaal slaagden 182 van de 182 plekken voor de test. Dit betekent dat ze succesvol werkende, echte mechanismen hebben gevonden in elk deel van het brein van de robot waar ze naar keken.

Wat dit betekent (en wat het niet betekent)

De auteurs zijn zeer duidelijk over wat ze niet hebben gedaan. Ze hebben geen woordenboek met woorden als "kat" of "liefde" gevonden. Ze hebben de oude "notitie-methoden" (zoals sparse autoencoders) voor het ontdekken van nieuwe concepten niet vervangen. In plaats daarvan hebben ze bewezen dat als je naar de bedrading kijkt in kleine, getegelde stukken, je de werkelijke fysieke regels kunt vinden die de robot gebruikt om te denken.

Ze ontdekten ook dat je voor sommige delen van het brein niet simpelweg naar de ruwe bedrading kunt kijken; je moet naar het "effectieve pad" kijken (hoe het signaal daadwerkelijk stroomt terwijl de robot werkt). Zodra ze hiervoor corrigeerden, werkten de schakelaars perfect.

Het artikel suggereert dat deze "tiled" benadering een betere manier is om de echte raderen van de robot te vinden dan wanneer men naar het hele systeem tegelijk kijkt. Het is een reproduceerbare, eerlijke test die aantoont dat we de "gewichtregels" (de werkelijke wiskunde binnen het brein) kunnen vinden die het gedrag van de robot aansturen, zonder een aparte vertaler nodig te hebben om ons te vertellen wat er gebeurt. Hoewel ze dit alleen op één specif kind model en één type tekst hebben getest, is de methode die ze hebben ontwikkeld nu beschikbaar voor iedereen om andere breinen te verkennen.

Technische Samenvatting: Het vinden van bruikbare gewichtsmechanismen met Tiled SVD

Probleemstelling
De huidige dominante benaderingen in mechanistische interpreteerbaarheid vertrouwen op het trainen van proxy-dictionaries, zoals sparse autoencoders (SAE's), om kenmerken te labelen op basis van maximaal activerende tekst. Hoewel deze atlas-methoden succesvol concepten identificeren, bevindt de "identiteit" van een kenmerk zich in de geleerde dictionary en niet in de netwerkgewichten zelf. Bijgevolg blijven de specifieke gewichtsregels die daadwerkelijk in de residual stream schrijven, impliciet. Bovereen houdt de huidige methode vaak SVD (Singular Value Decomposition) slechts een instrument of circuit-primitief, in plaats van een rigoureuze test om te bepalen welke specifieke chunking van een gewichtsmatrix ( $W$ ) bruikbare, on-distribution mechanismen oplevert.

Methodologie
De auteurs stellen voor om "mechanism mounts" direct te extraheren uit lineaire sites binnen het netwerk met behulp van column-tiled SVD.

Mechanism Mounts: Een mount wordt gedefinieerd als een triple $(v, u, \sigma)$ bestaande uit een trigger, een schrijfrichting en een sterkte. De identiteit van een mechanisme is de gewichtsregel zelf, niet een verbale label.
Tiling Strategie: In plaats van SVD uit te voeren op de gehele gewichtsmatrix, worden de invoerkolommen van $W$ gepartitioneerd in tiles. Elke tile wordt onafhankelijk gefactoreerd ( $B_t = U_t \Sigma_t V_t^\top$ ). De top- $k$ modi uit elke tile worden behouden om de mounts te vormen.
Evaluatiemetrieken: De auteurs introduceren een meetstapel die wordt beoordeeld op full-write energy lift in plaats van tile-lokale lift.
- Full-Write Energy Lift ( $L_{full}$ ): Meet hoe goed een richting $u$ de energie van de werkelijke schrijf-tensor $\Delta h_t$ over de dataset verklaart. Deze metriek vermijdt het tautologische voordeel van één-kolom tiles die lokale metrieken opblazen.
- Coverage Saturation: Evalueert welk deel van de Frobenius-norm van $W$ wordt hersteld door per-tile rank- $k$ reconstructies. Het vereist dat de lift verzadigd is (binnen 1–2 modi) en niet significant instort.
- Causal Steer Check (Experiment C): Voor residual writes injecteren de auteurs de stuurrichting na de post-sublayer RMSNorm en meten de Spearman-correlatie ( $\rho$ ) tussen de resulterende logit-veranderingen en de unembedding van de schrijfrichting.
Effective-Path Mounts: Voor niet-residual sites zoals mlp.up en attn.v falen de ruwe modulegewichten vaak bij causale checks. De methode construeert "effectieve kaarten" (bijv. het wegen van mlp.up door gemiddelde gate-activaties of het gebruik van ridge least-squares voor attn.v) om de werkelijke on-distribution usage te vangen.

Experimentele Opzet

Model: Google Gemma-2-2B (26 lagen).
Data: Ruwe WikiText-2 trainingsdata, gesubsampleerd naar 16.384 tokens.
Sites: Alle zeven lineaire mappen per laag worden geëvalueerd:
- Residual Writes (A/B/C checks): mlp.down, attn.o.
- Non-Residual (A/B checks alleen): mlp.gate, mlp.up, attn.q, attn.k, attn.v.
Baselines: De tiled SVD-benadering wordt vergeleken met whole-matrix SVD, kolom-sampling en random baselines.

Belangrijkste Resultaten
De voorgestelde suite werd toegepast op alle 182 site-lagen (7 sites $\times$ 26 lagen).

Experiment A (Chunking): Tiled SVD behaalde consistent een hogere full-write energy lift dan whole-matrix SVD, kolom-sampling en random baselines over alle dieptes voor residual writes. Dit geeft aan dat de lokale kolomstructuur in $W$ niet goed wordt samengevat door een enkele globale SVD.
Experiment B (Coverage): De coverage lift verzadigde snel en bereikte piekprestaties met slechts 1 of 2 modi per tile. Aanvullende modi voegden voornamelijk redundantie toe.
Experiment C (Causal Depth): Voor residual writes nam de alignment tussen gestuurde logits en de unembedding van de schrijfrichting toe met de diepte. Vroege lagen (0–5) vertoonden zwakke alignment (wat de waiver voor de C1 check rechtvaardigt), terwijl de laatste lagen hoge correlaties bereikten ( $\rho \approx 0.91$ voor mlp.down, $\rho \approx 0.75$ voor attn.o).
Geaggregeerd Verdict: De suite slaagde voor 182/182 site-lagen.
- Residual sites (mlp.down, attn.o) slaagden voor A, B en C checks (52/52).
- Non-residual sites slaagden voor A en B checks (130/130), mits mlp.up en attn.v effectieve-pad mounts gebruikten.

Betekenis en Claims
De auteurs positioneren dit werk niet als een vervanging voor sparse autoencoders voor conceptontdekking, noch als een methode voor het genereren van menselijk leesbare conceptnamen. De betekenis ligt in:

Fair Chunking: Het aantonen dat tiled SVD een superieure methode is voor het extraheren van bruikbare gewichtsmechanismen vergeleken met globale SVD of kolom-sampling onder een gelijkwaardig budget.
Negatief Resultaat op Lokale Metrieken: Het benadrukken dat tile-lokale lift-metrieken tautologisch zijn en dat full-write energy lift een noodzakelijk criterium is voor bruikbaarheid.
Reproduceerbaar Protocol: Het bieden van een "eerlijk multi-site protocol" dat de extractie van mechanismen valideert over alle lineaire mappen in een transformer-blok, inclus\t een diepte-geconditioneerde causale check.
Definitie van Identiteit: Het vaststellen dat de "identiteit" van een mechanisme de gewichtsregel zelf is, onafhankelijk van externe dictionaries.

De paper concludeert dat met effectieve-pad mounts voor specifieke lagen, een eenvoudige, reproduceerbare suite van checks de bruikbare mechanismen over de gehele architectuur van een model kan valideren. De auteurs stellen de library code, corpus builder en experiment entrypoints beschikbaar om dit protocol te ondersteunen.

Het verhaal van het artikel: Het vinden van de echte raderen

Wat ze vonden

Wat dit betekent (en wat het niet betekent)

Meer zoals dit