💬 NLP

Disentangling MLP Neuron Weights in Vocabulary Space

Deze paper introduceert ROTATE, een datavrije methode die MLP-neuronen in gewichtsruimte ontrafelt door het maximaliseren van kurtosis in de vocabulaire-ruimte, waardoor interpreteerbare vocabulairekanalen worden verkregen die de neuronengedrag nauwkeuriger beschrijven dan bestaande op activatie gebaseerde methoden.

Oorspronkelijke auteurs: Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals Llama of Gemma) een enorme, complexe stad is. In deze stad werken miljoenen kleine arbeiders, de neuronen. Tot nu toe was het heel moeilijk om te begrijpen wat deze arbeiders precies doen. Ze lijken vaak een beetje chaotisch: één arbeider zou tegelijkertijd kunnen denken aan "paarden", "rekenen" en "tijd", wat erg verwarrend is voor onderzoekers die proberen de machine te begrijpen.

Deze paper introduceert een nieuwe methode genaamd ROTATE. Hier is een uitleg in gewone taal, met behulp van analogieën:

1. Het Probleem: De Verwarde Werkplek

Stel je een arbeider (een neuron) voor die een grote, rommelige werktafel heeft. Op die tafel liggen duizenden losse onderdelen (woorden) uit de taal. De arbeider pakt er een paar, maar het is niet duidelijk welke onderdelen bij elkaar horen.

Huidige methoden: Meestal kijken onderzoekers naar wat de arbeider doet terwijl hij werkt (bijvoorbeeld: "Hij werkt hard als we over paarden praten"). Maar dit kost veel tijd en energie, en het geeft soms een onvolledig beeld.
Het doel: We willen de werktafel zelf analyseren, zonder dat de arbeider hoeft te werken. We willen weten: "Welke specifieke onderdelen liggen hier precies en wat betekenen ze?"

2. De Oplossing: ROTATE (De Magische Draaistoel)

ROTATE is een methode die geen voorbeelden nodig heeft (geen "data-free"). Ze kijkt alleen naar de werktafel (de gewichten van het model) en draait deze een beetje.

De Analogie van de Draaistoel:
Stel je voor dat je een foto van een rommelige kamer hebt, maar de foto staat scheef. Je ziet alleen een wazige brij van meubels. ROTATE is als het draaien van de camera tot de foto perfect recht staat. Plotseling zie je: "Ah! Dat is een bank, dat is een lamp, en dat is een plant."

In de wereld van AI betekent dit: ROTATE draait de getallen van de arbeider totdat ze zich richten op specifieke, duidelijke concepten.

3. De Sleutel: De "Kurtosis" (De Spits van de Berg)

Hoe weet ROTATE welke kant hij moet draaien? Hij zoekt naar een statistisch patroon dat ze "kurtosis" noemen.

De Analogie:
Stel je een berg voor.
- Een normale berg (een Gaussische verdeling) is rond en zacht. Dit betekent dat de arbeider een beetje aan alles denkt, maar aan niets echt sterk. Dit is saai en verward.
- Een spitse berg (hoge kurtosis) heeft een heel scherpe top en steile hellingen. Dit betekent dat de arbeider zich extreem sterk richt op een paar specifieke woorden (bijvoorbeeld alleen "paard" en "rijden") en de rest negeert.
ROTATE draait de werktafel totdat hij deze spitse bergen vindt. Zodra hij ze vindt, weet hij: "Dit is een duidelijke, begrijpelijke gedachte."

4. Het Resultaat: Woordkanalen (Vocabulary Channels)

Na het draaien en zoeken naar de spitse bergen, splitst ROTATE de arbeider op in kleine, duidelijke stukjes, die ze "woordkanalen" noemen.

Voorbeeld: In plaats van één arbeider die "paarden, tijd en minnetekens" door elkaar doet, krijg je nu drie aparte kanalen:
1. Een kanaal dat alleen gaat over tijdsperiodes ("totdat", "jaren").
2. Een kanaal dat alleen gaat over negatieve gevoelens ("niet", "geen").
3. Een kanaal dat alleen gaat over rekenen ("min", "aftrekken").

Elk kanaal is een "spitse berg" die heel duidelijk één ding doet.

5. Waarom is dit geweldig?

Geen proefjes nodig: Je hoeft het model niet te laten werken met duizenden zinnen. Je kijkt gewoon naar de blauwdruk (de gewichten) en draait die. Dit is veel sneller en schaalbaarder.
Echte oorzaak: Als je één van deze nieuwe kanalen "uitzet" (ablatie), verdwijnt precies dat ene specifieke gedrag. Als je het kanaal voor "tijdsperiodes" uitzet, praat het model niet meer over "totdat". Het werkt als een precieze schakelaar.
Beter dan de rest: De auteurs hebben getoond dat deze methode veel beter werkt dan de oude methoden (zoals SAE's), die vaak nog steeds een beetje verward blijven. ROTATE geeft een schoner, duidelijker beeld van wat er in het hoofd van de AI gebeurt.

Samenvattend

ROTATE is als een slimme lens die je op de rommelige werktafel van een AI-neuron zet. Door de tafel te draaien totdat de "spitsen" (de duidelijke gedachten) naar voren komen, kun je zien dat de arbeider eigenlijk uit meerdere, zeer specifieke vakmensen bestaat. Het maakt de "black box" van kunstmatige intelligentie een stuk doorzichtiger, zonder dat je er een seconde tijd in hoeft te steken om het model te laten werken.

Probleemstelling

Een fundamentele uitdaging in de mechanistische interpretatie van taalmodellen (LM's) is het begrijpen van de informatie die is gecodeerd in de gewichten van het model. Bestaande methoden richten zich vaak op activaties (forward passes) of proberen neuronen te interpreteren die "polysemantisch" zijn, wat betekent dat ze meerdere, verstrengelde concepten tegelijk vertegenwoordigen.

Polysemantiteit: De meeste neuronen in de Feed-Forward (MLP) lagen van transformer-modellen coderen niet één enkel concept, maar een mengsel van verschillende concepten.
Afhankelijkheid van data: Veel interpretatiemethoden vereisen grote hoeveelheden activatiedata (forward passes door het model), wat computatief duur is en bias kan introduceren afhankelijk van de gebruikte dataset.
Unit van analyse: Het vinden van de juiste "eenheid van analyse" is lastig; bestaande methoden zoals Sparse Autoencoders (SAE's) kunnen monosemantische eenheden vinden, maar vereisen vaak training op activatiedata en decomponeren niet direct de gewichten zelf.

Methodologie: ROTATE

De auteurs introduceren ROTATE (Rotation-Optimized Token Alignment in weighT spacE), een datavrije methode die MLP-neuronen direct in de gewichtenspace ontvlecht zonder dat er forward passes nodig zijn.

Kernobservatie:
De auteurs stellen vast dat neuronen die een coherent, monosemantisch concept coderen, een hoge kurtosis vertonen wanneer hun gewichten worden geprojecteerd op de vocabulaire van het model (via de unembedding matrix $U$ ). Een hoge kurtosis betekent dat de verdeling van logits zwaarstaartig is: het neuron reageert sterk op een zeer kleine, specifieke set tokens en nauwelijks op de rest.

Het Algorithmische Proces:

Rotatie in gewichtenspace: Gegeven een neuron-gewichtsvector $w$ , leert ROTATE een reeks rotatiematrices $\{R_i\}$ (geparametriseerd via Householder-reflexies) die $w$ transformeren naar nieuwe vectoren $v_i = R_i w$ .
Optimalisatiedoel: De rotaties worden geoptimaliseerd om de kurtosis van de geprojecteerde logits ( $z = v_i U$ ) te maximaliseren, terwijl een regularisatieterm de gevonden richting dicht bij de oorspronkelijke vector $w$ houdt.
Iteratief Maskeren: Omdat neuronen meerdere concepten kunnen bevatten, wordt het proces iteratief uitgevoerd. Na het vinden van een kanaal (een richting met hoge kurtosis), worden de tokens die bijdragen aan die kurtosis "gemaskerd" (genegeerd) in de volgende iteratie. Dit dwingt de optimalisatie om nieuwe, onafhankelijke richtingen te vinden.
Vocabulaire Kanalen: De resulterende vectoren $v_i$ worden vocabulaire kanalen genoemd. Ze zijn schaars, interpreteerbaar en corresponderen met specifieke concepten in de vocabulaire van het model.

Belangrijkste Bijdragen

Statistische Observatie: Het aantonen dat hoge kurtosis in de vocabulaire-projectie van gewichten correleert met monosemantische richtingen in de gewichtenspace van LM's.
ROTATE Methode: Een nieuwe, datavrije techniek die gewichten direct ontvlecht in interpreteerbare componenten zonder training op activatiedata.
Superieure Prestaties: Experimenten tonen aan dat ROTATE beter presteert dan state-of-the-art SAE-baselines (zoals Gemma Scope en Llama Scope) op zowel trouwheid (faithfulness) als ** volledigheid** (completeness).
Verbeterde Neuronbeschrijvingen: Door de beschrijvingen van de afzonderlijke kanalen te aggregeren, kunnen gedetailleerde en nauwkeurige natuurlijke taalbeschrijvingen van neuronen worden gegenereerd die significant beter scoren dan bestaande methoden.

Resultaten en Evaluatie

De methode is getest op Gemma-2-2B-it en Llama-3.1-8B-Instruct.

Trouwheid (Faithfulness):
- Input-zijde: ROTATE-kanalen voorspellen de activatiepatronen van neuronen nauwkeuriger dan SAE-features. Ablatie (verwijdering) van een specifiek kanaal onderdrukt selectief de activatie voor de bijbehorende concepten, zonder andere functies van het neuron te beïnvloeden.
- Output-zijde: Causale validatie via "Patchscopes" toont aan dat het verwijderen van een kanaal de frequentie van de bijbehorende tokens in de gegenereerde tekst drastisch verlaagt (tot -90%), terwijl het verwijderen van andere kanalen dit effect niet heeft.
Volledigheid (Completeness):
- ROTATE kan een groter deel van het activatiespectrum van een neuron verklaren. In tests waarbij een LLM-judge moest bepalen welk kanaal een specifieke input activeerde, scoorde ROTATE 49%–60% juistheid, vergeleken met 36%–49% voor SAE-baselines (boven de 20% willekeur).
Beschrijvingen van Neuronen:
- In head-to-head vergelijkingen overtroffen de geaggregeerde beschrijvingen van ROTATE-kanalen de bestaande methoden (MaxAct+VocabProj en MaxAct++) met een 2-3x hogere win-rate. ROTATE is vooral beter in het beschrijven van neuronen die activeren op "moderate" activaties (niet alleen de uiterste pieken), wat wijst op een bredere dekking van het neuron's gedrag.

Betekenis en Conclusie

ROTATE biedt een schaalbare, fijnkorrelige bouwsteen voor het interpreteren van taalmodellen.

Datavrij: Het elimineert de noodzaak om miljoenen voorbeelden door het model te draaien om neuronen te begrijpen, wat rekenkracht bespaart en bias door datasetkeuze vermindert.
Mechanistisch Inzicht: Het biedt een directere manier om te begrijpen hoe neuronen werken door hun gewichten te ontleden in hun constitutieve concepten, in plaats van te vertrouwen op externe activatiepatronen.
Toekomstperspectief: De methode opent de deur voor nauwkeurigere circuit-discovery en het bestuderen van interacties tussen netwerkcomponenten, en stelt onderzoekers in staat om de "black box" van gewichten transparanter te maken zonder afhankelijk te zijn van specifieke inputdistributies.

Kortom, ROTATE bewijst dat de structuur van monosemantische concepten al aanwezig is in de gewichten van het model en dat deze kan worden blootgelegd door het maximaliseren van statistische onafhankelijkheid (kurtosis) in de vocabulaire-projectie.