Technische Samenvatting: Waarom Lineaire Interpreteerbaarheid Werkt

Het Probleem: Het Theoretische Mysterie van Lineaire Structuren

In moderne Transformer-modellen (zoals LLaMA of GPT) is een opvallende empirische observatie dat eenvoudige lineaire methoden — zoals lineaire probes en Sparse Autoencoders (SAE's) — zeer effectief zijn in het extraheren van betekenisvolle semantische kenmerken uit de diepe, hoog-nietlineaire activaties van het model.

Er bestaat echter een fundamentele theoretische kloof: waarom zouden deze complexe, nietlineaire systemen zulke eenvoudige, lineaire structuren vertonen? Hoewel eerdere studies suggereerden dat dit voortkomt uit het trainingsdoel (next-token prediction), biedt dit paper een alternatieve en complementaire verklaring: de architecturale beperkingen van de Transformer zelf dwingen deze lineaire structuren af.

Methodologie en Theoretisch Kader

De auteurs introduceren een geometrisch kader dat stelt dat de manier waarop informatie tussen lagen wordt gecommuniceerd, de vorm van de representaties dicteert.

1. De Invariant Subspace Necessity Theorem

De kern van het paper is het bewijs dat wanneer een semantisch kenmerk (bijv. "het concept Frankrijk") wordt gedecodeerd via een lineaire interface (zoals de unembedding matrix $W_U$ of de attention OV-circuit), dit kenmerk noodzakelijkerwijs moet bestaan in een context-invariante lineaire subruimte.

• Betekenis: Ongeacht de context (bijv. "Ik ben in Parijs" vs. "De hoofdstad van Frankrijk"), de informatie over het kenmerk moet in dezelfde geometrische richting ($d_f$) liggen om door de lineaire laag correct te kunnen worden gelezen.

2. De Self-Reference Property

Een cruciaal theoretisch resultaat is dat tokens zelf de richting van hun kenmerken aangeven. Als een token $t$ (bijv. "Frankrijk") een kenmerk $f$ representeert, dan zal de activatie van dat token in het model ($h_t$) vrijwel direct de geometrische richting ($d_f$) van dat kenmerk definiëren. Dit maakt zero-shot identificatie mogelijk zonder dat er gelabelde data nodig is.

3. Capaciteitsbeperkingen en Factorisatie

Het paper legt uit dat omdat de vocabulaire-omvang ($|V|$) veel groter is dan de verborgen dimensie ($d$), tokens niet allemaal unieke, orthogonale richtingen kunnen hebben. Om efficiënt te zijn, moeten tokens semantische kenmerken delen (superpositie). Dit dwingt het model tot een gefactoriseerde representatie waarbij tokens worden opgebouwd uit een combinatie van gedeelde, invariante feature-richtingen.

Belangrijkste Bijdragen

1. Architecturale Verklaring: Het verschuift de focus van optimalisatie (training) naar architectuur (structuur) als de primaire oorzaak van lineaire interpreteerbaarheid.
2. Self-Reference Property: Een nieuw inzicht dat tokens fungeren als hun eigen referentiepunten voor semantische extractie.
3. Unificatie van Methoden: Het verenigt lineaire probes en SAE's onder één theoretisch dak: beide methoden proberen de invariante subruimtes te vinden die door de architectuur zijn opgelegd.

Resultaten en Empirische Validatie

De auteurs testten hun theorie op acht verschillende classificatietaken (zoals dieren, landen, emoties en talen) en vier modelfamilies (LLaMA3, Mistral, GPT2, etc.).

• Zero-Shot & Unsupervised Succes: De voorspelde "token-richtingen" konden met hoge nauwkeurigheid nieuwe, niet-geziene contexten classificeren. Zelfs een unsupervised probe (getraind op enkel tokens, niet op voorbeelden) presteerde uitstekend.
• SAE Validatie: De auteurs toonden aan dat de latente kenmerken die door Sparse Autoencoders worden geleerd, een enorme overlap hebben met de door tokens gedefinieerde richtingen. Dit bewijst dat SAE's inderdaad de onderliggende invariante structuren extraheren.
• Polysemie: Het model kan verschillende betekenissen van één woord (bijv. "Apple" als fruit vs. bedrijf) succesvol scheiden in de representatieruimte, wat de robuustheid van de factorisatie bevestigt.

Significantie

Dit werk is van groot belang voor de Mechanistic Interpretability. Het biedt een wiskundig fundament voor waarom we de "black box" van neurale netwerken kunnen begrijpen met relatief eenvoudige lineaire instrumenten. Het suggereert dat interpreteerbaarheid geen toeval is, maar een direct gevolg van hoe Transformers zijn ontworpen om informatie te verwerken. Dit opent de deur naar schaalbare, ongesuperviseerde methoden voor het ontdekken van circuits en kenmerken in steeds grotere taalmodellen.