💬 NLP

Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

Deze studie onthult dat in Transformer-modellen op basis van LayerNorm de richting en de grootte van vectorrepresentaties een gescheiden functionele rol spelen, waarbij de richting voornamelijk de aandachtspaden beïnvloedt en de grootte de verwerking van syntactische details reguleert.

Oorspronkelijke auteurs: Mangadoddi Srikar Vardhan, Lekkala Sai Teja

Gepubliceerd 2026-02-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mangadoddi Srikar Vardhan, Lekkala Sai Teja

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een slimme computer (een "Transformer", zoals de modellen die achter ChatGPT zitten) denkt in gigantische lijnen van getallen. Deze lijnen heten vectoren. Tot nu toe dachten wetenschappers dat de richting van deze lijnen het belangrijkste was: alsof je met een kompas alleen kijkt naar waar de naald wijst (Noord, Zuid, etc.).

Deze nieuwe studie zegt echter: "Wacht even! De lengte van die lijn is ook cruciaal, en het werkt op een heel andere manier dan de richting."

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Grote Geheim: De Kompasnaald vs. De Raket

De onderzoekers keken naar twee eigenschappen van deze denklijnen:

De Richting (Direction): Waar wijst de lijn naartoe? (Zoals de richting van een kompas).
De Grootte (Magnitude): Hoe lang is de lijn? (Zoals de kracht van een raket).

Ze ontdekten een fascinerend fenomeen, een soort "ruil" in de schade die je veroorzaakt als je deze eigenschappen verandert:

Als je de RICHTING een beetje verdraait (alsof je de kompasnaald een beetje scheef zet):
- Gevolg: De computer raakt volledig in de war over wat hij moet zeggen. Het taalgebruik (grammatica en zinsbouw) stort in.
- Vergelijking: Het is alsof je de besturing van een vliegtuig een beetje losdraait. Het vliegtuig (de taal) stort neer, maar de motor draait nog wel.
- Waarom? De richting bepaalt naar wie de computer luistert. Het is de "verkeersregelaar" die zegt: "Kijk naar dit woord, niet naar dat woord." Als de richting fout is, kijkt de computer naar de verkeerde dingen.
Als je de GROOTTE een beetje verandert (alsof je de raketkracht verhoogt of verlaagt, maar de richting hetzelfde houdt):
- Gevolg: De computer kan nog steeds zinnen maken, maar hij maakt grammaticafouten. Hij vergeet bijvoorbeeld of een werkwoord in het enkelvoud of meervoud moet staan.
- Vergelijking: Het is alsof je de motor van een auto te hard of te zacht laat lopen. De auto rijdt nog steeds in de goede richting, maar hij schokt, hij versnelt te snel of hij kan niet goed schakelen.
- Waarom? De grootte vertelt de computer hoe belangrijk iets is en waar in de zin het woord staat (bijvoorbeeld: is dit het onderwerp of het voorwerp?).

2. De "Twee Wegen" in de Computer

De onderzoekers hebben gekeken waar in de computer deze twee dingen gebeuren. Het is alsof de computer twee verschillende snelwegen heeft:

De Richting gaat via de "Aandachtsweg":
De richting van de lijn bepaalt welke woorden de computer met elkaar verbindt. Als je de richting verpest, breekt deze verbinding. De computer weet niet meer wie met wie praat.
- Analogie: Het is alsof je de telefoonlijnen doorknipt. Niemand hoort elkaar meer, dus het gesprek (de tekst) is kapot.
De Grootte gaat via de "Normeringsweg" (LayerNorm):
De grootte van de lijn wordt verwerkt door een onderdeel dat de "volume" regelt. Dit helpt de computer om de structuur van de zin te begrijpen.
- Analogie: Het is alsof je het volume van een orkest verandert. Als het te hard is, klinkt het als lawaai; als het te zacht is, hoor je de details niet. De muziek (de zin) is er nog, maar de harmonie (de grammatica) is weg.

3. De Belangrijkste Les: Het hangt af van het Bouwplan

Dit is misschien wel het meest verrassende deel: Dit werkt niet bij elke computer.

De onderzoekers keken naar een specifiek type model (Pythia). Maar toen ze naar een ander type keken (TinyLlama), gebeurde er precies het tegenovergestelde!

Bij het ene model is de richting het belangrijkste.
Bij het andere model is de grootte het belangrijkste.

Vergelijking:
Het is alsof je twee verschillende auto's hebt.

In de Ford is het stuur (richting) het allerbelangrijkste. Als je dat verwart, kun je niet rijden.
In de Toyota is de versnellingspook (grootte) het allerbelangrijkste. Als je die verwart, kun je niet rijden.

Als je denkt dat alle auto's hetzelfde werken, ga je in de problemen komen. Net zo werkt het met kunstmatige intelligentie: de "bouwtekening" (de architectuur) bepaalt welke eigenschap belangrijk is.

Waarom is dit belangrijk?

Beter begrijpen: We weten nu dat computers niet alleen "denken" met richtingen, maar ook met "kracht".
Beter repareren: Als we een fout in een AI willen fixen, moeten we weten of we de "richting" of de "grootte" moeten aanpassen. Als we de verkeerde knop indrukken, maken we het misschien erger.
Veiligheid: Als we weten hoe deze computers werken, kunnen we ze veiliger en betrouwbaarder maken.

Kortom: De richting van een denklijn vertelt de computer naar wie hij moet kijken, en de lengte van de lijn vertelt hem hoe hij moet luisteren. En of de richting of de lengte belangrijker is, hangt af van welk type computer je gebruikt!

1. Het Probleem: De Rol van Richting versus Magnitude

Transformer-modellen coderen informatie als hoogdimensionale vectoren. Hoewel de lineaire representatiehypothese (Linear Representation Hypothesis) al lang stelt dat semantische concepten worden gecodeerd als specifieke richtingen (oriëntatie) in de activatieruimte, blijft de functionele rol van de magnitude (de L2-norm of vectorlengte) onduidelijk.

De kernvraag is: spelen richting en magnitude verschillende functionele rollen in de berekening van het model?

Het confound-probleem: Eerdere vergelijkingen waren onvolledig omdat het verstoren van de richting (rotatie) en het verstoren van de magnitude (schaling) vaak leiden tot verschillende grootte van de verstoring in de Euclidische ruimte. Als een hoekverandering meer schade veroorzaakt, is dat omdat richting belangrijker is, of simpelweg omdat de verstoring groter was? Er ontbrak een methode om deze twee variabelen eerlijk te vergelijken onder gecontroleerde omstandigheden.

2. Methodologie: L2-Gelijke Verstoring (L2-Matched Perturbation Analysis)

De auteurs introduceren een nieuwe methodologie om dit confound op te lossen: L2-matched perturbation analysis.

Principe: Zowel hoekveranderingen (angular perturbations) als magnitude-veranderingen worden zo geconstrueerd dat ze exact dezelfde Euclidische verplaatsing ( $\delta$ ) veroorzaken ten opzichte van de oorspronkelijke vector.
Implementatie:
- Voor een gegeven vector $h$ wordt de magnitude geschaald of de richting geroteerd zodanig dat $\|h - h'\| = \delta$ .
- Dit zorgt ervoor dat elke vergelijking puur gebaseerd is op het type verstoring (richting vs. magnitude) en niet op de grootte van de verstoring.
Experimenteel Opzet:
- Modellen: Voornamelijk de Pythia-familie (410M en 1.4B parameters), met validatie op OPT en TinyLlama.
- Interventie: Verstoringen worden toegepast op de verborgen staten (hidden states) in de middelste lagen (lagen 8-15).
- Evalueringsmetrieken:
  1. Taalmodellering: Cross-entropy verlies (next-token prediction).
  2. Syntaxis: Nauwkeurigheid bij onderwerp-werkwoord overeenstemming (BLiMP dataset).
- Causale Interventie: "Reparatie-experimenten" waarbij de oorspronkelijke output van Attention- of LayerNorm-lagen wordt ingebracht na een verstoring, om te zien welk pathway de schade herstelt.

3. Belangrijkste Resultaten: Een Kruisover Dissociatie

De studie ontdekt een opvallend kruisover-dissociatiepatroon (crossover dissociation) in LayerNorm-gebaseerde modellen (zoals Pythia):

Type Verstoring	Impact op Taalmodellering (Verlies)	Impact op Syntaxis (Nauwkeurigheid)
Richting (Angular)	Extreem hoog: Tot 42,9x meer schade bij kleine verstoringen.	Laag: Minimale daling in nauwkeurigheid.
Magnitude	Laag: Minimale schade aan het verlies.	Extreem hoog: Tot 20,4% daling in syntactische nauwkeurigheid (vs 1,6% bij richting).

Interpretatie: Richting is cruciaal voor de algemene voorspelling van het volgende woord (informatie-routing), terwijl magnitude essentieel is voor fijne syntactische oordelen.

4. Mechanistische Analyse: Twee Distincte Paden

Door causale interventies uit te voeren, identificeren de auteurs twee verschillende mechanistische paden waarlangs deze eigenschappen werken:

Richting $\rightarrow$ Attention Pad:
- Schade aan de richting wordt grotendeels verholpen door het herstellen van de Attention-patronen (28,4% herstel van het verlies).
- Dit suggereert dat de richting bepaalt welke tokens naar elkaar kijken (attentional routing). Een verstoring hierin veroorzaakt cascade-effecten door het hele netwerk.
Magnitude $\rightarrow$ LayerNorm Pad:
- Schade aan de magnitude wordt grotendeels verholpen door het herstellen van LayerNorm-output (29,9% herstel van de syntactische schade).
- Waarom magnitude voor syntaxis? De auteurs vinden dat de magnitude sterk correleert met de diepte van de parse-tree (structuurpositie). Magnitude fungeert als een signaal voor de structurele positie van een token, wat noodzakelijk is voor het bepalen van onderwerp-werkwoord overeenstemming.

5. Architectuur-afhankelijkheid en Generalisatie

Een cruciale bevinding is dat dit patroon niet universeel is voor alle transformers:

Pythia & OPT (LayerNorm): De beschreven dissociatie treedt op.
TinyLlama (RMSNorm): Het patroon keert om. Bij RMSNorm-architecturen veroorzaakt magnitude-verstoring meer schade aan het taalmodelverlies dan richtingsverstoring.
Conclusie: De functionele rol van geometrische eigenschappen (richting vs. magnitude) hangt fundamenteel af van het type normalisatielaag (LayerNorm vs. RMSNorm).

6. Bijdragen en Significantie

Technische Bijdragen:

Methodologisch: Introductie van L2-matched perturbation analysis voor eerlijke vergelijking van vector-eigenschappen.
Empirisch: Ontdekking van de kruisover-dissociatie in Pythia-modellen.
Mechanistisch: Causaal bewijs voor twee gescheiden paden: richting via Attention, magnitude via LayerNorm.

Theoretische Implicaties:

Verfijning van de Lineaire Representatiehypothese: De hypothese moet worden uitgebreid. Richting codeert semantische categorieën, maar magnitude codeert structurele positie en moduleert de verwerkingsintensiteit.
Encoding vs. Computation: Er is een onderscheid tussen wat informatie bevat (richting codeert syntaxis goed) en hoe die informatie gebruikt wordt (magnitude is nodig om die syntaxis te berekenen via structuurposities).

Praktische Implicaties:

Model Editing: Bij het bewerken van modellen (bijv. voor kennis-updates) moet men rekening houden met wat men wil behouden. Wil men de taalvaardigheid behouden? Behoud dan de richting. Wil men syntactische coherentie behouden? Behoud dan de magnitude.
Interpretability: Analyse van richting en magnitude apart kan leiden tot fijnmaziger inzichten in hoe modellen werken.

Samenvatting

Dit artikel toont aan dat in LayerNorm-gebaseerde transformers richting en magnitude geen willekeurige geometrische eigenschappen zijn, maar gedeeltelijk gespecialiseerde computatie-eenheden. Richting regelt de informatie-routing (attention), terwijl magnitude de verwerkingsintensiteit en structurele positie (via LayerNorm) regelt. Dit patroon is echter afhankelijk van de architectuur, wat aantoont dat de keuze van normalisatielaag de fundamentele werking van het model beïnvloedt.