📊 statistics

Assign and Add: A Mechanistic Study of Compositional Arithmetic

Dit artikel onderzoekt hoe kleine transformers compositionele generalisatie bereiken in een gecontroleerde setting van variabele toewijzing en modulaire optelling, waarbij wordt onthuld dat de modellen interne mechanismen hergebruiken voor zowel directe als indirecte inputs en door verschillende leerfasen gaan om op natuurlijke wijze te generaliseren naar ongeziene combinaties.

Oorspronkelijke auteurs: Brady Exoo, Alberto Bietti, John Sous

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Brady Exoo, Alberto Bietti, John Sous

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar zeer letterlijke robot leert om met wiskunde om te gaan. Je wilt de robot een puzzel laten oplossen zoals deze: "Als 'A' 5 is en 'B' 10, wat is A + B?"

Het lastige deel is dat de robot de letters "A" en "B" in exact die volgorde nog nooit heeft gezien, ook al heeft hij eerder getallen bij elkaar opgeteld (zoals 5 + 10) of andere letters op verschillende manieren gebruikt. De grote vraag die de onderzoekers stelden was: Hoe leert de robot deze twee verschillende vaardigheden te combineren—begrijpen dat een letter voor een getal staat, en vervolgens daadwerkelijk de wiskunde uit te voeren—om een volledig nieuwe puzzel op te lossen die hij nog nooit heeft gezien?

Hier is wat het onderzoek "Assign and Add" ontdekte, eenvoudig uitgelegd:

1. De Opzet: Een Tweestapsdans

De onderzoekers bouwden een kleine, eenvoudige "hersenen" (een neuraal netwerk) en gaven het een specifieke taak. Ze voerden het zinnen zoals:

c=17, b=42, b+19=?

De robot moest begrijpen dat b eigenlijk 42 is, dus de som is eigenlijk 42 + 19, en vervolgens het antwoord geven.

Om te zien hoe de robot leerde, verdeelden ze de training in verschillende "smaken" van puzzels:

De Makkelijke Weg: Alleen getallen (bijv. 17 + 19 = ?).
De Middelmatige Weg: Eén letter en één getal (bijv. b+19 = ?).
De Moeilijke Weg: Twee letters (bijv. b+c = ?).

2. De Drie Fasen van het Leren

De robot leerde niet alles tegelijk. Hij ging door drie duidelijke fasen heen, als een student die een vak stap voor stap beheerst:

Fase 1: De Wiskundemeester. Eerst leerde de robot hoe de eigenlijke optelling werkt. Hij werd heel goed in het optellen van getallen. In deze fase was hij geweldig in 17 + 19, maar volledig in de war door letters. Het was als een rekenmachine die niet wist wat een variabele was.
Fase 2: De Vertaler. Vervolgens leerde de robot de "toewijzingsvaardigheid" (assignment). Hij ontdekte hoe hij naar c=17 kon kijken en zich kon herinneren dat c 17 betekent. Hij leerde de letter te vervangen door het getal.
Fase 3: De Dirigent. Ten slotte leerde de robot de twee vaardigheden samen te voegen. Hij realiseerde zich: "Oh, ik kan mijn 'Vertaler'-vaardigheid gebruiken om de getallen te vinden, en dan mijn 'Wiskundemeester'-vaardigheid gebruiken om ze op te tellen."

De Verrassing: De robot leerde de wiskunde voordat hij de vertaling volledig onder de knie had. Hij kon de optelling perfect uitvoeren terwijl hij nog steeds worstelde met de letters!

3. Hoe de "Hersenen" van de Robot Werken (Het Mechanisme)

De onderzoekers keken niet alleen naar de eindscore; ze keken in de "hersenen" van de robot om te zien hoe hij dacht. Ze vonden twee specifieke hulpmiddelen die samenwerkten:

Tool A: De "Previous Token" Head (De Vertaler).
Stel je een robotarm voor die terugreikt om het item direct vóór de huidige aan te pakken. In de eerste laag van de robot leerde hij deze arm te gebruiken om het getal te grijpen dat aan een letter is toegewezen. Als hij b ziet, reikt hij terug om het getal te vinden waaraan b eerder in de zin is toegewezen.
Tool B: De "Fourier" Wiskunde Module (De Rekenmachine).
In de tweede laag gebruikt de robot een speciale wiskundige truc (met golven en patronen) om de optelling te doen. Dit is een bekende manier voor robots om modulaire wiskunde te doen (wiskunde die ronddraait, zoals een klok).

Het Magische Moment: De robot leerde deze twee tools met elkaar te verbinden. De "Vertaler"-arm grijpt de juiste getallen en geeft ze door aan de "Rekenmachine"-module. Zodra ze verbonden zijn, kan de robot b + c oplossen, zelfs als hij b en c nog nooit samen heeft toegevoegd. Het is alsof je een vertaler hebt die "Letter" spreekt en een rekenmachine die "Getal" spreekt, en uiteindelijk een brug bouwt tussen hen.

4. Waarom Dit Belangrijk Is

Het paper laat zien dat generalisatie (het oplossen van nieuwe problemen) geen magie is. Het gebeurt natuurlijk wanneer een model kleine, atomaire vaardigheden leert (zoals het optellen van getallen en het vinden van variabelen) en vervolgens leert hoe hij deze kan combineren.

Het "Grokking" Effect: De onderzoekers merkten een fenomeen op dat "grokking" wordt genoemd. Soms onthoudt de robot de trainingsdata perfect, maar faalt hij op nieuwe tests. Dan, plotseling, "klikt" het, en begint hij de regels te begrijpen in plaats van alleen de antwoorden te memoriseren.
Het Resultaat: Omdat de robot de interne mechanismen apart heeft geleerd en ze daarna heeft gecombineerd, kon hij puzzels oplossen die hij nog nooit had gezien, zoals het gebruiken van een letter op een positie waar hij tijdens de training niet aan de regels gebonden was.

Samenvattende Analogie

Denk aan de robot als een chef-kok.

Eerst leert hij groenten te snijden (de wiskunde).
Daarna leert hij een recept te lezen dat zegt: "Gebruik de ui uit de blauwe kom" (de toewijzing van de variabele).
Ten slotte leert hij deze te combineren: de kaart lezen, de ui vinden en hem vervolgens snijden.

Het paper bewijst dat als je een chef deze twee vaardigheden apart leert, hij uiteindelijk zal leren hoe hij een gerecht kan bereiden dat je hem nog nooit specifiek hebt gevraagd te maken. De "compositie" van de vaardigheden is wat de robot slim maakt.

Technische Samenvatting: Assign and Add: Een Mechanistische Studie van Compositionele Aritmetiek

Probleemstelling

Large language models (LLMs) vertonen het vermogen om vaardigheden te componeren om complexe taken uit te voeren die niet tijdens de training zijn gezien, maar de specifieke mechanismen die deze "compositionele generalisatie" mogelijk maken, blijven ongrijpbaar. Hoewel generalisatie vaak wordt toegeschreven aan de compositie van atomaire mechanismen, is de wisselwerking tussen verschillende mechanismen—specifiek variabele binding (associatieve recall via inductie-heads) en modulaire aritmetiek (gestructureerde representaties via Fourier-features)—nog niet systematisch bestudeerd in een gecontroleerde setting.

Dit artikel adresseert de vraag: Hoe leren transformers de compositie van variabele binding en modulaire optelmechanismen om te generaliseren buiten de trainingsdistributie, en hoe ontstaan deze capaciteiten tijdens de training?

Methodologie

De auteurs hanteren een gecontroleerde experimentele opzet met een kleine, mechanistisch interpreteerbare transformer die getraind is op een synthetische taak die variabele toewijzing en modulaire optelling combineert.

Modelarchitectuur: Een 2-laagse, single-head transformer met $d_{model} = d_{head} = 128$ en $d_{mlp} = 512$ . De architectuur laat doelbewust biases, normalisatielagen en de Layer-1 MLP weg om circuitontdekking te vereenvoudigen. Het gebruikt GPT-2 stijl absolute positionele embeddings en causale masking.
Taakdefinitie: Het model wordt getraind om modulaire optelling ( $N=59$ ) uit te voeren waarbij operanden constanten of variabelen kunnen zijn die dynamisch in de context worden toegewezen (bijv. c=1, b=17, a=42, b+19=?).
Data-distributie: Sequenties worden getokeniseerd met willekeurige padding om te voorkomen dat er op absolute posities wordt vertrouwd. De trainingsset is gepartitioneerd om generalisatie te evalueren:
- 0-variabele (0-var): Pure optelling van constanten.
- 1-variabele (1-var) & 2-variabele (2-var): Optelling waarbij toegewezen variabelen betrokken zijn.
- Held-out Sets: Ongeveer 30% van de optellingsparen is verwijderd uit de training (bijv. als 1+3 niet gezien is, worden alle sequenties die het bevatten uitgesloten). Daarnaast zijn specifieke variabelen beperkt in bepaalde posities in de trainingsset om positionele generalisatie te testen.
Analysetechnieken: De studie maakt gebruik van mechanistische interpreteerbaarheidstools (via de TransformerLens bibliotheek) om aandachtspatronen, residual stream vectoren en gewichtsmatrices te analyseren. Er worden ook lineaire probes en theoretische gradiëntanalyse gebruikt om de trainingsdynamiek te volgen.

Belangrijkste Bijdragen

Tractable Model voor Compositionele Aritmetiek: De auteurs presenteren een vereenvoudigd model dat de mechanistische interpretatie mogelijk maakt van hoe variabele toewijzing componeert met modulaire aritmetiek.
Ontkoppelde Trainingsdynamiek: De analyse laat zien dat modulaire aritmetiek voorafgaand aan en onafhankelijk van variabele toewijzing wordt geleerd. Het model bereikt bijna perfecte nauwkeurigheid op 0-var taken terwijl het nog steeds leert om variabele binding uit te voeren.
Mechanistische Verklaring van Generalisatie: Het artikel identificeert dat generalisatie voortkomt uit de compositie van twee specifieke circuits:
- Een gemodificeerde inductie-head in Layer 1 die toegewezen variabelen ophaalt en hun waarden routeert.
- Een modulair optelcircuit in Layer 2 (specifiek de Output-Value matrix en de Layer-2 MLP) dat de aritmetiek uitvoert op de opgehaalde waarden.
Theoretisch Kader: De auteurs bieden een theoretische analyse die aantoont hoe gradiëntdynamiek de compositie van variabele binding en modulaire optelcircuits faciliteert, waarbij zij aantonen dat de negatieve gradiënt op de Layer-2 Query-Key matrix natuurlijk leidt tot de vorming van een associatieve geheugenblok.

Resultaten

Trainingsdynamiek en Fasen

Het trainingsproces vertoont drie duidelijke fasen:

Leren van Modulaire Optelling: Het model leert eerst optellingen uit te voeren op sequenties zonder variabelen (0-var), waarbij het een hoge nauwkeurigheid bereikt voordat variabele binding volledig is gevestigd.
Leren van Variabele Toewijzing: Het model leert vervolgens de structuur die nodig is voor variabele toewijzing. Een scherpe "piek" in nauwkeurigheid (rond stap 5.300–5.400) valt samen met de opkomst van het variabele-toewijzingsroutingcircuit, waarbij de Layer-1 aandacht correct constanten naar hun toegewezen variabelen routeert.
Verfijningsfase: Een tweede fase (stappen 14.500–16.000) betreft het verfijnen van de routing voor "moeilijke" sequenties (bijv. specifieke variabelen in held-out posities), waarbij initiële fouten bij het attenderen op bepaalde variabele posities worden gecorrigeerd.

Generalisatiecapaciteiten

Positionele Generalisatie: Het model generaliseert naar nieuwe variabele ordeningen (bijv. het voorspellen van b+14 na het zien van 14+b).
Out-of-Distribution (OOD) Generalisatie: Het model voorspelt succesvol held-out optellingsparen (bijv. 1+3) die in geen enkele vorm tijdens de training zijn gezien, met een nauwkeurigheid van 99,4% op gecureerde testsets.
Data-vereisten: Generalisatie naar ongeziene constante paren vereist training op ten minste ~25% van de totale distributie ( $f \approx 0.25$ ). Generalisatie naar 2-variabele sequenties vereist een relatieve frequentie van ~20% ( $r \approx 0.2$ ) van de 2-var sequenties in de trainingsdata.

Mechanistische Bevindingen

Gedeelde Representatie: De residual stream vectoren voor variabele-toegewezen optelling en pure constante optelling zijn bijna identiek (cosinus gelijkenis $\approx 1$ ) vóór de Layer-2 MLP, wat wijst op een gedeeld computationeel mechanisme.
Fourier-features: De Layer-2 MLP neuronen vertonen preactivaties die overeenkomen met de theoretische vorm van Fourier-features ( $\cos(\frac{2\pi k}{N}n + \alpha_k) + \cos(\frac{2\pi k}{N}m + \beta_k)$ ), wat het gebruik van gevestigde periodieke mechanismen voor modulaire aritmetiek bevestigt.
Modificatie van de Inductie-head: De Layer-1 aandacht fungeert als een "previous-token head" voor constanten, waarbij het aandacht schenkt aan de variabele die direct voorafgaat aan hen. De Layer-2 Query-Key matrix vormt vervolgens een sterk identiteitspatroon op variabele embeddings, waardoor het = teken direct kan attenderen op de juiste constanten die aan de variabelen gekoppeld zijn.

Betekenis

Het artikel stelt dat compositionele generalisatie in transformers een natuurlijk gevolg kan zijn van de compositionaliteit van interne mechanismen. Door aan te tonen dat verschillende mechanismen (inductie-heads en Fourier-gebaseerde aritmetiek) onafhankelijk kunnen worden geleerd en vervolgens via aandacht-routing kunnen worden gecomponeerd, biedt dit werk een mechanistische basis voor het begrijpen van hoe transformers generaliseren naar complexe redeneertaken.

De auteurs blijven bescheiden over de reikwijdte van hun onderzoek en merken op dat de studie beperkt is tot een kleine, gecontroleerde setting om analyse te vergemakkelijken. Zij beweren niet dat deze bevindingen direct alle LLM-gedragingen verklaren, maar suggereren dat ze een kader bieden voor het begrijpen van hoe generaliserende vermogens ontstaan in transformers, wat potentieel toekomstig onderzoek naar complexere taken en schaalwetten kan motiveren.