Technische Samenvatting: Rekenen in het Wild

Probleemstelling

Het artikel onderzoekt de algoritmische rol van representatiegeometrie in grote taalmodellen (LLMs), met name gericht op hoe modellen redeneren over cyclische concepten (bijvoorbeeld maanden, weekdagen, uren). Hoewel eerdere studies hebben vastgesteld dat LLMs deze concepten weergeven met behulp van cirkelvormige geometrie (Engels et al., 2025) en dat kleine transformers, getraind op modulaire rekenkunde, opereren over periodieke bases (Nanda et al., 2023), blijft een kritische vraag: Impliceert de cirkelvormige structuur van de inputrepresentatie ook een cirkelvormige berekening?

De auteurs veronderstellen dat Llama-3.1-8B antwoorden op vragen zoals "Welke maand is zes maanden na augustus?" zou kunnen berekenen door te roteren langs een cirkelvormig manifold. Zij stellen echter vast dat het model geen directe modulaire rekenkunde uitvoert binnen de specifieke periode van het concept (bijvoorbeeld modulo 12 voor maanden). In plaats daarvan gebruikt het model een generiek, taak-agnostisch optelmechanisme op basis van 10 voordat het resultaat wordt gemapt terug naar de cyclische ruimte.

Methodologie

De studie maakt gebruik van een combinatie van causale analyse en geometrische probing om de interne mechanismen van Llama-3.1-8B te ontleden.

1. Causale Abstractie via Distributed Alignment Search (DAS):

   • De auteurs gebruiken DAS (Geiger et al., 2023) om laag-rangige deelruimten in de residustroom te lokaliseren die causale variabelen coderen: het inputconcept, de offset en het outputconcept.
   • Zij meten Interchange Intervention Accuracy (IIA) om te bepalen wanneer en waar deze variabelen worden gecombineerd. Dit omvat het patchen van verborgen staten uit contrafactuele prompts in originele prompts om te zien of de output van het model op voorspelbare wijze verandert.
   • Deze analyse isoleert de specifieke laag en tokenpositie waar de berekening plaatsvindt.

2. Cross-Task Patching:

   • Om de hypothese van een gedeeld mechanisme te testen, voeren de auteurs "patching"-experimenten uit tussen standaard rekenkundige taken ($a+b=$) en cyclische taken (bijvoorbeeld maanden).
   • Zij patchen de residustroom van een optelprompt in een cyclische prompt (en omgekeerd) binnen de gedeelde DAS-deelruimten om te observeren of het model respectievelijk de som of het cyclische concept output.

3. Fourier Probing en Steering:

   • De auteurs trainen lineaire probes om Fourier-features (sinusvormige representaties) te detecteren met specifieke perioden $T \in \{2, 5, 10, 20, 50, 100\}$, die bekend staan als representaties van getallen in basis 10 (Kantamneni & Tegmark, 2025).
   • Zij verifiëren of deze features, getraind op standaard optellen, aanwezig en causaal zijn in cyclische taken.
   • Zij gebruiken deze probes om de interne staat van het model te sturen, waardoor de "pre-modulo som" wordt geforceerd naar een contrafactuele waarde om te zien of de output dienovereenkomstig verschuift.

4. Neuronidentificatie en Ablatie:

   • De auteurs identificeren een schaarse set MLP-neuronen in Laag 18 die schrijven naar de DAS-output-deelruimten.
   • Zij analyseren de activatiepatronen van deze neuronnen en partitioneren ze in clusters op basis van hun periodiciteit.
   • Zij voeren ablatiestudies uit (het nulstellen van specifieke neuronnen) om hun causale bijdrage aan de prestaties van het model te kwantificeren.

Belangrijkste Resultaten

1. Een Gedeeld Optelmechanisme op Basis van 10

In tegenstelling tot de hypothese van cirkelvormige berekening, voert het model cyclische taken uit met behulp van een optelmechanisme op basis van 10.

• Tweestapsproces: Het model berekent eerst de som van de inputs in numerieke ruimte (bijvoorbeeld $6 + 8 = 14$) en mapt deze som pas in latere lagen terug naar de cyclische conceptruimte (bijvoorbeeld $14 \to \text{februari}$).
• Lokalisatie Laag 18: Causale analyse onthult dat inputconcepten en offsets worden gecombineerd in de MLP van Laag 18 op de laatste tokenpositie. Cruciaal is dat de cirkelvormige geometrie van het outputconcept (bijvoorbeeld de "weekdagen-cirkel") niet aanwezig is in Laag 18; deze ontstaat pas in de lagen 22–25.
• Cross-Task Patching: Patchen van een optelprompt ($6+8=$) in een cyclische prompt zorgt ervoor dat het model het cyclische concept output dat overeenkomt met de som (bijvoorbeeld februari). Omgekeerd zorgt patchen van een cyclische prompt in een optelprompt ervoor dat het model de pre-modulo som output (bijvoorbeeld 14), zelfs als het model in een schone run het juiste cyclische antwoord niet produceert.

2. Fourier-features en Taak-agnosticisme

Het model maakt gebruik van taak-agnostische Fourier-features om de optelling uit te voeren.

• De interne representaties respecteren standaard periodiciteiten van basis 10 ($T \in \{2, 5, 10, 20, 50, 100\}$) in plaats van de specifieke periode van het cyclische concept (bijvoorbeeld 12 voor maanden of 7 voor weekdagen).
• Fourier-probes getraind op standaard optellen sturen cyclische taken succesvol, wat bevestigt dat dezelfde geometrische features de berekening over domeinen heen drijven.

3. Schaarse Neuroncircuit

De auteurs identificeren een schaarse set van 28 MLP-neuronen in Laag 18 (ongeveer 0,2% van de MLP van de laag) die verantwoordelijk zijn voor deze optelling.

• Geclassificeerd op Periode: Deze neuronnen kunnen worden gepartitioneerd in disjuncte clusters, waarbij elke cluster de som berekent voor een specifieke Fourier-periode (bijvoorbeeld een cluster voor $T=2$, een andere voor $T=5$, enzovoort).
• Mechanisme: De neuronnen opereren op een gedistribueerde manier. Sommige neuronnen vertonen "gesplitste" activatiepatronen (het lezen van het inputconcept via de gate-vector en de offset via de up-vector), terwijl andere "gemengd" zijn. Hun down-projectie vectoren sommeren tot een vector die wijst naar de juiste hoek op het Fourier-vlak, waarmee de som modulo $T$ wordt gecodeerd.
• Impact van Ablatie: Het nul-ablaten van deze 28 neuronnen veroorzaakt een drastische daling in nauwkeurigheid (bijvoorbeeld van 95% naar 24% voor optellen), terwijl het ablaten van alle andere neuronnen in Laag 18 de meeste prestaties behoudt.

Betekenis en Claims

Het artikel claimt een mechanistisch begrip te bieden van hoe grote taalmodellen rekenen uitvoeren over cyclische concepten, waardoor de kloof wordt overbrugd tussen representatiegeometrie en causale berekening.

• Geometrie versus Berekening: Het werk toont aan dat hoewel representaties cirkelvormig kunnen zijn, de onderliggende berekening niet noodzakelijkerwijs modulaire rekenkunde is op die cirkel. In plaats daarvan hergebruikt het model een generiek optelcircuit op basis van 10 en mapt het resultaat pas naar het doeldomein nadat de berekening is voltooid.
• Samenspel van Methoden: De studie benadrukt de kracht van het combineren van causale abstractie (om te lokaliseren waar informatie wordt verwerkt) met geometrische analyse (om te begrijpen hoe het wordt weergegeven). Causale analyse lokaliseerde de berekening tot Laag 18, terwijl geometrische analyse onthulde dat de berekening berust op Fourier-features op basis van 10 in plaats van taakspecifieke cirkelvormige structuren.
• Schaarse Circuits: De identificatie van een kleine, herbruikbare set neuronnen (28 neuronnen) die optelling uitvoeren over diverse taken (maanden, dagen, uren, getallen), suggereert dat LLMs uiterst efficiënte, gedeelde subcircuits ontwikkelen voor fundamentele rekenkundige bewerkingen, ongeacht het semantische domein van de input.

De auteurs blijven bescheiden wat generalisatie betreft, en merken op dat deze specifieke mechanismen zijn geïdentificeerd in Llama-3.1-8B en mogelijk niet generaliseren naar alle modellen of alle soorten cyclisch redeneren (bijvoorbeeld achterwaartse offsets of afstandsqueries lagen buiten het bestek). De bevindingen bieden echter een concreet voorbeeld van hoe "rekenen in het wild" wordt geïmplementeerd via het samenspel van schaarse neuronnen en Fourier-geometrie.