Technische Samenvatting: De Vorm van Optelling: Geometrische Structuren van Rekenkundige Operaties in Large Language Models

1. Probleemstelling

Ondanks het behalen van hoge prestaties op complexe wiskundige redeneerbenchmarks (bijv. GSM8K, MATH), vertonen Large Language Models (LLM's) een verrassende fragiliteit in fundamentele algoritmische primitieven, met name bij meercijferige aritmetiek. Er bestaat een centrale paradox: modellen coderen vaak de juiste informatie intern, maar falen in het produceren ervan als output, waarbij ze frequent "off-by-one"-fouten maken naarmate het aantal operanden toeneemt. Eerdere onderzoeken hebben geprobeerd deze gedragingen te modelleren via symbolische manipulatie of geometrische representaties, maar het precieze mechanisme dat de interne activatiegeometrie verbindt met specifieke outputfouten (zoals fouten in de voortdracht-propagatie) blijft ongrijpbaar. Bovendien, hoewel lichtgewicht probes de grondwaarheid kunnen decoderen uit falende modellen, is de geometrische structuur die het mogelijk maakt dat de grondwaarheid en hallucinatie binnen een enkele activatievector samenbestaan, nog niet volledig verhelderd.

2. Methodologie

De auteurs onderzoeken de fijnmazige interne representaties van LLM's die 3-term optellingen van 10-cijferige gehelen uitvoeren. De studie hanteert een veelzijdige aanpak die dimensionaliteitsreductie, probing en causale interventie combineert:

• Dataset en Opzet: Gebruikmakend van het Qwen3-4B model, heeft de auteur een dataset van 10.000 optelproblemen geconstrueerd. Zij extraheren verborgen staat-vectoren ($h_p^{(L)}$) uit de laatste laag bij elke gegenereerde cijferpositie, waarbij de focus primair ligt op een representatieve middelste positie ($p=4$).
• Geometrische Visualisatie: Hoogdimensionale activatieruimtes worden geprojecteerd in 2D met behulp van UMAP (Uniform Manifold Approximation and Projection) met cosinusafstand. De visualisatie bevat vaste "Anchor"-vectoren voor cijfertokens (0–9) om een semantisch referentiekader te bieden.
• Probing Framework: Lichtgewicht probes (logistische regressie, MLP's) worden getraind op residu-stroomactivaties om diverse discrete en continue variabelen te decoderen, waaronder de Grondwaarheid-cijfers, Model Output, Input Carry (voortdracht), Raw Sum (ruwe som) en een nieuw gedefinieerde continue variabele genaamd "Carry Potential" (voortdrachtpotentieel).
• Causale Sturing (Causal Steering): Om de geometrische hypothesen te valideren, definiëren de auteurs sturingsvectoren tussen stabiele centra op geïdentificeerde trajecten en interveniëren zij op activaties om veranderingen in gegenereerde tokens te observeren.
• Inference-Time Correctie: Een dual-stream consistentiecontrole methode wordt voorgesteld om fouten te detecteren en te corrigeren door logische uitlijning af te dwingen tussen gedecodeerde lokale (Raw Sum) en globale (Carry Potential) signalen.

3. Belangrijkste Bevindingen en Bijdragen

A. De Iso-Raw-Sum Trajectorie (IRST)

De primaire geometrische ontdekking is de Iso-Raw-Sum Trajectorie (IRST). De auteurs identificeren dat rekenkundige representaties zijn georganiseerd in een hiërarchische structuur:

• Macroscopische Ruggengraat: Representaties zijn geclusterd in tien afzonderlijke "digit basins" (cijferbekkens) gecentreerd rond semantische ankers (0–9).
• Microscopische Textuur: Binnen elk bekken is de ruimte gestratificeerd in parallelle vezels bepaald door de input carry-toestand ($c_p \in \{0, 1, 2\}$).
• Definitie van Trajectorie: Een IRST ($T_r$) is een continue manifold die alle interne staten verbindt die dezelfde raw sum ($r_p$) delen. Deze trajecten fungeren als continue "draden" die door aangrenzende digit basins heen dringen. Bijvoorbeeld, een traject met $r_p=1$ verbindt stabiele knopen die overeenkomen met output-cijfers 1, 2 en 3 naarmate de input carry toeneemt.

B. Rekenkundige Fouten als Geometrische Slippages

Rekenkundige fouten worden gekarakteriseerd, niet als willekeurige ruis, maar als Geometrische Slippages (geometrische uitschrijvingen).

• Correcte voorspellingen clusteren dicht rond stabiele knopen binnen digit basins.
• Fouten treden op wanneer activatievectoren langs een IRST driften naar de transitiezones tussen basins of vezels.
• Deze drift manifesteert zich als "off-by-one"-fouten waarbij het model aangrenzende carry-toestanden verwart (bijv. het verwarren van $c_p=0$ met $c_p=1$), wat de representatie doet glijden van één digit basin naar een aangrenzende.

C. Het Noisy Quantization Model

Om de continuïteit van deze trajecten te verklaren, stellen de auteurs het Noisy Quantization Model voor:

• Continue Carry Potential ($\Phi$): Het model schat intern een continue "Carry Potential" in, die de impuls of momentum van het carry-signaal vertegenwoordigt dat uit de context wordt afgeleid. De discrete grondwaarheid carry is de integer floor van dit potentieel ($c_p = \lfloor \Phi \rfloor$).
• Quantization Failure (Kwantiseringsfout): De interne schatting van het model wordt gecorrumpeerd door neurale ruis ($\epsilon$). Fouten treden op wanneer deze ruis de waargenomen potentie ($\hat{\Phi} = \Phi + \epsilon$) over een integer kwantiseringsdrempel duwt.
• Bathtub Error Distribution: Dit mechanisme voorspelt een periodieke "bathtub" (badkuip) foutverdeling, waarbij foutpercentages pieken nabij integer grenzen (metastabiliteit) en verdwijnen bij half-integer waarden (robuuste plateaus). Empirische data bevestigen dit patroon, wat de schatting van het interne cognitieve ruisniveau van het model mogelijk maakt ($\sigma \approx 0.05$ voor 3-term optelling).

D. Geometrische Oorsprong van Probe Versatility

Het artikel biedt een geometrische verklaring voor waarom lichtgewicht probes gelijktijdig diverse signalen (Grondwaarheid, Model Output, Carry) uit een enkele vector kunnen decoderen. Deze "probe versatility" is een direct gevolg van de topologische scheidbaarheid van de manifold. De hoge scheidbaarheid van de Raw Sum en de gestructureerde aard van de IRST-vezels stellen probes in staat om coëxisterende latente signalen te ontwarren, zelfs wanneer de uiteindelijke output foutief is.

E. Inference-Time Zelfcorrectie

Ter validatie van de retentie van correcte latente signalen, introduceren de auteurs een Dual-Stream Consistency Protocol:

1. Decodeer de Lokale Berekening Stream (Raw Sum) en de Globale Context Stream (Carry Potential).
2. Controleer of de output van het model consistent is met een plausibele carry afgeleid van de nabijheid van het potentieel.
3. Indien inconsistent, overschrijf de output logits om de staat terug te projecteren op de correcte manifold fiber.
   Deze methode herstelt de prestaties aanzienlijk (bijv. het verhogen van de token accuratesse van 86,26% naar 89,56% op Qwen3-4B), wat bevestigt dat het model correcte wiskundige componenten behoudt, zelfs wanneer de discrete tokenselectie faalt.

4. Resultaten

• Visualisatie: UMAP-projecties onthullen een duidelijke hiërarchische structuur met digit basins en gestratificeerde carry-vezels, consistent over verschillende modellen (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) en taakcomplexiteiten (3-term tot 5-term optelling).
• Foutmodellering: Het Noisy Quantization Model past de empirische foutverdeling met hoge getrouwheid aan ($R^2 \approx 0,80$), waarbij de periodieke aard van fouten accuraat wordt voorspeld.
• Causale Validatie: Sturings-experimenten tonen aan dat het bewegen van representaties langs de IRST-richting causaal de gegenereerde cijfer verandert, waarbij grenstoelegenheid-toestanden kleinere perturbaties vereisen om te flippen dan stabiele toestanden.
• Correctie-effectiviteit: De dual-stream consistentiecontrole corrigeert effectief geometrische slippages, waarbij het merendeel van de gecorrigeerde fouten off-by-one gevallen zijn. Ablatie studies bevestigen dat het lokale raw sum signaal robuust blijft zelfs wanneer de output foutief is, waardoor de ruisgevoelige carry potential als de primaire bottleneck wordt geïsoleerd.

5. Betekenis en Claims

Het artikel claimt een mechanistische geometrische verklaring te bieden voor rekenkundige fouten in LLM's, waarbij het verder gaat dan de visie van aritmetiek als louter symbolische manipulatie of discrete staatsovergangen.

• Verenigd Framework: Het verenigt de observatie van probe versatility en aritmetische fragiliteit onder één enkel geometrisch framework waar fouten continue driften op een manifold zijn.
• Retentie van Latente Signalen: Het demonstreert dat LLM's vaak correcte continue interne representaties (Carry Potential) behouden, zelfs wanneer ze er niet in slagen de correcte discrete output te produceren, wat suggereert dat hallucinaties in aritmetiek vaak kwantiseringsfouten zijn in plaats van een gebrek aan kennis.
• Universaliteit: De IRST-geometrie en de Noisy Quantization dynamiek worden waargenomen over verschillende modelarchitecturen en schalen, wat wijst op een convergerend mechanisme voor de aritmetische representatie in state-of-the-art LLM's.
• Praktische Interventie: Het werk valideert dat interventies tijdens de inference, gebaseerd op interne consistentie, de prestaties kunnen verbeteren, wat een pad biedt om de betrouwbaarheid van LLM's te vergroten door de mapping van continue neurale gedachten naar discrete symbolische outputs te stabiliseren.

De auteurs blijven bescheiden en merken op dat hun huidige bewijs een combinatie is van visualisatie en probing in plaats van volledige circuit-level lokalisatie, en dat de focus primair op optelling ligt. Zij suggereren dat BPE-gebaseerde modellen met meercijferige tokens verstrengelde carry-signalen kunnen hebben, wat een nieuw front voor toekomstig onderzoek vormt.