💬 NLP

Language Models are Symbolic Learners in Arithmetic

Dit artikel betoogt dat taalmodellen niet het ware algoritme van de rekenkunde leren, maar in plaats daarvan functioneren als gulzige symbolische leerlingen die taken beheersen door hiërarchisch een cascade van eenvoudige, met weinig tokens beladen sluiproutes te verwerven, een mechanisme dat wordt aangetoond door een U-vormig nauwkeurigheidspatroon in vermenigvuldiging met meerdere cijfers dat de kwaliteit van de eenvoudigste input-output-mappings weerspiegelt.

Oorspronkelijke auteurs: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Zijn Ze Wiskundig Genieën of Patroonherkenners?

Stel je een student voor die je direct het laatste cijfer kan vertellen van een enorme vermenigvuldiging (zoals $12.345 \times 67.890$ ), maar die vastloopt bij de middelste cijfers. Je zou kunnen vragen: Begrijpt deze persoon echt hoe vermenigvuldigen werkt, of raadt hij gewoon op basis van patronen die hij eerder heeft gezien?

Dit paper betoogt dat Large Language Models (LLMs) het laatste zijn. Ze leren niet het "algoritme" van de wiskunde (de stapsgewijze regels die we op school leren). In plaats daarvan gedragen ze zich als hebzuchtige kortetermijn-snelle-weg-nemers. Ze zoeken naar de makkelijkste, simpelste manier om het juiste antwoord te krijgen, waarbij ze specifieke symbool-naar-symbool trucjes onthouden in plaats van de onderliggende logica te begrijpen.

Het Detectiewerktuig: "Subgroup Induction"

Om dit te bewijzen, hebben de auteurs een nieuw detectiewerktuig gemaakt genaamd Subgroup Induction.

Zie een vermenigvuldigingsprobleem als een enorme puzzel. Om deze op te lossen, moet je normaal gesproken naar alle getallen kijken die erbij betrokken zijn. Maar dit werktuig stelt een simpelere vraag: "Kunnen we slechts één deel van het antwoord oplossen door naar slechts één klein, specifiek stukje van de input te kijken?"

De Analogie: Stel je voor dat je probeert de smaak van een cake te raden.
- De Algoritme-manier: Je proeft de hele cake, analyseert de bloem, suiker, eieren en de baktijd, en berekent de smaak.
- De Shortcut-manier: Je ruikt alleen even aan de vanille-extract. Als je vanille ruikt, raad je "Vanillecake". Je hoefde niet te weten wat er met de eieren of de oven temperatuur gebeurde; je vond gewoon een snelle, betrouwbare afkorting.

De auteurs noemen deze shortcuts "Subgroups" (subgroepen). Een subgroep is een kleine koppeling, zoals: "Als de laatste cijfers 3 en 4 zijn, dan moet het antwoord eindigen op 2."

De Ontdekking van de "U-vorm"

De onderzoekers testten dit door modellen te trainen op vermenigvuldigingsproblemen. Ze ontdekten een vreemd, consistent patroon in hoe goed de modellen presteerden, wat lijkt op een U-vorm op een grafiek:

De uiteinden (Hoge nauwkeurigheid): De modellen waren geweldig in het voorspellen van het eerste en het laatste cijfer van het antwoord.
Het midden (Lage nauwkeurigheid): De modellen waren erg slecht in het voorspellen van de cijfers in het midden.

Waarom gebeurt dit?

De uiteinden zijn makkelijke shortcuts: Het laatste cijfer van een vermenigvuldiging hangt alleen af van de laatste cijfers van de getallen die vermenigvuldigd worden. Het is een perfecte, simpele shortcut (zoals de geur van vanille). De modellen leren dit direct omdat het slechts een heel klein aantal getallen vereist om naar te kijken.
Het midden is moeilijk: De middelste cijfers hangen af van een rommelige mix van alle andere getallen en de "overdrachten" (carry-overs). Er is hier geen simpele, kleine shortcut. Om het midden goed te krijgen, moet je bijna alles tegelijk bekijken.

Het paper laat zien dat de prestatiecurve van de modellen perfect overeenkomt met de "kwaliteit" van deze shortcuts. Ze beheersen eerst de makkelijke, inspanningsarme shortcuts. Pas wanneer ze door meer training worden gedwongen, beginnen ze de complexe, rommelige middelste delen te leren.

De "Boom" van het Leren

De auteurs visualiseren het leerproces als het beklimmen van een boom:

Onderkant van de boom: Simpele shortcuts met zeer weinig getallen (makkelijk te leren, hoge nauwkeurigheid voor de uiteinden).
Top van de boom: Complexe shortcuts met veel getallen (moeilijk te leren, nodig voor het midden).

De modellen beginnen onderaan de boom. Ze pakken eerst de makkelijke successen. Pas naarmate ze meer training krijgen, klimmen ze langzaam op in de boom om de moeilijkere, complexere patronen aan te pakken. Ze leren niet de "hele boom" in één keer; ze leren tak voor tak, beginnend met de makkelijkste.

De "Entropy" Meter: Meten van Moeilijkheid

Het paper introduceert ook een tweede hulpmiddel genaamd Subgroup Entropy. Denk hierbij aan een "Verwarringsmeter".

Als een shortcut een lage entropie heeft, betekent dit dat het antwoord zeer voorspelbaar is (bijv. "3 keer 4 is altijd 12").
Als een shortcut een hoge entropie heeft, betekent dit dat het antwoord chaotisch en moeilijk te voorspellen is zonder alle details te zien.

De onderzoekers ontdekten dat wanneer ze complexe redeneertaken analyseerden (zoals Chain-of-Thought, waarbij een model stap-voor-stap denkt), de paden met de laagste verwarring (entropie) de paden waren die de modellen het vaakst correct uitvoerden. Dit bevestigt dat modellen de weg van de minste weerstand kiezen—ze willen de makkelijkste, meest voorspelbare stappen nemen om tot het antwoord te komen.

De Kernboodschap

Het paper concludeert dat taalmodellen niet leren om te "rekenen" in de menselijke zin van het woord. Het zijn Symbolische Leerders die een hiërarchie van shortcuts opbouwen.

Ze leren niet het "recept" voor vermenigvuldiging.
Ze leren een enorme bibliotheek van "als-dan"-trucs, beginnend met de simpelste (zoals het laatste cijfer) en langzaam meer complexe (zoals de middelste cijfers) toe te voegen naarmate ze meer ervaring opdoen.

Kortom: LLM's zijn meesterlijke patroonherkenners die van shortcuts houden, geen algoritmische denkers. Ze lossen wiskunde op door de makkelijkst mogelijke route door de symbolen te vinden, in plaats van de wiskunde te doen zoals wij dat doen.

Technische Samenvatting: Taalmodellen zijn Symbolische Leerders in Aritmetica

Probleemstelling

Het heersende debat over de vraag of Large Language Models (LMs) rekenkundige operaties uitvoeren, draait om de vraag of deze modellen werkelijk algoritmen leren te berekenen of slechts oppervlakkige patroonherkenning beheersen. Hoewel frontmodellen verzadiging hebben bereikt op benchmarks zoals GSM8K, blijft het onduidelijk of ze over echte numerieke redenering beschikken of dat hun succes een "elaborate illusion" (verfijnde illusie) is, geweven uit statistische patronen in de trainingsdata. Dit artikel betoogt het laatste, en stelt dat LMs fungeren als "greedy symbolic learners" (hebzuchtige symbolische leerders) die prioriteit geven aan de eenvoudigst mogelijke shortcuts om de statistieken van de dataset te fitten, in plaats van het abstracte algoritme van vermenigvuldiging te leren.

Methodologie: Subgroep-inductie

Om deze hypothese te onderzoeken, introduceren de auteurs Subgroep-inductie, een praktisch kader aangepast van Solomonoff Induction (SI). SI is een theoretisch kader voor optimale voorspelling dat computationele en Bayesiaanse principes combineert, waarbij voorkeur wordt gegeven aan eenvoudigere hypothesen (Occam's Razor) via Kolmogorov-complexiteit.

De auteurs passen de principes van SI aan naar de concrete context van aritmetisch leren door een subgroep te definiëren als de basiseenheid van analyse. Een subgroep $s$ is een minimale mapping van een deelverzameling van invoer-digits ( $A, B$ ) naar een enkele uitvoer-digit ( $C$ ). Het kader analyseert aritmetische problemen door ze te deconstrueren in deze subgroepen om de "shortcuts" te identificeren die LMs gebruiken.

Twee complementaire metrieken worden voorgesteld om de complexiteit van subgroepen te meten:

Subgroep Kwaliteit ( $Q(s)$ ): Meet de levensvatbaarheid van een shortcut door de nauwkeurigheid te berekenen van het voorspellen van een uitvoer-digit met behulp van slechts een specifieke subset van input-tokens (waarbij anderen op nul worden gezet). Een hoge $Q(s)$ duidt op een betrouwbare, lage-token shortcut.
Subgroep Entropie ( $H(s)$ ): Meet de inherente ambiguïteit of variabiliteit van de uitvoer-labels binnen de labelruimte van een subgroep. Het dient als een computationeel efficiënt instrument voor foutinschatting en het analyseren van redeneerpaden.

De auteurs beschouwen de keuze van de input-tokens door het LM als een proces van hypotheese-selectie. Ze hypothetiseren dat LMs een "token-budget tree" zoektocht volgen, waarbij ze aanvankelijk hoogwaardige shortcuts met weinig tokens leren en pas progressief complexere, multi-token patronen incorporeren wanneer ze hiertoe gedwongen worden door de leerdoelstelling.

Belangrijkste Resultaten

1. Het U-vormige Nauwkeurigheidspatroon

Experimenten met meercijferige vermenigvuldiging (3 tot 5 cijfers) met behulp van Gemma-2-2B en Llama-3.1-8B onthullen een duidelijk U-vormig nauwkeurigheidscurve.

Observatie: Modellen beheersen razendsnel de eerste (meest significante) en de laatste (minst significante) uitvoer-digits, waarbij ze een nauwkeurigheid van >95% bereiken. Omgekeerd daalt de nauwkeurigheid drastisch (naar ~10%) voor de digits in het midden van de sequentie.
Correlatie: Deze U-vorm is niet toevallig; het weerspiegelt perfect de Subgroep Kwaliteit ( $Q(s)$ ) van de eenvoudigst mogelijke subgroepen.
- Randen: De minst significante digit hangt alleen af van de laatste input-digits (bijv. $A_2 \times B_2$ ), en de meest significante digit wordt beperkt door grootte-schattingen op basis van de leidende digits. Deze vereisen weinig tokens (lage $k$ ) en hebben een hoge $Q(s)$ .
- Midden: De middelste digits vereisen integratie van cross-termen en overdrachten van vele input-digits. Low-token subgroepen voor deze posities hebben een lage $Q(s)$ , wat het model dwingt om pas later in het trainingsproces hogere-token, complexere mapping te leren.

2. Leerdynamiek als een Boomzoektocht

De auteurs interpreteren de leerdynamiek als een zoektocht door een "token-budget tree".

Fase 1: Het model past snel de "makkelijke" bladeren van de boom aan (rand-digits) met minimale tokens.
Fase 2-n: Naarmate residuele fouten aanhouden in de middelste posities, drijven gradiënten het model ertoe om grotere subgroepen (meer tokens) op te nemen om ambiguïteit op te lossen.
Conclusie: LMs leren niet het algoritme van vermenigvuldiging als geheel; ze leren een hiërarchie van symbool-naar-symbool mappings, beginnend bij het pad van de minste weerstand.

3. Subgroep Entropie en Chain-of-Thought (CoT)

Het artikel breidt het kader uit naar Chain-of-Thought redeneren:

Foutinschatting: Subgroep entropie ( $H(s)$ ) correleert sterk met de prestaties van het model. Taken met een lagere geaggregeerde entropie (bijv. modulaire aritmetica met kleinere moduli) leveren een hogere nauwkeurigheid op.
CoT Optimalisatie: In een CoT-setting heeft het deconstrueren van een vermenigvuldigingsprobleem in stappen (bijv. Egyptische Vermenigvuldiging versus Standaard Vermenigvuldiging) invloed op de prestaties. De studie vindt dat CoT-paden met de laagste geaggregeerde subgroep entropie consistent de beste nauwkeurigheid bereiken. Dit suggereert dat LMs voorkeur geven aan redeneerstrategieën die bestaan uit de gemakkelijkste sequentie van symbolische shortcuts.

Belangrijkste Bijdragen

Subgroep-inductie Kader: Een nieuw, praktisch kader afgeleid van Solomonoff Induction om de leermechanismen van LMs in aritmetica te analyseren door problemen op te splitsen in minimale input-output mappings.
Ontdekking van U-vormige Nauwkeurigheid: Identificatie van een consistent U-vormig nauwkeurigheidspatroon in meercijferige vermenigvuldiging, wat empirisch bewijs levert dat LMs worstelen met de complexe afhankelijkheden van middelste digits terwijl ze rand-digits beheersen via eenvoudige shortcuts.
Mechanisme Verklaring: Demonstratie dat de U-vorm een direct gevolg is van de "token-budget" hiërarchie, waarbij modellen prioriteit geven aan low-token, high-quality shortcuts (Occam's Razor) voordat ze complexe patronen leren.
Entropie als Metriek: Introductie van Subgroep Entropie als een computationeel efficiënte metriek voor het schatten van foutgrenzen en het evalueren van de complexiteit van redeneerpaden in CoT-settings.

Betekenis en Claims

Het artikel claimt dat de weg naar aritmetische beheersing voor LMs niet geplaveid is met de ontdekking van abstracte algoritmen, maar met een cascade van eenvoudig geleerde, hiërarchische symbolische shortcuts.

Implicatie voor Betrouwbaarheid: De bevindingen suggereren dat LMs geen echte numerieke redenering ontwikkelen, maar eerder een geavanceerde patroonherkenningscapaciteit die kwetsbaar is voor out-of-distribution scenario's waar eenvoudige shortcuts falen (bijv. berekeningen van middelste digits in complexe vermenigvuldigingen).
Theoretische Brug: Het werk slaat een brug tussen theoretische universele voorspelling (Solomonoff Induction) en moderne neurale architecturen, en biedt een lens om te begrijpen hoe LMs leren in plaats van alleen wat ze bereiken.
Praktisch Nut: Het kader biedt instrumenten (Subgroep Kwaliteit en Entropie) om leerbottlenecks te diagnosticeren en trainingsstrategieën te optimaliseren, zoals het cureren van data om de noodzakelijke tokens voor middelste digits te onthullen of het ontwerpen van CoT-paden die de symbolische complexiteit minimaliseren.

De auteurs concluderen dat het begrijpen van LMs als hebzuchtige symbolische leerders cruciaal is voor het ontwikkelen van betrouwbare AI-redenering, omdat het de beperkingen van huidige modellen in het afhandelen van taken die niet kunnen worden gedeconstrueerd in eenvoudige, low-token mappings, benadrukt.