💬 NLP

AI-rithmetic

Dit onderzoek analyseert waarom geavanceerde AI-modellen moeite hebben met eenvoudige rekenkunde en toont aan dat fouten bij het optellen van getallen hoofdzakelijk worden veroorzaakt door misalignement van operanden (vaak door tokenisatie) of het onjuist doorgeven van carries.

Oorspronkelijke auteurs: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Gepubliceerd 2026-02-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Geniale Wiskundige" die niet kan optellen: Wat is er mis met AI?

Stel je voor: je hebt een vriend die de meest complexe filosofische vragen kan beantwoorden, de nieuwste wetenschappelijke ontdekkingen kan verklaren en zelfs kan helpen bij het bewijzen van ingewikkelde wiskundige stellingen. Hij is een soort digitale Einstein. Maar zodra je hem vraagt: "Wat is 456 + 789?", begint hij te zweten, raakt hij in de war en geeft hij een antwoord dat nergens op slaat.

Dat klinkt absurd, maar dit is precies wat er aan de hand is met de slimste AI-modellen van dit moment (zoals ChatGPT en Claude). Dit onderzoek, getiteld "AI-rithmetic", legt uit waarom deze "superbreinen" eigenlijk een beetje dom zijn in de basis.

Het probleem: De glazen brug

De onderzoekers ontdekten dat hoe langer de getallen worden, hoe sneller de AI van de brug valt. Een AI kan misschien prima twee kleine getallen optellen, maar zodra je een getal van 20 of 50 cijfers geeft, stort de nauwkeurigheid volledig in. Het is alsof je een architect vraagt een wolkenkrabber te ontwerpen (moeilijk), maar hij vergeet de fundering van het huis te leggen (simpel).

Waarom gaat het mis? (De twee grote fouten)

De onderzoekers ontdekten dat de AI niet zomaar "fouten" maakt, maar dat ze bijna altijd in twee specifieke valkuilen trappen:

1. De "Versprongen Bladwijzer" (Misalignment)
Stel je voor dat je een rekensom maakt op een vel papier met kolommen. Je begint bij de eenheden, dan de tientallen, enzovoort. De AI maakt er vaak een fout van waarbij hij per ongeluk een kolom overslaat of een getal een plekje opschuift. Het is alsof je een tekst probeert over te schrijven, maar halverwege per ongeluk een regel overslaat.

De oorzaak: Dit komt vaak door de manier waarop AI "leest" (tokenization). De AI ziet getallen niet als losse cijfers (1, 2, 3), maar vaak als groepjes (bijv. 123). Als die groepjes niet mooi aansluiten op de lengte van het getal, raakt de AI de weg kwijt in de kolommen.

2. De "Vergeten Overdracht" (Close Carry Errors)
Dit is de klassieke fout die je ook op de basisschool maakte: "9 + 5 is 14, dus schrijf een 4 op en vergeet de 1 niet door te geven aan de volgende kolom."
De AI doet dit constant fout. Soms vergeet hij die '1' door te geven, en soms geeft hij hem juist door terwijl dat niet hoefde. Het is alsof je een estafette loopt, maar de loper de stok laat vallen of hem aan de verkeerde persoon geeft. De onderzoekers ontdekten dat dit bijna als een soort "dobbelspel" werkt: bij elke kolom waar een overdracht nodig is, heeft de AI een kleine kans om de fout in te gaan. Hoe meer kolommen, hoe groter de kans dat de hele ketting breekt.

Wat betekent dit voor de toekomst?

De conclusie van het onderzoek is een beetje een waarschuwing. We denken vaak dat als we AI maar "groter" maken (meer rekenkracht, meer data), ze vanzelf alles leren. Maar dit onderzoek laat zien dat groter worden niet automatisch betekent dat de basis op orde komt.

Het is alsof je een professor in de filosofie traint om nog meer boeken te lezen; hij wordt wel wijzer, maar hij leert er niet automatisch van dat hij zijn veters moet strikken. Als we willen dat AI echt betrouwbaar wordt, moeten we niet alleen de "hersenen" groter maken, maar ook de fundamentele manier waarop ze met simpele regels en structuren omgaan, echt verbeteren.

Technische Samenvatting: AI-rithmetic*

1. Het Probleem (Problem Statement)

Hoewel moderne Large Language Models (LLM's) uitblinken in geavanceerde wiskunde (zoals het bewijzen van stellingen en het oplossen van olympiade-opgaven), vertonen ze een opvallende onbetrouwbaarheid bij fundamentele rekenkunde. Het onderzoek richt zich op de paradox dat AI-systemen complexe abstracte concepten kunnen begrijpen, maar falen bij de eenvoudige taak van het optellen van twee getallen, waarbij de foutmarge exponentieel toeneemt naarmate het aantal cijfers groeit.

2. Methodologie (Methodology)

De onderzoekers voerden een systematische analyse uit op een breed scala aan "frontier" modellen (waaronder Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 Pro/Flash en Gemma 3).

Experimentele Opzet: Er werden 10.000 optelsommen gegenereerd voor getallen met een lengte ( $d$ ) variërend van 1 tot 100 cijfers. De modellen kregen de opdracht: "Wat is A + B? Schrijf alleen het antwoord."
Evaluatie: De antwoorden werden geëxtraheerd en vergeleken met het correcte resultaat met behulp van de edit distance (de minimale hoeveelheid aanpassingen om van het modelantwoord naar het juiste antwoord te komen).
Foutclassificatie: De onderzoekers ontwikkelden een methodiek om fouten te categoriseren in drie specifieke klassen:
1. Misalignment errors (Verschuivingsfouten): Wanneer één van de operanden onjuist is verschoven ten opzichte van de andere.
2. Close carry errors (Bijna-overdrachtfouten): Wanneer een model een "carry" (overdracht) foutief uitvoert (bijv. bij een som van 9) of juist vergeet uit te voeren (bijv. bij een som van 10).
3. Runaway errors: Wanneer het model een extreem lang antwoord genereert (duizenden cijfers).

3. Belangrijkste Bijdragen (Key Contributions)

Het paper levert drie cruciale inzichten in de aard van AI-fouten:

De ontleding van fouten: Het bewijst dat de overgrote meerderheid van de fouten niet willekeurig is, maar verklaard kan worden door de bovenstaande twee mechanische fouten (misalignment en close carry).
De link met Tokenization: Het onderzoek legt een direct verband tussen de architecturale keuze voor tokenization en de foutgevoeligheid. Modellen die getallen in blokken van drie cijfers tokeniseren (zoals GPT-modellen), vertonen een periodiek foutenpatroon.
Stochastisch model voor overdrachten: De auteurs introduceren een wiskundig model dat aantoont dat "close carry errors" grotendeels onafhankelijke, willekeurige gebeurtenissen zijn die optreden met een constante waarschijnlijkheid $p$ .

4. Resultaten (Results)

Prestatiedaling: De nauwkeurigheid van vrijwel alle modellen (behalve die met actieve code-executie) daalt drastisch naarmate de getallen langer worden.
Foutverdeling:
- Claude Opus 4.1: 87,9% van de fouten zijn misalignment of close carry.
- GPT-5: 62,9% van de fouten zijn misalignment of close carry.
- Gemini 2.5 Pro: 92,4% van de fouten zijn misalignment of close carry.
Tokenization-effect: GPT-5 vertoont een significante piek in nauwkeurigheid bij getallen waarvan de lengte een veelvoud is van drie. Dit komt doordat de tiktoken-tokenizer getallen in groepen van drie verwerkt; wanneer een getal niet deelbaar is door drie, ontstaan er "rest-tokens" van 1 of 2 cijfers, wat de kans op verschuivingsfouten vergroot.
Bimodale verdeling: De edit distance van fouten is bimodaal: "close carry" fouten resulteren in kleine afwijkingen (lokale fouten), terwijl "misalignment" fouten resulteren in grote afwijkingen (het hele getal verschuift).

5. Betekenis en Conclusie (Significance)

De conclusie van het paper is dat het simpelweg opschalen van modellen (meer data, meer parameters) waarschijnlijk niet voldoende is om dit probleem op te lossen. De fouten zijn niet het gevolg van een gebrek aan "intelligentie", maar van de fundamentele manier waarop LLM's informatie verwerken (autoregressieve generatie en tokenization).

Dit onderzoek dient als een waarschuwing: hoewel AI-systemen indrukwekkend kunnen presteren op hoog niveau, blijven ze kwetsbaar voor eenvoudige, voorspelbare fouten. Voor betrouwbare AI-toepassingen in kritieke sectoren is een fundamentele verandering in hoe modellen numerieke logica en positionele informatie verwerken noodzakelijk.