🤖 machine learning

Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies

Dit artikel toont aan dat transformer-gebaseerde grote taalmodellen verbeterde rekenprestaties kunnen bereiken door menselijke leerstrategieën te adopteren, zoals taakdecompositie en cognitieve versterking, wat wijst op gedeelde cognitieve processen tussen LLM's en menselijke leerlingen, terwijl de betrouwbaarheid van het model wordt vergroot door middel van verklaarbare AI-verificatie.

Oorspronkelijke auteurs: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luyu Qiu, Jianing Li, Hwanhee Kim, Xiaoyong Wei, Yueyuan Zheng, Janet Hsiao, Lei Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Slimme Robot en het Wiskundeprobleem

Stel je een wereld voor waarin computers hebben geleerd om bijna elk boek, elke website en elk gesprek dat ooit geschreven is te lezen. Dit zijn Large Language Models (LLM's), en ze zijn als superintelligente robots die verhalen kunnen schrijven, vragen kunnen beantwoorden en met je kunnen chatten. Ze zijn gebouwd op een speciale architectuur genaamd een "Transformer", die werkt als een enorme spotlight, waardoor de robot tegelijkertijd de aandacht kan vestigen op de belangrijkste woorden in een zin. Je zou kunnen denken dat een robot die zo veel weet over taal, ook geweldig zou zijn in wiskunde. Maar hier komt de wending: hoewel deze robots tovenaars zijn met woorden, struikelen ze vaak over eenvoudige wiskundeproblemen, zoals het optellen van twee getallen. Het is alsof een persoon een prachtig gedicht kan schrijven, maar niet kan uitrekenen hoeveel wisselgeld hij moet krijgen bij een winkel. Dit is een groot probleem, want als we deze robots willen vertrouwen met belangrijke taken—zoals het helpen van artsen of het beheren van geld—moeten we weten of ze de basis correct kunnen uitvoeren. Wetenschappers proberen uit te zoeken waarom deze slimme robots falen bij eenvoudige wiskunde en, belangrijker nog, hoe ze ze beter kunnen leren.

Het Verhaal van het Papier: Robots Leren Denken als Mensen

In dit onderzoek besloten de onderzoekers het wiskundeprobleem te behandelen als een mysterie dat opgelost moet worden. Ze gooiden niet zomaan meer data naar de robot in de hoop op het beste. In plaats daarvan stelden ze een fascinerende vraag: Leren deze AI-robots wiskunde op dezelfde manier als mensen?

Om dit te ontdekken, namen ze een standaard "vanilla" Transformer-model (een basisversie van de AI) en leerden het hoe het integer rekenen moet doen—het optellen, vermenigvuldigen en delen van gehele getallen. Ze ontdekten dat de AI niet alleen maar aan het gokken was; het was daadwerkelijk aan het leren, maar het had moeite met de volgorde van de bewerkingen en de complexiteit van de stappen.

De "Lego"-afbraak
De onderzoekers realiseerden zich dat de AI, net zoals mensen een groot, eng wiskundeprobleem in kleinere, makkelijkere stappen opdeelt, hetzelfde moest doen. Ze braken de taken af in kleine "subtaken".

Voor Optellen: Stel je voor dat je twee lange getallen bij elkaar optelt. Je kijkt niet naar het geheel; je telt de laatste cijfers op, dan de volgende, en draagt eventuele "extra" getallen over (zoals een 1 onthouden) naar de volgende kolom. De onderzoekers ontdekten dat de AI de makkelijke delen (het optellen van de laatste cijfers) heel snel leerde, maar dat het in de war raakte wanneer het die "onthouden" getallen moest onthouden en gebruiken voor de volgende stappen. Het is als leren lopen voordat je kunt rennen.
Voor Vermenigvuldigen: Dit is nog lastiger. Wanneer je grote getallen vermenigvuldigt, moet je een hele reeks kleinere vermenigvuldigingen uitvoeren en die vervolgens bij elkaar optellen. Het papier toonde aan dat de AI probeerde alles tegelijk te doen en overweldigd raakte. Echter, toen de onderzoekers de AI leerden om het antwoord in omgekeerde volgorde te schrijven (beginnend bij het laatste cijfer en terugwerkend, precies zoals mensen dat vaak op papier doen), verbeterde de prestatie van de AI aanzienlijk voor eenvoudige taken met enkelvoudige vermenigvuldigers. Maar hier is de adder onder het gras: voor complexe vermenigvuldigingen met meerdere cijfers lost het omdraaien van de cijfers het probleem niet op; de AI bleef worstelen omdat de tussenstappen te moeilijk waren voor een enkel-laags model om te verwerken.

De "Menselijke" Trucs
Het meest opwindende deel van het papier is dat de onderzoekers strategieën testten die menselijke docenten gebruiken om studenten te helpen, en die werkten ook op de AI!

Chain of Thought (CoT): In plaats van de AI te vragen: "Wat is 57257 keer 51422?" en een magisch antwoord te verwachten, vroegen ze het om de berekening stap voor stap te laten zien. Ze vertelden de AI om de grote vermenigvuldiging eerst op te splitsen in kleinere, makkelijkere vermenigvuldigingen. Dit is precies wat een menselijke docent een student vertelt: "Raak niet in paniek; doe gewoon één stap tegelijk." Wanneer de AI CoT combineerde met het omdraaien van de antwoordcijfers, sprong de nauwkeurigheid aanzienlijk omhoog (en bereikte ongeveer 79%). Om bijna perfecte scores te halen, ontdekten de onderzoekers dat ze CoT moesten combineren met het omdraaien van de cijfers en het "dieper" maken van het model.
Het Omkeren van de Output: Zoals eerder vermeld, hielp het om de cijfers bij vermenigvuldiging achterstevoren te schrijven (beginnend bij de eenhedenplaats), zodat de AI zich op de juiste getallen kon concentreren, maar deze truc heeft een limiet. Het werkte goed voor eenvoudigere taken, maar was op zichzelf niet voldoende voor complexe vermenigvuldigingen met meerdere cijfers. Interessant genoeg, voor deling maakte het omdraaien van de cijfers de situatie juist slechter. Dit komt omdat berekeningen bij deling van nature beginnen bij de hogere-orde cijfers (de grote getallen aan de linkerkant), wat overeenkomt met de menselijke ervaring. Het proberen om te keren de volgorde bij deling maakte het model in de war.
Diepere Modellen: Ze ontdekten ook dat het "dieper" maken van de AI (het toevoegen van meer lagen denken) de AI hielp om de complexe tussenstappen van deling en het zware werk van vermenigvuldiging aan te kunnen. Dit gaf het model de extra "hersencapaciteit" die nodig was om tussenresultaten bij te houden zonder de controle te verliezen.

Wat ze vonden (en wat ze niet vonden)
De onderzoekers zeiden niet alleen "het werkt"; ze keken in het brein van de robot om te zien hoe het werkte. Ze gebruikten een techniek genaamd "visualisatie" om te kijken welke delen van het aandachtsmechanisme van de AI oplichtten. Ze zagen dat de AI specifieke "attention heads" (kleine interne werkers) had die leerden om specifieke taken uit te voeren, zoals "Base Multiply" of "Make Carry".

Het Goede Nieuws: De AI kan deze patronen leren. Wanneer de AI de juiste structuur krijgt (zoals het opdelen van taken, het gebruik van CoT, het omdraaien van cijfers waar gepast, en het aanpassen van de modeldiepte), presteert het bijna perfect.
Het Slechte Nieuws: Zonder deze menselijke strategieën worstelt de AI. Bijvoorbeeld, bij een standaard 5-cijferige vermenigvuldigingstaak krijgt een basis-AI misschien slechts 13% goed. Maar met de "menselijke" trucs gecombineerd, haalt het 100%.
De "Waarom": Het papier suggereert dat de fout van de AI niet komt doordat het "dom" is, maar omdat het probeert het probleem op een manier op te lossen die niet overeenkomt met hoe de wiskunde gestructureerd is. Het is alsoal een auto proberen te rijden door er van achteren tegenaan te duwen in plaats van het stuur te gebruiken. Ook hangt de "juiste" manier van rijden af van de auto: voor vermenigvuldiging wil je misschien achteruit rijden, maar voor deling moet je vooruit rijden.

Het Grotere Plaatje
Dit papier suggereert dat Transformer-gebaseerde AI-modellen enkele leerpatronen kunnen delen met menselijke studenten. Beiden leren eerst eenvoudige dingen, en combineren die vervolgens om moeilijkere problemen op te lossen. Door "Explainable AI" (XAI) technieken te gebruiken, konden de onderzoekers precies zien waar de AI vastliep en dit te corrigeren.

De studie concludeert dat hoewel huidige AI-modellen geweldig zijn in taal, ze een beetje hulp nodig hebben bij wiskunde. Maar het goede nieuws is dat we geen nieuw soort robot hoeven uit te vinden; we moeten ze alleen leren om als wij te denken. Door strategieën te gebruiken zoals het opdelen van problemen, het laten zien van de berekening, en het organiseren van onze gedachten (en weten wanneer we de volgorde moeten omdraaien en wanneer niet), kunnen we deze AI-modellen veel betrouwbaarder maken. Dit is een enorme stap voorwaarts om AI veilig en betrouwbaar te maken, vooral voor de belangrijke taken waarbij het goed krijgen van de wiskunde het verschil maakt tussen succes en falen. Het papier beweert niet dat het alle wiskundeproblemen in het universum heeft opgelost, maar het heeft wel een duidelijk pad vooruit getoond: als we de AI behandelen als een student die een goede leraar nodig heeft, kan het de wiskunde leren die we nodig hebben.

Technische Samenvatting: Het verklaren en afstemmen van Transformer-gebaseerde LLM's in rekenkundige taken met menselijke strategieën

1. Probleemstelling

Ondanks het bereiken van state-of-the-art prestaties in complexe taken voor natuurlijke taalverwerking (NLP), vertonen Transformer-gebaseerde Large Language Models (LLM's) aanzienlijke tekortkomingen in elementaire rekenkundige taken, zoals basisintegereberekeningen. Deze discrepantie roept zorgen op over de betrouwbaarheid en veiligheid van het model. In tegenstelling tot typische NLP-taken, die ruimte laten voor diverse geldige outputs, hebben rekenkundige problemen één definitief antwoord waarbij elke cijfer cruciaal is. Bovendien vereisen rekenkundige bewerkingen vaak verwerking vanaf het minst significante cijfer (bijv. bij vermenigvuldiging) of omvatten ze complexe tussenstappen (bijv. carries en resten) die verschillen van de standaard links-naar-rechts verwerking van natuurlijke taal. Bestaande Explainable AI (XAI)-methoden behandelen Transformers vaak als black boxes of richten zich op specifieke taalinstrumenten, waardoor ze er niet in slagen de intrinsieke correlaties en interne mechanismen te vatten die nodig zijn voor systematische rekenkundige computatie.

2. Methodologie

De auteurs stellen een uitgebreid probleemanalyseraamwerk voor, gebaseerd op cognitieve wetenschap en onderwijspsychologie, om de prestaties van Transformers op integer rekenkunde te inspecteren, te verklaren en te verbeteren. De methodologie bestaat uit drie kerncomponenten:

2.1 Uitgebreid Probleemanalyse-raamwerk

Het raamwerk deelt het leerproces op in drie stadia:

Subtaakdecompositie: Rekenkundige taken worden afgebroken in goed gedefinieerde subtaken (bijv. Base Add, Make Carry, Use Carry) om te identificeren welke specifieke componenten moeilijk zijn voor het model.
Leercurveanalyse: De auteurs analyseren per-cijfer trainingsverliescurves om de leersnelheid van specifieke output-cijfers en subtaken te observeren, en vergelijken deze met menselijke leerpatronen (bijv. sneller leren op eenvoudigere subtaken).
Modelvisualisatie: Attention maps worden gevisualiseerd om te bepalen hoe specifieke attention heads bijdragen aan verschillende subtaken en of de interne mechanismen van het model overeenkomen met de menselijke gespecialiseerde functies.

2.2 Menselijke Strategie en Capaciteitsoverdracht

Geïnspireerd door de onderwijspsychologie, onderzoekt de studie of strategieën die effectief zijn voor menselijke leerlingen de prestaties van LLM's verbeteren:

Computationele Strategieën: Het herformuleren van rekenregels om aan te sluiten bij de verwerking van het model, zoals het omkeren van de volgorde van antwoordcijfers (verwerking van het minst significante naar het meest significante cijfer) om aan te sluiten bij het vermogen van het self-attention mechanisme om afhankelijkheden te verwerken.
Chain of Thought (CoT): Het decomponeren van complexe meercijferige bewerkingen in een reeks eenvoudigere tussenstappen (bijv. het opdelen van $m \times m$ vermenigvuldiging in $m \times u$ stappen).
Cognitieve Empowerment: Het vergroten van de modeldiepte (aantal lagen) om de werkgeheugencapaciteit te vergroten en complexe tussenresultaten te kunnen verwerken.

2.3 Experimentele Opzet

De studie maakt gebruik van een single-layer decoder-only Transformer (met Multi-Head Self-Attention en Feed-Forward lagen) getraind op integer optellen, vermenigvuldigen en delen. De input bestaat uit operanden en operatoren, en het model voorspelt antwoordcijfers autoregressief. Experimenten omvatten ablatie-studies op attention heads, variërende aantallen cijfers (1 tot 15), en het testen van verschillende dataformaten (ordinaal versus omgekeerd, met en zonder CoT).

3. Belangrijkste Bevindingen en Resultaten

3.1 Leerpatronen en Subtaakspecialisatie

Menselijk Leren: LLM's vertonen leerpatronen die vergelijkbaar zijn met die van mensen, waarbij ze sneller convergeren op eenvoudigere subtaken (bijv. het berekenen van het minst significante cijfer zonder carry) en langzamer op complexe taken die cascade-afhankelijkheden vereisen.
Specialisatie van Attention Heads: Visualisatie onthult dat verschillende attention heads specialiseren in specifieke subtaken. Bijvoorbeeld, bij optellen kan één head "Base Add" afhandelen terwijl een andere "Use Carry" afhandelt.
** verzadiging van het aantal Heads:** Prestaties verbeteren significant naarmate het aantal attention heads toeneemt, waarbij verzadiging optreedt bij drie heads. Met minder dan drie heads worden meerdere taken in één enkele head gedwongen, wat leidt tot verwarring en lagere nauwkeurigheid. Met drie of meer heads is de taakseparatie duidelijk.

3.2 Impact van Dataformaat en Strategieën

Omgekeerde Cijfers: Het omkeren van de volgorde van de output (verwerking vanaf het minst significante cijfer) verbetert de prestaties in vermenigvuldigingstaken aanzienlijk, waardoor het model eerder gegenereerde cijfers kan gebruiken voor de huidige berekeningen. Deze strategie is echter minder effectief of zelfs nadelig voor deling, wat van nature van het meest significante cijfer naar beneden werkt.
Chain of Thought (CoT): CoT-prompting deelt complexe $m \times m$ vermenigvuldiging en $m \div m$ deling effectief op in eenvoudigere stappen, wat de voorspellingsmoeilijkheid drastisch vermindert en de nauwkeurigheid verhoogt.
Modeldiepte: Het vergroten van het aantal lagen verhoogt de capaciteit van het model om tussenresten en complexe afhankelijkheden te verwerken, met name in delingstaken waar single-layer modellen moeite hebben.

3.3 Kwantitatieve Verbeteringen

Vermenigvuldiging: Vanilla Transformers worstelen met meercijferige vermenigvuldiging (bijv. dalen naar ~13% nauwkeurigheid voor 4-cijferige vermenigvuldiging). Door het combineren van omgekeerde cijferformaten, verhoogde diepte en CoT, bereikt de nauwkeurigheid bijna 100%.
Deling: Vergelijkbare verbeteringen worden waargenomen, waarbij CoT en verhoogde diepte de accumulatie van fouten in restberekeningen aanpakken.
Ablatie-studies: Het verwijderen van specifieke attention heads (bijv. Head 2 in vermenigvuldiging) veroorzaakt een significante toename van het verlies, wat de cruciale rol van specifieke heads in specifieke subtaken bevestigt (bijv. Base Multiply).

4. Belangrijkste Bijdragen

Probleemanalyse-raamwerk: Het artikel stelt een nieuw raamwerk voor dat subtaakdecompositie, leercurveanalyse en visualisatie combineert om te verklaren hoe Transformer-gebaseerde LLM's rekenkunde afhandelen, waarmee het verder gaat dan black-box evaluatie.
Prestatieverbetering via Menselijke Strategieën: De auteurs laten zien dat het toepassen van menselijke cognitieve strategieën (omgekeerde verwerking, CoT) en capaciteitsverhogingen (vergroten van diepte) de rekenkundige nauwkeurigheid aanzienlijk verbetert, wat suggereert dat er een gedeeld cognitief proces bestaat tussen LLM's en menselijke leerlingen.
Interpretabiliteit en Mechanisch Inzicht: Het werk biedt een gedetailleerde, visuele uitleg van de interne mechanismen van Transformers in rekenkunde, waarbij specifieke attention heads worden geïdentificeerd die verantwoordelijk zijn voor afzonderlijke subtaken, en valideert deze bevindingen via ablatie-studies.

5. Betekenis en Claims

Het artikel beweert dat Transformer-gebaseerde LLM's cognitieve processen delen met menselijke leerlingen in rekenkunde, speciflijk in de manier waarop ze taken deconstrueren en subtaken sequentieel leren. Door gebruik te maken van XAI-verificaties, betogen de auteurs dat het begrijpen van deze interne mechanismen cruciaal is voor het verbeteren van de betrouwbaarheid van modellen.

De betekenis van dit werk ligt in het potentieel om vertrouwen te kweken in LLM's voor kritieke en risicovolle toepassingen. Door aan te tonen dat de prestatiekloof in rekenkunde geen inherente beperking is van de architectuur, maar een kwestie is van dataformaat, taakdecompositie en capaciteit, biedt het artikel een pad om modellen af te stemmen voor hogere betrouwbaarheid. De bevindingen dragen bij aan de bredere velden van modelbegrip en interpreteerbaarheid, en bieden een fundament voor het analyseren van complexere taken en architecturen. De auteurs positioneren hun werk bescheiden als een verkenning van gelijkenissen tussen LLM's en menselijke leerlingen, ondersteund door empirisch bewijs, in plaats van een definitief bewijs van mensachtige bewustzijn.