🤖 AI

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

Dit artikel introduceert PyraMathBench, een uitgebreide hiërarchische benchmark die is ontworpen om de integratie van numerieke verwerking en wiskundig redeneren in grote taalmodellen te evalueren, en stelt de SOLVE-module en de IRPO-trainingsmethode voor om de prestaties van modellen aanzienlijk te verbeteren door zwakheden in numerieke berekening en abstract redeneren aan te pakken.

Oorspronkelijke auteurs: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als briljante, veelbelovende studenten die perfect poëzie kunnen schrijven en geschiedenisboeken kunnen samenvatten. Echter, wanneer je ze een wiskundig tekstprobleem geeft, struikelen ze vaak. Ze begrijpen misschien het verhaal, maar falen bij de daadwerkelijke getallen, of ze "hallucineren" (verzinnen) getallen die er niet zijn.

Het artikel "PyraMathBench" introduceert een nieuwe manier om deze studenten te testen en een nieuwe methode om hen te helpen leren. Hier is de uitsplitsing in eenvoudige termen:

1. Het Probleem: De "Black Box" van Wiskundig Falen

Momenteel, wanneer we AI testen op wiskunde, kijken we meestal alleen naar het eindantwoord. Hebben ze het goed gedaan? Ja of Nee.

Het Gebrek: Als het antwoord fout is, weten we niet waarom. Begreep de AI de vraag niet? Vergeet de AI een wiskundige regel? Of was het gewoon een rekenfout (zoals een rekenmachine met een kapotte knop)?
De Analogie: Het is alsof je een essay van een student beoordeelt door alleen naar het eindcijfer te kijken. Als ze een "C" halen, weet je niet of ze een slecht handschrift hadden, de opdracht niet begrepen, of een spelfout maakten. Je moet de stappen zien om het probleem op te lossen.

2. De Oplossing: PyraMathBench (De "Piramide" Test)

De auteurs hebben een enorme nieuwe benchmark gebouwd genaamd PyraMathBench. Denk aan dit als een piramide van wiskundige vaardigheden.

De Structuur: In plaats van de AI alleen een moeilijk probleem te geven, breken ze het af. Ze nemen 7.404 echte wiskundige verhalen en snijden deze in 32.505 kleinere stukjes (subtaken).
De Lagen:
- De Basis (Numerieke Parsing): Kan de AI de getallen in de tekst vinden? Kan het getallen van een afbeelding aflezen?
- Het Midden (Begrip & Berekening): Kan het de tekst omzetten in een wiskundige vergelijking? Kan het daadwerkelijk optellen of de vergelijking oplossen?
- De Top (Complexe Redenering): Kan het alles samenvoegen om het oorspronkelijke moeilijke probleem op te lossen?
Het Resultaat: Door de AI op elke laag te testen, ontdekten de onderzoekers dat veel top-tier AI's eigenlijk heel slecht zijn in de basis. Ze falen vaak in het herkennen van getallen in afbeeldingen of raken in de war door eenvoudige rekenkunde, zelfs als ze slim zijn in logica.

3. De Diagnose: Wat is er mis?

Na het testen van 11 verschillende AI-modellen (inclusief grote namen zoals GPT-4, Llama en DeepSeek), ontdekten ze twee hoofdzwaktes:

Slecht in het "Lezen" van Getallen: De modellen missen vaak getallen in tekst of, erger nog, in afbeeldingen. Ze zien misschien een klok in een plaatje maar raden de tijd verkeerd, of ze negeren een cruciaal getal in een tekstprobleem.
Hallucineren: Wanneer ze een getal niet weten, verzinnen ze soms gewoon een getal om het verhaal gaande te houden.

4. De Fix: SOLVE en IRPO

Om de AI beter te maken, hebben de auteurs twee nieuwe hulpmiddelen gemaakt, als een slimme tutor en een persoonlijke trainer.

SOLVE (De Slimme Tutor):
- Het Probleem: AI probeert vaak externe tools te gebruiken (zoals een rekenmachine of een code interpreter), maar faalt omdat het de aanvraag slecht formatteert (bijv. de verkeerde code-syntax schrijft). Het is alsof een student een rekenmachine probeert te gebruiken maar de knoppen in de verkeerde volgorde indrukt.
- De Fix: SOLVE is een module die fungeert als een vertaler. Het laat de AI een hulpvraag stellen op elke gewenste, slordige manier (zelfs in "handgeschreven" stijl), en SOLVE ruimt dit op en stuurt de perfecte aanvraag naar de rekenmachine. Het weet ook wanneer de AI slim genoeg is om een simpel probleem zelf op te lossen, zodat het geen tijd verspilt aan het aanroepen van een tool.
IRPO (De Persoonlijke Trainer):
- Het Probleem: Standaard trainingsmethoden belonen de AI alleen voor het eindantwoord. Ze leren de AI niet hoe de rekenmachine effectief te gebruiken tijdens het proces.
- De Fix: IRPO is een nieuwe trainingsmethode. Het observeert het volledige denkproces van de AI. Als de AI op het juiste moment een rekenmachine aanroept, krijgt het een beloning. Als de AI een rekenmachine aanroept voor een probleem dat het zelf had kunnen oplossen, krijgt het een straf. Het leert de AI om te weten wanneer te denken en wanneer een tool te gebruiken.

5. De Uitkomst

Wanneer ze deze fixes toepasten op het Qwen-2.5 model:

De wiskundige score van het model steeg met 5,0 punten.
Het werd veel beter in het weten wanneer het een rekenmachine moest gebruiken en wanneer het de wiskunde zelf moest doen.

Samenvatting

Het artikel betoogt dat om AI beter te maken in wiskunde, we niet alleen naar de eindscore kunnen kijken. We moeten wiskunde afbreken in een piramide van kleine vaardigheden om precies te zien waar de AI faalt. Zodra we de barsten zien (zoals slechte getalherkenning), kunnen we slimme tools (SOLVE) en betere training (IRPO) bouwen om ze te repareren, waardoor een verwarde student verandert in een wiskundig genie.

Technische Samenvatting: PyraMathBench

Probleemstelling

Ondanks de cruciale rol van numeriek redeneren in toepassingen variërend van wetenschappelijk onderzoek tot financiële analyse, worstelen huidige Large Language Models (LLM's) aanzienlijk met wiskundige taken. Bestaande benchmarks falen vaak in het ontrafelen van fouten in numerieke verwerking (bijv. tokenisatie-fouten, rekenfouten, hallucinaties) van fouten in wiskundig redeneren (bijv. logische misinterpretatie). Bijgevolg is het bij een fout van een model onduidelijk of de fout voortkomt uit een onvermogen om te rekenen of uit een onvermogen om de probleemstructuur te begrijpen. Bovendien testen bestaande kaders vaardigheden vaak in isolatie, waarbij ze een gebrek aan cross-task correlaties vertonen die onthullen hoe fundamentele vaardigheden complexe redenering beïnvloeden. Daarnaast overschatten de evaluaties van Multimodale LLM's (MLLM's) vaak hun visuele redeneervermogen door geen onderscheid te maken tussen de afhankelijkheid van tekstuele aanwijzingen versus daadwerkelijke visuele data-extractie.

Methodologie

1. PyraMathBench (PMB)

De auteurs introduceren PyraMathBench, een uitgebreide hiërarchische benchmark die ontworpen is om de synergie tussen numerieke verwerking en wiskundig redeneren te evalueren.

Schaal en Structuur: De benchmark bestaat uit 32.505 vragen afgeleid van 7.404 wiskundige woordproblemen (MWP) en visuele redeneerproblemen.
Hiërarchische Taxonomie: Geïnspireerd door de cognitieve theorie van Piaget, zijn taken gedecomposed in 4 kernaspecten van cognitie en 14 afzonderlijke subtaken:
1. Complexe Redenering: Wiskundige Woordproblemen (MWP) en Visuele Redeneerproblemen (VRP).
2. Begrip: Vraagabstractie (QA), Taakdecompositie (TD) en Wiskundige Kennis (MK).
3. Berekening: Rekenkunde, Vergelijking oplossen (ES), Sorteren en Formule Toepassing (FA).
4. Numerieke Parsing: Getalconversie (NC), Eenheidconversie (UC), Cijferherkenning (NR), Visuele Data Kwantificatie (VDQ) en Objecten Tellen (OC).
Dataconstructie: Data is afkomstig van zes bestaande datasets (bijv. GSM8K, MATH, MathVista) en oefencollecties. Subtaken zijn geannoteerd door zes experts bekwaam in de wiskunde op middelbare schoolniveau, wat zorgt voor een rigoureuze decompositie van echte problemen in plaats van synthetische generatie. De dataset bevat zowel unimodale als multimodale taken.
Evaluatiemetrieken: Een aangepaste scorefunctie gebaseerd op relatieve fout (schaal 0–100) wordt gebruikt voor numerieke antwoorden, terwijl MathBERT-embeddings en cosinus-gelijkenis worden gebruikt voor tekstuele antwoorden.

2. Voorgestelde Oplossingen: SOLVE en IRPO

Om de geïdentificeerde zwakheden in numerieke berekening en hulpmiddelgebruik aan te pakken, stellen de auteurs twee verbeteringen voor:

SOLVE (Smart Optimization & Learning-based VErsatile module): Een module voor tool-integratie ontworpen om flexibiliteit en aanpassingsvermogen te verbeteren.
- Fuzzy Call Recognition: In tegenstelling tot rigide "plug-and-play" modules, accepteert SOLVE tool-calls in diverse formaten (LaTeX, Python, informele tekst) en standaardiseert deze, wat parsing-fouten vermindert.
- Dynamische Moeilijkheidsbepaling: Met behulp van Item Response Theory (IRT-2PL) schat SOLVE de moeilijkheid van een taak en de huidige bekwaamheid ( $\theta$ ) van het model. Als de waarschijnlijkheid dat het model de taak correct oplost groter is dan een drempelwaarde (0,95), slaat SOLVE de tool-call over om de efficiëntie te optimaliseren.
IRPO (Interactive Relative Policy Optimization): Een nieuw Reinforcement Learning (RL) framework dat Group Relative Policy Optimization (GRPO) uitbreidt.
- Dual-Stream Sampling: IRPO samplet gelijktijdig outputs van een basisbeleid ( $\pi_\theta$ ) en een tool-augmented beleid ( $\pi^\tau_\theta$ ).
- Beloningsfunctie: De beloningsfunctie is veelzijdig en straft onnodige tool-calls af wanneer het model in staat is (gebaseerd op subtaak-nauwkeurigheid) en beloont tool-gebruik wanneer dit helpt bij het oplossen van complexe subproblemen. Het incorporeert een dynamische baseline en een logistische functie die de waarschijnlijkheid van correcte tool-vrije oplossingen modelleert.

Belangrijkste Resultaten

Benchmark Evaluatie

Experimenten op 11 representatieve LLM's (inclusclusief GPT-4o, DeepSeek-R1, Qwen-2.5 en Llama-3.1) onthullen:

Prestatiekloven: Hoewel topmodellen zoals DeepSeek-R1 en GPT-4o goed presteren op complexe redenering (MWP), vertonen ze significante zwaktes in Vraagabstractie (QA), Vergelijking oplossen (ES) en Numerieke Parsing.
Wiskunde-specifieke Modellen: Verrassend genoeg presteerden wiskunde-gespecialiseerde modellen (bijv. DeepSeek-Math, Qwen2.5-Math) slechter dan generalistische modellen zoals Llama-3.1 op verschillende subtaken, toegeschreven aan slechte instructie-opvolging (het negeren van prompts om problemen te abstraheren) en inconsistente antwoordformaten.
Multimodale Beperkingen: MLLM's scoorden extreem laag (gemiddeld < 20) op visuele numerieke parsing-subtaken (NR, VDQ, OC). Analyse geeft aan dat ze voornamelijk vertrouwen op tekstuele informatie in plaats van data te extraheren uit afbeeldingen, zelfs in eenvoudige scenario's zoals het tellen van objecten of het lezen van klokken.
Correlatieanalyse: Pearson-correlatieanalyse laat zien dat prestaties op Vraagabstractie (QA), Vergelijking oplossen (ES) en Formule Toepassing (FA) het sterkst correleren met de algehele MWP-prestaties. Dit zijn de primaire bottlenecks voor huidige LLM's.

Verbetering via SOLVE en IRPO

Het toepassen van de voorgestelde methoden op Qwen-2.5 en Llama-3.1-8B leverde significante verbeteringen op:

Baseline vs. PPM: Eenvoudig "Plug-and-Play" tool calling verslechterde de prestaties feitelijk (bijv. Qwen-2.5 daalde van 91,1 naar 82,8) door parsing-fouten en context-bloat.
Impact van SOLVE: Integratie van SOLVE verbeterde de scores (Qwen-2.5: 95,8; LLlama-3.1: 74,8) door fuzzy tool-calls af te handelen en onnodige calls over te slaan.
Impact van IRPO: Verdere training met IRPO behaalde de hoogste scores (Qwen-2.5: 96,1; Llama-3.1: 76,1), wat een verbetering van 5,0% laat zien ten opzichte van de vanilla baseline voor Qwen-2.5.
Vergelijking: IRPO presteerde beter dan GRPO, met name bij zwakkere modellen, door expliciet het besluitvormingsproces voor tool-invocatie over meerdere ronden te optimaliseren.

Betekenis en Claims

Het artikel claimt dat PyraMathBench een noodzakelijke verschuiving biedt van "antwoord-gecentreerde" evaluatie naar proces-georiënteerde, hiërarchische beoordeling. Door complexe problemen te deconstrueren in atomaire cognitieve taken, stelt de benchmark onderzoekers in staat om specifieke foutmodi te identificeren (bijv. het onderscheiden van een rekenfout van een redeneerfout).

De auteurs stellen dat hun voorgestelde SOLVE en IRPO frameworks effectief de "tool call parsing-fouten" en "inefficiënt toolgebruik" mitigeren die momenteel LLM's hinderen. De resultaten suggereren dat het versterken van de synergie tussen interne redenering en externe tool-invocatie cruciaal is voor het bevorderen van wiskundige capaciteiten. Het artikel concludeert dat hoewel huidige modellen veelbelovend zijn in hoogwaardige redenering, hun bekwaamheid in fundamentele numerieke verwerking en multimodale data-extractie een significante barrière blijft voor het oplossen van real-world wiskundige problemen.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Decompositie Ambiguïteit: Taakdecompositie kan meerdere geldige versies hebben, wat de resultaten kan beïnvloeden, met name in het aspect "Begrip".
Omvang: De taxonomie bestrijkt 14 subtaken maar omvat niet alle mogelijke atomaire taalvaardigheden.
Taal: De studie is momenteel beperkt tot het Engels.
Domeinspecificiteit: De SOLVE en IRPO methoden zijn geoptimaliseerd voor wiskundige woordproblemen en kunnen niet direct generaliseren naar andere wiskundige domeinen zoals formele bewijzen of zuivere algebraïsche manipulatie.