mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR

Dit paper introduceert mAceReason-Math, een dataset van meer dan 10.000 hoogwaardige, vertaalde wiskundeproblemen in 14 talen die specifiek zijn ontworpen om Reinforcement Learning with Verifiable Rewards (RLVR) voor meertalige modellen te ondersteunen.

De kern

De "McDonald's van Wiskundige Puzzels": Een Verhaal over mAceReason-Math

Stel je voor dat je een enorme bibliotheek hebt vol met de moeilijkste wiskundepuzzels ter wereld. Maar er is één groot probleem: al deze puzzels zijn geschreven in het Engels. Voor een computer (een zogenaamd "groot taalmodel") is het alsof je een supersterke atleet traint, maar alleen in het Engels. Hij wordt een wereldkampioen in het oplossen van Engelse raadsels, maar als je hem vraagt een probleem in het Nederlands, Japans of Swahili op te lossen, staart hij je alleen maar verward aan.

Dit is precies het probleem dat de onderzoekers van Apple en het Hasso Plattner Institute wilden oplossen met hun nieuwe project: mAceReason-Math.

Hier is hoe ze het aanpakken, vertaald naar alledaagse taal:

1. Het Probleem: Alleen Engels is niet genoeg

Vroeger waren er wel wat wiskundepuzzels in andere talen, maar die waren vaak te makkelijk. Het was alsof je een Formule 1-coureur traint op een fietsbaan voor kinderen. Het helpt niet om zijn echte vaardigheden te verbeteren. De beste, moeilijkste puzzels waren allemaal in het Engels.

2. De Oplossing: Een Vertaal- en Schoonmaakfabriek

De onderzoekers hebben een gigantische fabriek opgezet om deze Engelse puzzels om te toveren naar 14 verschillende talen. Maar ze deden het niet zomaar. Ze volgden een strikt proces, alsof ze een dure diamant slijpen:

• Stap 1: De Vuilnisbak (Schoonmaken)
  Eerst keken ze naar de originele Engelse puzzels. Sommige waren kapot: ze verwezen naar plaatjes die er niet waren, of het antwoord stond al in de vraag zelf (een beetje alsof je een raadsel oplost en het antwoord al op de achterkant van de envelop staat). Die "rotte appels" gooiden ze direct weg.
• Stap 2: De Vertalers (De AI en de Mens)
  Vervolgens lieten ze een slimme computer (een AI) de puzzels vertalen. Maar een computer kan soms rare fouten maken, zoals het verkeerd interpreteren van wiskundige symbolen of de verkeerde komma's gebruiken (in Nederland gebruiken we een komma voor decimalen, in de VS een punt).
  Daarom kwamen er moedertaalsprekers (echte mensen) kijken. Zij waren de "kwaliteitscontroleurs". Als de computer een fout maakte, corrigeerden de mensen het. Ze zorgden ervoor dat de wiskunde klopte en dat de tekst natuurlijk klinkt in het Italiaans, Chinees of Russisch.
• Stap 3: De Herhaling (De "Loop")
  Als de vertaling nog niet perfect was, gaf de computer hem een tweede kans. Dit deden ze tot wel vijf keer totdat de puzzel perfect was.

3. Het Resultaat: Een Wereldwijde Wiskundewedstrijd

Het eindresultaat is een enorme verzameling van meer dan 140.000 wiskundepuzzels.

• Er zijn 14 talen bij, van grote talen als Chinees en Spaans tot kleinere zoals Swahili en Bengaals.
• Voor elke taal zijn er meer dan 10.000 puzzels.
• Er is zelfs een "parallele" deel: 7.620 puzzels die in alle talen exact hetzelfde zijn. Dit is als een wereldkampioenschap waar iedereen dezelfde vraag krijgt, zodat je eerlijk kunt vergelijken wie er het beste is.

4. Waarom is dit belangrijk?

Stel je voor dat je een school hebt waar kinderen uit de hele wereld leren rekenen. Als je alleen Engelse boeken hebt, leren alleen de kinderen die Engels spreken goed rekenen. De anderen blijven achter.

Met mAceReason-Math geven onderzoekers nu de tools om computers te leren denken in hun eigen taal. Dit helpt om slimme computers te bouwen die niet alleen Engels begrijpen, maar ook kunnen helpen bij wiskundeproblemen in het Nederlands, het Japans of het Portugees.

Kortom: Ze hebben een sleutel gemaakt die de deur opent naar wiskundige genialiteit voor de hele wereld, niet alleen voor de Engelstalige helft. En ze hebben deze sleutel gratis beschikbaar gesteld voor iedereen die het wil gebruiken!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "mAceReason-Math: A Dataset of High-quality Multilingual Math Problems" in het Nederlands.

Titel: mAceReason-Math: Een Dataset van Hoogwaardige Meertalige Wiskundige Problemen

1. Het Probleem

Recente vooruitgang in Large Language Models (LLM's), met name in wiskundig en logisch redeneren, wordt grotendeels gedreven door Reinforcement Learning with Verifiable Rewards (RLVR), zoals Group Relative Policy Optimization (GRPO). Succesvolle toepassing van RLVR vereist echter een "Goldilocks-zone" van probleemcomplexiteit: de problemen moeten uitdagend genoeg zijn om het model te trainen, maar niet zo moeilijk dat het model ze niet kan oplossen.

Bestaande hoogwaardige datasets voor deze training (zoals AceReason-Math, DAPO-Math-17k) zijn echter bijna uitsluitend in het Engels. Hoewel er meertalige datasets bestaan, zijn deze vaak:

• Te eenvoudig (niet geschikt voor de huidige staat van de kunst).
• Te klein (vaak minder dan 600 voorbeelden per taal).
• Niet ontworpen met RLVR in gedachten.

Dit creëert een significante barrière voor onderzoek naar meertalige RLVR-training en benchmarking. Er is een gebrek aan grote, hoogwaardige, parallelle datasets met uitdagende wiskundige problemen in meerdere talen.

2. Methodologie

De auteurs introduceren mAceReason-Math, een dataset van meer dan 140.000 hoogwaardige vertalingen van uitdagende wiskundige problemen, afkomstig van de Engelse corpus AceReason-Math. De dataset dekt 14 talen (waaronder Duits, Frans, Italiaans, Spaans, Chinees, Japans, Russisch, Koreaans, Thais, Portugees, Swahili, Telugu en Bengaals) met meer dan 10.000 samples per taal.

De creatie van de dataset volgt een strikt hybride proces dat LLM's combineert met menselijke validatie:

• Data Opschoning (Cleaning):
  • Kritieke issues (~4%): Samples worden verwijderd als ze onoplosbaar zijn zonder externe context (bijv. ontbrekende diagrammen), als het antwoord al in de vraag staat ("answer leakage"), of als ze in een andere taal dan het Engels zijn.
  • Redelijke issues (~11%): Problemen zoals "Task 5.4" annotaties, LaTeX-formatteringsfouten of instructies die tijdens de dataset-generatie zijn achtergelaten, worden automatisch opgelost met regex en LLM-prompting voordat vertaling plaatsvindt.
• Vertaling en Validatie:
  • Initiële vertaling: Gebruikmakend van Claude Sonnet 4 voor de vertaling naar de doeltaal.
  • Menselijke review: Moedertaalsprekers (voor de meeste talen) beoordelen de kwaliteit.
  • Iteratieve verfijning: Een LLM-based refinement loop wordt uitgevoerd. Vertalingen worden beoordeeld op wiskundige nauwkeurigheid, LaTeX-consistentie (LaTeX mag niet vertaald worden, alleen de tekst eromheen) en natuurlijke taalgebruik. Als er fouten worden gedetecteerd, wordt de vertaling verbeterd. Dit proces loopt maximaal 5 keer.
  • Specifieke aandacht: Er wordt zorgvuldig gekeken naar nummerformatie (bijv. komma's vs. punten voor decimalen) en lokale wiskundige terminologie.
• Dataset Samenstelling:
  • Parallelle Train Split: 7.620 samples per taal die in alle 14 talen beschikbaar zijn (essentieel voor vergelijkbaar onderzoek).
  • Volledige Train Split: 10.000+ tot 12.000 samples per taal (niet noodzakelijk parallel).
  • Test Set: Een menselijk gevalideerde set van 190 samples per taal, waarbij LaTeX-content werd gerenderd voor de annotators om wiskundige symbolen correct te kunnen beoordelen.

3. Belangrijkste Bijdragen

• mAceReason-Math Dataset: De eerste grote, hoogwaardige dataset voor meertalige RLVR-training in wiskunde, met 14 talen en >140k samples.
• Hybride Pipeline: Een schaalbaar proces dat LLM-vertaling combineert met menselijke validatie en iteratieve verbetering, wat de kosten van volledige menselijke vertaling omzeilt terwijl de kwaliteit behouden blijft.
• Parallelle Structuur: Een unieke parallelle train-split die direct vergelijkbare resultaten tussen talen mogelijk maakt, wat cruciaal is voor het bestuderen van cross-linguale transfer.
• Open Access: De dataset is vrij beschikbaar voor de onderzoeksgemeenschap om meertalige RLVR-benchmarks en training te faciliteren.

4. Resultaten en Evaluatie

De auteurs evalueren diverse frontier- en open-weight modellen op de menselijk gevalideerde testset (190 samples):

• Modellengrootte: Er is een duidelijke trend dat grotere modellen beter presteren.
• Taalverschillen: Er zijn significante prestatieverschillen tussen talen, vooral bij open-weight modellen. Modellen presteren vaak slechter in talen die minder vertegenwoordigd zijn in hun trainingdata.
• Topprestaties:
  • Gesloten modellen zoals Gemini 2.5 Flash en Claude Sonnet 4.5 behalen hoge scores (rond 80% pass@1) over de meeste talen.
  • Open-weight modellen zoals DeepSeek-R1-Distill en Qwen3 tonen sterke resultaten, waarbij de Qwen3-reasoning-modellen zelfs de prestaties van sommige gesloten modellen overtreffen in bepaalde talen.
  • De resultaten suggereren dat wiskundig probleemoplossen sterke cross-linguale overdraagbaarheid vertoont op het niveau van probleeminstanties, vooral bij modellen die zijn getraind op RLVR.

5. Betekenis en Impact

mAceReason-Math vult een kritieke lacune in de AI-onderzoeksliteratuur. Door een schaalbare, hoogwaardige meertalige dataset te bieden, stelt het onderzoekers in staat om:

1. RLVR te onderzoeken in meertalige contexten: Het begrijpen van hoe versterkingslearning werkt over verschillende talen heen.
2. Bias te verminderen: Het verminderen van de afhankelijkheid van Engels als enige taal voor geavanceerd redeneren.
3. Benchmarks te ontwikkelen: Het bieden van een standaard voor het evalueren van meertalige wiskundige redeneercapaciteiten.

De dataset is een fundamentele stap richting het ontwikkelen van robuuste, wereldwijd toepasbare AI-modellen die complexe wiskundige problemen in hun eigen taal kunnen oplossen en redeneren.