Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments

Dit paper introduceert de Multilingual Reasoning Gym, een uitgebreide versie van Reasoning Gym die verifieerbare redeneeropgaven in 14 talen procedurally genereert om onderzoek naar meertalige redeneermodellen te ondersteunen.

De kern

De Meertalige Redeneer-Gymzaal: Een Wereldwijd Sportpark voor Slimme Computers

Stel je voor dat je een enorme, onuitputtelijke sportschool bouwt voor kunstmatige intelligentie (AI). In deze sportschool trainen de computers niet in gewichtheffen of hardlopen, maar in redeneren. Ze moeten wiskundige raadsels oplossen, logische puzzels kraken en algoritmes bedenken.

Vroeger was deze sportschool alleen in het Engels beschikbaar. Dat was een probleem, want de meeste mensen ter wereld spreken geen Engels. Als je een AI wilt trainen om slim te zijn in het Nederlands, het Japans of het Swahili, dan moet je die AI eerst in het Engels leren redeneren en dat vertalen. Dat werkt niet goed; het is alsof je een voetballer traint met een Engelse bal, maar hem laat spelen met een Nederlandse bal. De regels zijn hetzelfde, maar het gevoel is anders.

Dit artikel introduceert de Multilingual Reasoning Gym (De Meertalige Redeneer-Gymzaal). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Magische Bouwpakketten (Procedurale Generatie)

Stel je voor dat je in plaats van één voor één honderden nieuwe puzzels te tekenen, een magische machine hebt.

• De oude manier: Je schrijft 10.000 puzzels op papier. Als je die op wilt maken in het Frans, moet je iemand 10.000 keer laten vertalen. Dat kost tijd, geld en is beperkt.
• De nieuwe manier (in dit paper): De wetenschappers hebben 94 verschillende bouwplannen (templates) gemaakt. Denk aan een bouwpakket voor een huis. Het plan zegt: "Neem een getal, tel er 6 bij op, en vraag wat het antwoord is."
  • Als je dit plan in het Engels invoert, krijg je een Engelse puzzel.
  • Als je hetzelfde plan in het Japans invoert, krijg je een Japans puzzel.
  • De machine kan hiermee oneindig veel unieke puzzels maken. Je kunt nooit "op" raken van oefeningen.

2. De Vertaal-Meesterwerken

Het is niet zo simpel als "Engels naar Frans" zetten met een app. Dat werkt niet voor slimme puzzels.

• Voorbeeld: In het Engels zeggen we "Grootste Gemene Deler". In het Duits is dat "Größter gemeinsamer Teiler". Als je dat letterlijk vertaalt, klinkt het als een robot. De onderzoekers hebben moedertaalsprekers ingehuurd om te zorgen dat de puzzels klinken alsof een native speaker ze heeft bedacht.
• Aanpassingen: Soms moet je de regels iets aanpassen. In het Engels kun je makkelijk een 's' achter een woord plakken om het meervoud te maken (bijv. "tiger" -> "tigers"). In het Nederlands of Japans werkt dat niet zo. De onderzoekers hebben de bouwplannen dus aangepast zodat ze in elke taal natuurlijk klinken, zonder dat de logica verandert.

3. De 14 Talen

Deze gymzaal is nu open voor 14 verschillende talen, waaronder:

• Grote talen: Engels, Chinees, Duits, Frans, Spaans, Japans.
• Minder vaak vertegenwoordigde talen: Bengaals, Telugu en Swahili.

Dit is belangrijk omdat AI-modellen vaak slechter presteren in talen waar ze minder data over hebben. Met deze gymzaal kunnen ze nu evenveel oefenen in het Swahili als in het Engels.

4. De "Spiegel" van de Puzzels

Een van de coolste dingen is dat de puzzels parallel zijn.
Stel je voor dat je een puzzel hebt: "Wat is 8 + 6?"

• In het Engels: "What is 8 + 6?"
• In het Japans: "8 + 6 is wat?"
• In het Nederlands: "Wat is 8 + 6?"

De antwoorden en de logica zijn exact hetzelfde, alleen de woorden zijn anders. Dit stelt onderzoekers in staat om te kijken: "Is deze AI slim in het Engels, maar dom in het Japans?" of "Leerde hij het redeneren beter door in het Japans te oefenen?" Het is alsof je een spiegel hebt die je laat zien hoe een AI in verschillende culturen denkt.

5. Waarom is dit belangrijk?

Vroeger moesten AI-onderzoekers wachten tot er grote verzamelingen (datasets) met puzzels in andere talen bestonden. Die waren vaak klein of bevatten fouten.
Met deze Redeneer-Gymzaal kunnen ze:

• Oefenen tot ze het snappen: Ze kunnen miljoenen nieuwe puzzels genereren om de AI te trainen (Reinforcement Learning).
• Moeilijkheidsgraad aanpassen: Ze kunnen beginnen met simpele sommen en langzaam naar moeilijke logica gaan, precies afgestemd op het niveau van de AI.
• Eerlijk testen: Ze kunnen testen of een AI echt slim is, of dat hij gewoon Engelse antwoorden uit zijn hoofd heeft geleerd.

Samenvatting in één zin

De onderzoekers hebben een oneindige, meertalige trainingshal gebouwd waar slimme computers kunnen leren redeneren in 14 talen, zodat ze niet alleen in het Engels, maar in de hele wereld slim kunnen worden.

Waarom zou je hier blij van worden?
Omdat dit betekent dat de AI's van de toekomst niet alleen voor Engels sprekende mensen werken, maar voor iedereen, in hun eigen taal, met dezelfde slimme vaardigheden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments" in het Nederlands.

Probleemstelling

State-of-the-art Large Language Models (LLM's) tonen sterke redeneervermogens in wiskunde, logica en algoritmische taken, vaak getraind met Reinforcement Learning with Verifiable Rewards (RLVR). De bestaande Reasoning Gym (Stojanovski et al., 2025) biedt een krachtig framework voor het procedurally genereren van oneindige trainings- en evaluatiegegevens voor RLVR. Echter, dit framework is uitsluitend beschikbaar in het Engels.

Dit vormt een beperking voor onderzoek en toepassingen in andere talen. Bestaande meertalige datasets zijn vaak statisch, beperkt in grootte (wat leidt tot overfitting of data-contaminatie) en bieden geen dynamische aanpassing van moeilijkheidsgraden. Het simpelweg vertalen van statische datasets lost deze problemen niet op. Er is een behoefte aan een omgeving die procedurally gegenereerde, verifieerbare redeneertaken biedt in meerdere talen, waarbij de moeilijkheidsgraad aanpasbaar is en parallelle data-generatie mogelijk is.

Methodologie

De auteurs presenteren de Multilingual Reasoning Gym, een uitbreiding van het originele Reasoning Gym die procedurale generatie mogelijk maakt in 14 talen (Engels, Chinees, Duits, Spaans, Frans, Japans, Braziliaans Portugees, Russisch, Koreaans, Italiaans, Thais, Bengaals, Telugu en Swahili).

De aanpak omvat de volgende stappen:

1. Template-gebaseerde Vertaling:
   In plaats van individuele voorbeelden te vertalen, worden de onderliggende sjablonen (templates) vertaald. Omdat de generator functioneel is, kunnen hiermee oneindig unieke probleeminstanties worden gegenereerd. Dit maakt schaalbaarheid mogelijk zonder dat de vertaalkosten lineair stijgen met het aantal gegenereerde voorbeelden.

2. Hybride Vertaalworkflow:

   • LLM-gebaseerde vertaling: Gebruik van Claude Sonnet 4 voor initiële vertalingen.
   • Iteratieve verfijning: Een tweede LLM-pas om fouten te corrigeren op basis van vooraf gedefinieerde rubrieken.
   • Menselijke validatie: Moedertaalsprekers (native speakers) hebben de sjablonen en gegenereerde voorbeelden geëvalueerd in 10 talen (Chinees, Duits, Frans, Spaans, Italiaans, Russisch, Thais, Japans, Koreaans en Portugees). Voor Bengaals, Telugu en Swahili zijn vertalingen beschikbaar, maar zonder menselijke validatie.
   • Code-aanpassingen: De code is aangepast om talen met rijke morfologie of niet-Latijnse scripts te ondersteunen (bijv. het vermijden van Engelse meervoudsvormen die niet in andere talen werken, aanpassing van leestekens en terminologie).

3. Filtering en Aanpassing van Taken:
   Van de oorspronkelijke 104 taken werden er 10 volledig verwijderd omdat ze fundamenteel afhankelijk zijn van Engelse eigenschappen (bijv. woordladders). 6 taken behouden Engelse invoerdata (bijv. Engelse zinnen die omgekeerd moeten worden), maar de instructies zijn vertaald. De resterende 94 taken zijn volledig vertaald of aangepast.

4. Parallelle Data Generatie:
   Door gebruik te maken van dezelfde "seed" voor de procedurale generator, kunnen exact dezelfde probleemstructuren in alle 14 talen worden gegenereerd. Dit stelt onderzoekers in staat om cross-linguale datasets te creëren met een enorme schaal.

Belangrijkste Bijdragen

• Multilingual Reasoning Gym: Een open-source bibliotheek (code en data beschikbaar op GitHub) die 94 redeneertaken ondersteunt in 14 talen.
• Procedurale Schaalbaarheid: Het behoud van de kernvoordelen van het originele gym: oneindige gegenereerde instanties, aanpasbare moeilijkheidsgraden (curriculum learning) en verifieerbare rewards.
• Kwaliteitsborging: Een robuust proces van hybride vertaling en menselijke validatie om ervoor te zorgen dat de gegenereerde problemen natuurlijk klinken en logisch correct zijn in de doeltaal.
• Cross-linguale Paralleliteit: De mogelijkheid om direct parallelle data te genereren voor onderzoek naar meertalige redeneermodellen.

Resultaten

De auteurs evalueerden diverse open-weight modellen (zoals Gemma, Qwen, SmolLM en gpt-oss) op het dataset.

• Prestaties per Taal: Over het algemeen presteerden modellen beter in het Engels dan in andere talen. Prestaties namen toe met de modelgrootte (capaciteit).
• Moeilijkheidsgraden: De evaluatie werd uitgevoerd op verschillende moeilijkheidspercentielen (25e, 75e en standaard).
  • Bij de standaard instelling (25e percentiel) varieerden de scores aanzienlijk tussen talen.
  • Bij de moeilijkere instelling (75e percentiel) daalden de prestaties met tot 15 procentpunten, wat aantoont dat het systeem effectief een breed scala aan moeilijkheidsgraden kan dekken.
• Taalkundige Consistentie: Er werd geconstateerd dat sommige modellen (vooral de Qwen3-redeneringsfamilie) last hebben van "meertalige verwarring". Hoewel ze de redenering correct uitvoeren, geven ze het antwoord soms in het Engels terug in plaats van de doeltaal (bijv. "green" in plaats van "groen" in een Duitse prompt), wat leidt tot een falende verificatie.

Betekenis en Impact

De Multilingual Reasoning Gym vult een cruciale lacune in het onderzoek naar RLVR voor meertalige modellen.

• Onderzoek: Het biedt een schaalbare, schone en verifieerbare omgeving om te testen hoe goed LLM's redeneren in talen die minder goed vertegenwoordigd zijn in bestaande datasets.
• Training: Het maakt curriculum learning mogelijk voor meertalige modellen, waarbij de moeilijkheidsgraad dynamisch kan worden aangepast aan de capaciteiten van het model in specifieke talen.
• Toekomst: Hoewel er beperkingen zijn (zoals taken die niet volledig vertaalbaar zijn en de afwezigheid van menselijke validatie voor sommige talen), biedt dit werk een fundamentele basis voor de ontwikkeling van robuuste, meertalige redeneermodellen die niet afhankelijk zijn van statische, beperkte datasets.