💬 NLP

ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

Dit paper introduceert ExpLang, een nieuwe post-training pipeline voor grote taalmodellen die tijdens het versterkingsleren dynamisch de denktaal selecteert om zowel de exploratie als de exploitatie te verbeteren en zo superieure prestaties te behalen vergeleken met enkel Engelstalige training.

Oorspronkelijke auteurs: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

Gepubliceerd 2026-02-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nog wat onervaren student hebt die wiskundepuzzels oplost. Tot nu toe werd deze student alleen getraind om te denken in het Engels. Hoewel hij daar goed in is, merkten de onderzoekers dat hij soms vastliep of niet de beste oplossing vond, omdat hij maar één manier van denken kende.

Deze paper introduceert ExpLang, een nieuwe manier om deze "student" (een AI-model) te trainen. In plaats van hem alleen Engels te laten praten, leren we hem om tussendoor zelf te kiezen in welke taal hij zijn gedachten vormt.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. Het Probleem: De "Eén-Taal" Valstrik

Stel je voor dat je een puzzel probeert op te lossen, maar je mag alleen maar fluisteren in het Engels. Soms helpt het om het probleem even in het Spaans, het Chinees of het Vietnamees te bekijken. Misschien klinkt een bepaalde redenering in die taal logischer, of heb je daar een woord dat precies de juiste nuance heeft.
Tot nu toe hebben AI-modellen dit niet gedaan. Ze waren "gevangen" in het Engels, zelfs als een andere taal hen had kunnen helpen.

2. De Oplossing: ExpLang (Verken en Gebruik)

De onderzoekers hebben een nieuw trainingsplan bedacht, ExpLang, dat bestaat uit twee fases. Je kunt dit vergelijken met het trainen van een atleet voor een wedstrijd:

Fase 1: De Verkenning (De "Speelse" Fase)

In het begin van de training laten we de AI vrij. We zeggen: "Probeer eens alles uit!"

De Analogie: Stel je voor dat de AI een onderzoeker is in een groot, donker bos. Normaal loopt hij alleen maar het bekende pad (Engels). Maar nu zeggen we: "Loop ook eens door het struikgewas, klim op een boom, of zwem door de rivier."
Wat gebeurt er? De AI mag denken in 12 verschillende talen. Soms denkt hij in het Vietnamees, soms in het Japans. Dit zorgt voor diversiteit. Hij ontdekt dat bepaalde problemen in het Frans makkelijker op te lossen zijn dan in het Engels. Hij leert dat er meer dan één manier is om naar een probleem te kijken.

Fase 2: De Uitbuiting (De "Slimme" Fase)

Nadat de AI het bos heeft verkend, gaan we naar de tweede fase. Nu zeggen we: "Oké, je hebt veel gezien. Wat werkte het beste? Doe dat vaker!"

De Analogie: De AI is nu een ervaren gids. Hij weet dat het pad door de rivier (een bepaalde taal) de snelste route was naar de schat. Hij stopt met het proberen van alle mogelijke paden en focust zich op de meest efficiënte route.
Het Resultaat: De AI kiest zelf de taal die voor dat specifieke probleem het beste werkt. Vaak blijkt dat Engels weer de beste keuze is, maar alleen omdat de AI nu weet dat het de beste is, niet omdat hij geen andere optie had. Hij heeft de kennis van alle talen gebruikt om zijn Engelse denken sterker te maken.

3. Waarom is dit zo cool?

Het is een "Superkracht": Door even in een andere taal na te denken, leert de AI nieuwe manieren om problemen op te lossen. Zelfs als hij uiteindelijk weer in het Engels antwoordt, is zijn antwoord slimmer en creatiever.
Het werkt voor iedereen: De AI kan nu ook in het Nederlands, het Arabisch of het Swahili denken als de gebruiker dat vraagt. En omdat hij tijdens de training heeft geoefend met veel talen, is hij daar heel goed in, zelfs als hij die taal nog nooit eerder als "opdracht" had gekregen.
Geen gedoe: De AI kiest de taal zelf. Je hoeft niet te zeggen: "Denk nu in het Frans." De AI voelt zelf aan: "Hm, dit probleem voelt als een Frans probleem," en schakelt over.

Samenvattend

Stel je voor dat je een kok bent die alleen maar Italiaanse gerechten maakt. Je bent goed, maar je mist misschien de perfecte smaak van een Aziatische kruidenmix.
ExpLang is alsof je die kok een wereldreis laat maken. Hij proeft gerechten uit 12 verschillende landen (de verkenning). Hij leert welke smaken bij welke ingrediënten horen. Als hij terugkomt in zijn eigen keuken, maakt hij niet alleen Italiaans, maar maakt hij beter Italiaans, omdat hij nu weet hoe hij de kruiden van over de hele wereld kan gebruiken. En als een klant vraagt om een Thais gerecht, kan hij dat ook perfect maken.

De boodschap van dit papier is simpel: Om de slimste denker te worden, moet je niet alleen in één taal denken, maar leren om te schakelen tussen alle talen.

Probleemstelling

Grote Redeneringsmodellen (LRMs) hebben na post-training met Reinforcement Learning (RL) sterke prestaties geleverd op complexe taken. Echter, het huidige onderzoek concentreert zich bijna uitsluitend op Engelse redenering, omdat modellen hier vaak de beste prestaties laten zien vanwege de dominantie van Engelse trainingsdata.

De beperking: Meertalig redeneren wordt vaak gezien als een "vloek" die prestaties vermindert, of slechts als een service voor gebruikers met verschillende taalachtergronden.
De kans: Eerdere studies suggereren dat meertalig denken (multilingual thinking) het onderzoeksruimte (exploration space) van een model kan verruimen en betere resultaten kan opleveren dan enkel Engels.
De uitdaging: Bestaande methoden voor meertalig denken zijn vaak onstabiel (bijv. "prefix-hacking") of leiden tot prestatieverlies bij finetuning. Er is behoefte aan een stabiele methode die modellen in staat stelt om zelfstandig de taal van hun denkproces te kiezen tijdens het trainen en testen, om zowel exploratie als exploitatie te optimaliseren.

Methodologie: ExpLang

De auteurs stellen ExpLang voor, een nieuwe post-training pijplijn voor LLM's die on-policy thinking language selection (selectie van de denktaal volgens het eigen beleid van het model) mogelijk maakt. Het proces bestaat uit drie hoofdfasen:

Data Synthese en Cold-Start:
- Er wordt een hoogwaardige dataset van meertalige denksporen gegenereerd met behulp van een groter model (Qwen3-32B) als leraar, over een Engelse wiskundedataset.
- Er worden 12 niet-Engelse talen gebruikt (6 Europees, 6 Aziatisch).
- Een tweezijdige filtratie (taalherkenning en antwoordverificatie) zorgt voor kwaliteit.
- SFT (Supervised Fine-Tuning): Het basismodel (Qwen3-4B) wordt getraind met LoRA om de "cold-start" te realiseren. Het model leert hierbij om de taalkeuze-tag (bijv. <lang_select>vi</lang_select>) correct te volgen zonder catastrofale vergeetachtigheid.
RLVR met On-Policy Selectie (Reinforcement Learning with Verifiable Rewards):
De RL-fase is opgedeeld in twee specifieke stadia met een aangepaste beloningsfunctie ( $r$ ):
- Exploratie-fase (eerste 25% van de stappen): Het doel is om de onderzoeksruimte te vergroten. De beloning ( $r_d$ ) stimuleert het gebruik van minder frequente talen. Dit dwingt het model om diverse denksporen te genereren in verschillende talen. De KL-divergentie wordt hier uitgeschakeld om de diversiteit te maximaliseren.
- Exploitatie-fase (laatste 75% van de stappen): Het doel is om de beste strategieën te benutten. De beloning ( $r_p$ ) is gebaseerd op Pass@k per taal-groep. Als een taal een correct antwoord geeft, krijgen alle andere antwoorden in die batch met dezelfde taal ook een beloning. Dit moedigt het model aan om zich te concentreren op de meest efficiënte denktaal(s). De KL-divergentie wordt hier weer geactiveerd om te voorkomen dat het model te snel convergeert naar een suboptimale oplossing.
De totale beloningsfunctie combineert: formaat-compliance, taal-compliance, diversiteitsbeloning, taal-Pass@k en de originele regelgebaseerde verificatie.

Belangrijkste Bijdragen

Eerste pipeline voor on-policy taalselectie: Dit is het eerste werk dat een enkel trainingsproces biedt dat modellen leert om zelf de denktaal te kiezen tijdens RL, in plaats van dit extern te forceren.
Verbeterde Exploratie en Exploitatie: Door meertaligheid als een actie in de RL-proces te integreren, wordt het actie-ruimte van het model uitgebreid. Dit leidt tot een efficiënter leerproces.
Taalneutraliteit en Prestatie: De methode verbetert de prestaties van het model (ook in het Engels) door het benutten van voordelen uit niet-Engelse talen, terwijl het tegelijkertijd bijna perfecte naleving van taaleisen garandeert voor zowel bekende als onbekende talen.
Orthogonaliteit: De ExpLang-methode is compatibel met de meeste bestaande RL-algoritmen (zoals GRPO, Dr. GRPO, DAPO) en vereist alleen aanpassingen in de beloningsberekening.

Resultaten

De experimenten zijn uitgevoerd met het Qwen3-4B model op wiskundige datasets (MATH-500, AIME 2025, Olym-MATH).

Prestaties: ExpLang presteert consequent beter dan enkel-Engelse training (baselines) met hetzelfde trainingsbudget.
- Op de MATH-500 dataset steeg de nauwkeurigheid van 78,1% (baseline) naar 91,5% (ExpLang).
- Op de moeilijke AIME 2025 dataset steeg de nauwkeurigheid van 18,9% naar 31,9%.
Efficiëntie: Het model gebruikt minder "thinking tokens" (denktokens) terwijl het de prestaties verbetert.
Taalnaleving:
- Voor bekende talen (de 12 getrainde talen) bereikt ExpLang een naleving van 99,9%, wat aanzienlijk hoger is dan de baselines.
- Voor onbekende talen (4 niet-getrainde talen) toont het model hoge generalisatie en naleving, wat aantoont dat de methode schaalbaar is.
Dynamiek van Taalvoorkeur: Het model doorloopt een patroon van "Engels -> Meertalig -> Engels".
- Tijdens de exploratie-fase neemt het gebruik van niet-Engelse talen toe.
- Tijdens de exploitatie-fase convergeert het model weer naar Engels als de meest efficiënte taal, maar dan wel met een versterkt redeneervermogen dat is opgebouwd via de meertalige exploratie.

Betekenis en Conclusie

ExpLang toont aan dat meertaligheid niet slechts een servicefunctie is, maar een krachtige methode om de redeneercapaciteiten van LLM's te verbeteren. Door het model toe te staan om tijdens het trainingsproces zelf de denktaal te kiezen, wordt het onderzoeksruimte vergroot (exploratie) en worden de beste strategieën effectiever benut (exploitatie).

De studie weerlegt het idee dat meertaligheid een "vloek" is voor prestaties; in plaats daarvan fungeert het als een hefboom die de redeneerkracht in de dominante taal (Engels) versterkt. Dit opent een nieuw perspectief voor het ontwikkelen van robuustere, wereldwijd toepasbare AI-modellen die zowel technisch superieur zijn als respectvol omgaan met taaldiversiteit.