Technische Samenvatting: AdaMame – Een Trainingsrecept voor Adaptief Multilinguaal Redeneren

Probleemstelling

Grote redeneermodellen (Large Reasoning Models, LRMs) vertonen sterke prestaties in het Engels, maar falen vaak bij het redeneren in de taal van de gebruikersvraag, een fenomeen dat taalinstorting (language collapse) wordt genoemd. In plaats van redeneersporen (Chain-of-Thought) te genereren in de taal van de vraag, vallen modellen terug op het Engels of vertonen ze mid-trace code-switching.

Bestaande pogingen om dit via Reinforcement Learning (RL) te corrigeren, voegen doorgaans een binaire taalgetrouwheidsbeloning toe aan de nauwkeurigheidsdoelstelling met behulp van een handmatig afgestelde wegingsratio. Echter, het artikel identificeert drie hardnekkige beperkingen in deze benaderingen:

1. Nauwkeurigheidstargets: Het verbeteren van de taalgetrouwheid gaat vaak ten koste van de redeneernauwkeurigheid.
2. Code-switching: Modellen wisselen tijdens een enkel redeneerspoor vaak van taal.
3. Overdenken (Overthinking): Modellen verbruiken excessieve hoeveelheden tokens zonder evenredige winst in correctheid.
   Bovendien vereisen veel eerdere methoden Engelse referentie-redeneersporen voor supervisie en vertrouwen ze op vaste wegingsregimes, wat de schaalbaarheid en robuustheid beperkt.

Methodologie: AdaMame

De auteurs stellen AdaMame voor, een tweestaps trainingsrecept dat ontworpen is om de redeneertaal adaptief af te stemmen op de taal van de vraag, terwijl er gelijktijdig wordt geoptimaliseerd voor nauwkeurigheid en token-efficiëntie.

Fase 1: Supervised Fine-Tuning (SFT)

• Doel: Het vestigen van fundamentele multilinguale redeneercapaciteit en gevoeligheid voor taalspecifieke patronen.
• Data: Een dataset van 30.000 natuurlijk voorkomende redeneersporen in vijf talen (Frans, Portugees, Japans, Koreaans, Thais). Cruciaal is dat deze sporen niet machinaal zijn vertaald uit het Engels, maar zijn gegenereerd en geverifieerd als vloeiend in de doeltaal.
• Techniek: Het model wordt gefinetuned met behulp van Low-Rank Adaptation (LoRA) om catastrofale vergeten te voorkomen en de efficiëntie te verbeteren. Prompts stimuleren expliciet redeneren in de taal van de vraag.

Fase 2: Reinforcement Learning (AdaMame-GRPO)

• Doel: De redeneercapaciteiten te generaliseren naar out-of-domain talen en taalafstemming af te dwingen zonder de nauwkeurigheid op te offeren.
• Kerninnovatie: Een aanpassing van Group Relative Policy Optimization (GRPO) genaamd AdaMame-GRPO.
• Mechanisme: In plaats van een vaste beloningsweging introduceert de methode een vraag-geconditioneerde afstemfactor ($\alpha_i(t)$) die progressief groeit tijdens de training.
  • Exploratiefase: Vroeg in de training is de afstemfactor zwak, waardoor het model verschillende redeneertalen kan verkennen om de nauwkeurigheid te maximaliseren.
  • Exploitatiefase: Naarmate de training vordert, neemt de factor toe, waardoor beloningen worden versterkt voor rollouts waarbij de redeneertaal overeenkomt met de taal van de vraag.
  • Wiskundige formulering: De beloning wordt geschaald als $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$, waarbij $\alpha_i(t)$ een cosinus-groeischema volgt van 0,1 naar 1,0.
• Voordeel: Deze aanpak vereist geen Engelse referentie-sporen en vermijdt handmatige afstemming van beloningsgewichten, door gebruik te maken van een curriculum-gebaseerde "explore-then-exploit" strategie.

Belangrijkste Bijdragen

1. AdaMame-recept: Een tweestaps (SFT + RL) post-training framework dat de redeneertaal adaptief afstemt op de vraag, de trade-off tussen nauwkeurigheid en taalgetrouwheid oplost.
2. Dataset-release: Een nieuwe dataset van 30.000 natuurlijk voorkomende, hoogwaardige redeneersporen in vijf talen, die multilinguaal redeneeronderzoek ondersteunt zonder afhankelijkheid van machinaal vertaalde Engelse data.
3. AdaMame-GRPO Algoritme: Een nieuwe RL-variant die Pareto-optimale prestaties bereikt op het gebied van redeneernauwkeurigheid, taalgetrouwheid en token-efficiëntie.

Experimentele Resultaten

De methode werd geëvalueerd op twee benchmarks (MGSM-Rev2 en MSVAMP) met behulp van twee backbone-modellen (DISTILL-QWEN 1.5B en QWEN3 4B) over 12 talen (5 in-domain, 7 out-of-domain).

• Pareto-optimaliteit: AdaMame-GRPO bereikte de beste balans tussen nauwkeurigheid, taalgetrouwheid (gemeten via de Language Confusion Pass Rate, LCPR) en token-efficiëntie (Test-Time Compute, TTC) vergeleken met alle baselines, inclusief Vanilla, Prompt, SFT, standaard GRPO en M-Thinker.
• Out-of-Domain Generalisatie: Hoewel SFT de in-domain prestaties verbeterde, generaliseerde het slecht naar out-of-domain talen. De RL-fase verbeterde de generalisatie aanzienlijk, met name voor taalarme talen (bijv. Bengalees, Swahili, Telugu), waar AdaMame-GRPO de grootste winsten liet zien ten opzichte van de baselines.
• Token-efficiëntie: In tegen tegenstelling tot methoden die "overdenken" induceren, resulteerde AdaMame-GRPO in het laagste tokenverbruik van alle geteste varianten.
• Curriculum-effect: Analyse bevestigde de "explore-then-exploit" dynamiek: modellen genereerden aanvankelijk diverse talen voordat ze progressief convergeerden op de taal van de vraag naarmate de afstemfactor groeide.

Betekenis en Claims

Het artikel claimt dat AdaMame de kernbeperkingen van huidige multilinguale redeneeraanpakken aanpakt door het elimineren van de noodzaak voor Engelse referentie-sporen en vaste beloningsgewichten. Door een adaptief curriculum te implementeren, slaagt de methode erin om taalinstorting en code-switching te mitigeren terwijl de redeneernauwkeurigheid behouden blijft of zelfs verbetert.

De auteurs positioneren dit werk als een stap naar meer rechtvaardig multilinguaal redeneren, waarbij zij aantonen dat hoge prestaties haalbaar zijn, niet alleen voor talen met veel middelen (high-resource), maar ook voor talen met weinig middelen (low-resource) en out-of-domain settings. Zij betogen dat het voorbijgaan aan Engels-centrische beloningsontwerpen essentieel is voor het trainen van modellen die de volledige diversiteit van gebruikers-talen bedienen.

Erkende Beperkingen:

• Experimenten zijn beperkt door het computationele budget, wat de reikwijdte beperkt tot specifieke modelgroottes en wiskundige redeneertaken.
• De methode vertrouwt op de LINGUA taaldetector, die betrouwbaarheidsproblemen kan hebben met sterk code-switched sporen of zeer taalarme talen.
• De trainingscorpora zijn afhankelijk van sporen gegenereerd door GPT-5 NANO, wat potentieel specifieke taalbiases van dat model overneemt.