Technische Samenvatting: Efficiënt Multilinguaal Redeneren via Progressief Code-Switching

Probleemstelling

Grote Redellenmodellen (LRMs) zoals DeepSeek-R1 en Qwen3 hebben sterke redeneercapaciteiten in het Engels aangetoond, vaak door gebruik te maken van Reinforcement Learning met Verified Rewards (RLVR) en lange Chain-of-Thought (CoT) processen. Echter, hun prestaties verslechteren aanzienlijk wanneer ze worden gevraagd te redeneren in niet-Engelse talen. Wanneer ze in een doeltaal worden aangesproken, vallen deze modellen vaak terug op Engels redeneren, wat een mismatch creëert die de begrijpelijkheid en het vertrouwen ondermijnt.

Bestaande benaderingen om taalconsistentie af te dwingen, kampen met duidelijke beperkingen:

• Prompt/Prefix Controle: Vaak onbetrouwbaar of het gaat ten koste van de nauwkeurigheid ten opzichte van Engels redeneren.
• Supervised Fine-Tuning (SFT): Beperkt door de schaarste aan hoogwaardige meertalige long-reasoning data en gevoelig voor het introduceren van repetitieve artefacten.
• Reinforcement Learning (RL) met Taalbeloningen: Hoewel dit de output in de doeltaal aanmoedigt, blijft de prestatie doorgaans inferieur aan Engels gebaseerd redeneren.
• Distillatie: Huidige transfermethoden vertrouwen vaak op kostbare gedestilleerde traces van sterkere LRMs of online supervisie van externe beoordelingsmodellen, wat moeilijk schaalbaar is.

Methodologie: Progressive Code-Switching (PCS)

De auteurs stellen PCS (Progressive Code-Switching) voor, een transferframework dat slechts lichtgewicht vertaling vereist en geen sterkere docentmodellen of externe beoordelaars nodig heeft. De kern van het idee is om code-switched redeneren (een mix van Engels en de doeltaal) te beschouwen als een tussenfase voor cross-linguale transfer, in plaats van een abrupte overgang naar volledig redeneren in de doeltaal af te dwingen.

Het framework werkt in drie stadia:

1. Definitie van Code-Switched Redeneren

Code-switched redeneren wordt gedefinieerd als een alternerend patroon waarbij een subset van de redeneerstappen in een Engelse trace wordt vertaald naar de doeltaal. De onderliggende logica blijft de hoogwaardige Engelse redenering, maar de oppervlaktevorm verschuift geleidelijk.
Een metriek, Step-Level Language Consistency (SLC), wordt gedefinieerd om de proportie redeneerstappen uitgedrukt in de doeltaal ($L$) versus de niet-doeltaal ($\bar{L}$) te meten, waarbij taal-agnostische stappen (bijv. pure wiskundige expressies) worden uitgesloten.

2. Cold-Start Initialisatie

Om het model in staat te stellen code-switched traces te produceren zonder gedestilleerde doeltaal-data:

• De auteurs nemen Engelse redeneertraces en vertalen een vast deel (30% in experimenten) van de redeneerstappen naar de doeltaal.
• Deze code-switched voorbeelden worden gemengd met standaard Engelse Vraag-Antwoord data.
• Het basismodel ondergaat Supervised Fine-Tuning (SFT) op deze gecombineerde dataset. Deze "cold-start" rust het model uit met het initiële vermogen om van taal te wisselen binnen een redeneertraject.

3. Progressive Reinforcement Learning (RL)

Na de cold-start ondergaat het model RL-training met een curriculum learning aanpak:

• Reward Design: Het beloningssysteem bevat straffen voor herhaling en formaatfouten, een nauwkeurigheidsbeloning, en een Step-Level Language Consistency Reward.
• Curriculum Mechanisme: In plaats van onmiddellijk 100% output in de doeltaal te eisen, begint het systeem met een lage SLC-drempel ($\tau$).
  • De drempel $\tau$ wordt tijdens de training progressief verhoogd (bijv. van 10% naar 95%).
  • De beloning is alleen positief als de SLC(T, L) van het model voldoet aan de huidige drempel $\tau$.
  • Dit "easy-to-hard" schema voorkomt de instabiliteit en prestatievermindering die vaak optreedt bij het direct afdwingen van strikte taalrestricties.
• Stabiliteitsmaatregelen: Om te voorkomen dat het beleid (policy) te ver afwijkt van het referentiemodel (wat hoge KL-divergentie veroorzaakt), wordt het referentiemodel gereset naar de huidige policy telkens wanneer de KL-loss een drempel van 0.2 overschrijdt.

Belangrijkste Bijdragen

1. Efficiënt Transferframework: PCS elimineert de noodzaak voor gedestilleerde doeltaal-redeneertraces van sterkere modellen of externe beoordelingsmodellen, en vertrouwt in plaats daarvan op lichtgewicht vertaling van bestaande Engelse traces.
2. Progressief Curriculum: Door code-switching te behandelen als een overgangsfase en de ratio van de doeltaal progressief te verhogen via een curriculum, biedt PCS een vloeiend transferpad dat de instabiliteit van directe taalafdwinging vermijdt.
3. Step-Level Consistentie: In tegenstelling tot respons-niveau taalbeloningen die kunnen worden "gehackt" (bijv. door doeltaal-tokens in te voegen terwijl er in het Engels wordt geredeneerd), dwingt PCS consistentie af op het niveau van de stap, wat ervoor zorgt dat de redeneerlogica zelf wordt overgedragen.
4. Resource-efficiëntie: De methode vermijdt de latentie en computationele overhead van online beoordelingsmodellen die vereist zijn door andere cross-linguale alignment-methoden.

Experimentele Resultaten

De auteurs evalueerden PCS op de MMATH en MMLU-ProXmath benchmarks met behulp van Qwen3-4B en Qwen3-8B backbones over vijf typologisch diverse talen: Frans, Portugees, Japans, Koreaans en Thais.

• Primaire Metriek (SLC&Acc): PCS bereikte consequent de hoogste prestaties in de gecombineerde metriek van Step-Level Language Consistency en Nauwkeurigheid (SLC&Acc), waarbij een respons zowel correct moet zijn als $\ge 90\%$ stappen in de doeltaal moet hebben.
• Vergelijking met Baselines:
  • vs. Inference Control: PCS presteerde significant beter dan Prompt en Prefix Controle methoden, die ofwel faalden in het sturen van het redeneren of de nauwkeurigheid ernstig schaadden.
  • vs. SFT: PCS vermeed de repetitieve artefacten en prestatiedalingen die werden waargenomen bij SFT-baselines (met name in het Japans).
  • vs. RL Baselines: PCS presteerde beter dan Naive RL (die terugviel op Engels) en SoftLC RL (die respons-niveau beloningen gebruikte).
  • vs. M-Thinker: PCS behaalde vergelijkbare of superieure prestaties zonder afhankelijk te zijn van een sterker beoordelingsmodel. De auteurs merken op dat M-Thinker, dat een sterker model gebruikt voor cross-linguale alignment, gevoelig is voor "reward hacking", waarbij het model doeltaal-tokens invoegt om een detector te passeren terwijl de Engelse/Chinese redeneerlogica behouden blijft.
• Ablatie-studies: Het verwijderen van het curriculum (het gebruik van een dense reward voor SLC in plaats van een progressieve drempel) leidde tot een snelle stijging van de SLC, maar degradeerde de nauwkeurigheid, wat de noodzaak van een geleidelijk transferschema bevestigt.

Betekenis en Claims

Het artikel claimt dat PCS een stabiel en resource-efficiënt pad biedt voor multilinguale redeneertransfer. Door code-switching als brug te gebruiken, slaagt de methode erin de prestatiekloof tussen Engels en doeltaal-redeneren te verkleinen terwijl een concurrerende nauwkeurigheid behouden blijft.

De auteurs benadrukken dat hun aanpak:

• Reward Hacking voorkomt: De step-level consistentiebeperking voorkomt dat modellen respons-niveau taaldetectoren manipuleren.
• Stabiliteit garandeert: Het progressieve curriculum verzacht de trade-off tussen taalconsistentie en redeneernauwkeurigheid, die vaak wordt waargenomen wanneer modellen direct naar volledige doeltaal-redeneren worden geduwd.
• Generaliseert: De methode werkt effectief over diverse taalfamilies zonder dat specifieke taal-tuning of dure distillatiepipelines vereist zijn.

De studie concludeert dat effectieve multilinguale redeneertransfer een geleidelijke verschuiving van de redeneertaal vereist, en dat PCS een praktische, schaalbare oplossing biedt om dit te bereiken zonder de zware infrastructuurkosten van huidige state-of-the-art methoden.