Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models

Probleemstelling: Cross-lingual Collapse

De auteurs identificeren een kritiek fenomeen bij het trainen van grote taalmodellen (LLMs) met Reinforcement Learning met Verifieerbare Beloningen (RLVR), specifiek met het Group-Relative Policy Optimization (GRPO) algoritme. Hoewel RLVR de redeneercapaciteiten van modellen aanzienlijk verbetert (vooral in wiskundige taken via lange "Chain-of-Thought" of CoT), leidt dit in meertalige contexten tot een ongewenst effect: Cross-lingual Collapse.

Dit fenomeen treedt op wanneer een model, ondanks een prompt in een doeltaal (bijv. Oekraïens, Koreaans of Thais), zijn redeneringsketen systematisch terugdraait naar de dominante voor-trainings taal (meestal Engels). Hoewel de taaknauwkeurigheid stijgt, daalt de taalfideliteit drastisch. De redenering "instort" naar Engels, zelfs als de gebruiker expliciet in een andere taal vraagt om te redeneren. Dit creëert een fundamenteel afwegingsprobleem (trade-off) tussen het maximaliseren van redeneerprestaties en het behoud van de integriteit van de doeltaal.

Methodologie

De studie is opgezet als een systematische analyse van dit fenomeen door middel van uitgebreide experimenten:

1. Modellen en Data:

   • Er zijn verschillende basismodellen getest, variërend van Engelsgedreven modellen (OLMo2-1B) tot meertalige modellen (Llama-3.2-3B, Qwen-2.5-1.5B).
   • De training vond plaats op vertaalde versies van de GSM8K (kleuterschool wiskunde) en SimpleRL-Zoo (zwaardere taken) datasets in vijf doeltaalgebieden: Chinees (ZH), Koreaans (KO), Oekraïens (UK), Thais (TH) en Japans (JA).
   • Het trainingsframework was GRPO, een RLVR-methode die bekend staat om het stimuleren van lange CoT-redeneringen zonder supervisie tussen de stappen.

2. Evaluatiemetrics:

   • Nauwkeurigheid (Accuracy): De prestatie op wiskundige taken.
   • Target Word Ratio (Target WR): Het percentage tokens in de output dat behoort tot de doeltaal.
   • English Word Ratio (EN WR): Het percentage Engelse tokens in de output.
   • De auteurs volgen deze metrics tijdens de training om de drift in taalgebruik te kwantificeren.

3. Interventies:
   Om de oorzaak en mogelijke oplossingen te onderzoeken, testten de auteurs drie strategieën:

   • Taalconsistentie-beloning: Een extra beloningssignaal toevoegen aan de GRPO-objctive die straalt voor het behoud van de doeltaal in de CoT.
   • Decoding-controles: Het beperken van de entropie tijdens het genereren (lagere temperatuur of top-p) om de kans op het "ontdekken" van Engelse paden te verkleinen.
   • Meertalige training: Het trainen met een mix van meerdere talen in plaats van alleen de doeltaal.

Belangrijkste Resultaten

De experimenten leverden drie kernbevindingen op:

1. Systematische Drift naar Engels:
   Onder RLVR-training migreert de CoT van modellen systematisch naar de dominante voor-trainings taal naarmate de redeneerprestaties stijgen.

   • Bij Engelsgedreven modellen (zoals OLMo) daalt de Target WR bijna tot 0% en stijgt de EN WR naar 80-97%, terwijl de nauwkeurigheid toeneemt.
   • Bij meertalige modellen (zoals Llama en Qwen) is het effect afhankelijk van de "resource-level" van de taal. Hoog-resource talen (Chinees, Japans) behouden hun taal, maar laag-resource talen (Thais, Oekraïens) vertonen een catastrofale instorting.

2. Oorzaken en Versterkers:

   • Taakmoeilijkheid: Zwaardere taken (bijv. SimpleRL-Zoo in plaats van alleen GSM8K) versnellen de instorting. Het model kiest sneller voor het "makkelijkere" Engelse redeneerpad om de beloning te maximaliseren.
   • Exploratie: Tijdens de rollout-generatie ontdekt het model dat Engelse paden vaak tot een correcter antwoord leiden. Omdat de beloning alleen gebaseerd is op het juiste antwoord (niet op de taal), wordt dit Engelse pad versterkt.
   • Entropie: Hoge entropie tijdens decoding (hoge temperatuur) verhoogt de kans op taalverwarring en instorting.

3. De Prestatie-Fideliteit Trade-off:
   Er bestaat een hardnekkige afweging tussen nauwkeurigheid en taalfideliteit:

   • Interventies die de taal behouden (zoals taal-beloning of lagere temperatuur) voorkomen de instorting, maar leiden tot een daling in nauwkeurigheid (vaak 5-12 procentpunten).
   • Dit suggereert dat het model strategisch Engels kiest om de prestaties te maximaliseren; het dwingen tot de doeltaal blokkeert dit "shortcut" en kost dus prestaties.
   • Dit fenomeen is niet beperkt tot wiskunde; het werd ook waargenomen bij algemene kennisvragen (MMLU-Lite).

Bijdragen

De paper biedt de volgende nieuwe inzichten:

• Formalisatie van het fenomeen: De auteurs definiëren en operationaliseren "Cross-lingual Collapse" als een meetbaar fenomeen waarbij nauwkeurigheid stijgt ten koste van taalconsistentie.
• Mechanistische analyse: Ze tonen aan dat dit niet slechts een bug is, maar een gevolg van de optimisatiedynamiek van RLVR in combinatie met Engelsgedreven voor-trainings priors.
• Evaluatie van mitigaties: Ze tonen aan dat er geen "one-size-fits-all" oplossing is. Bestaande methoden (zoals meertalige training of taal-beloningen) kunnen de instorting vertragen, maar lossen het fundamentele trade-off-probleem niet op.

Significantie en Toekomstperspectief

De bevindingen hebben grote implicaties voor de ontwikkeling van meertalige AI-systemen:

• Risico voor Lokalisatie: Het gebruik van geavanceerde RLVR-methoden voor redenering in lage-resource talen kan leiden tot modellen die effectief "Engels denken" ondanks een lokale interface, wat de bruikbaarheid voor lokale gebruikers en auditbaarheid ondermijnt.
• Noodzaak van Pre-training Diversiteit: De auteurs betogen dat het waarborgen van linguïstische diversiteit tijdens de pre-training essentieel is om dit probleem in de toekomst te voorkomen.
• Richting voor Onderzoek: De paper roept op tot het herontwerpen van exploratiemechanismen en het gebruik van constrained RL (zoals Lagrangian-methoden) om een Pareto-optimum te vinden tussen nauwkeurigheid en taalconsistentie, in plaats van te kiezen voor een van beide.

Kortom, de paper waarschuwt dat de huidige weg naar superieure redeneerprestaties via RLVR een onbedoeld risico inhoudt voor de linguïstische integriteit van meertalige modellen.