Technische Samenvatting: LANG – Versterkend Leren voor Meertalig Redeneren met Taaladaptieve Hints als Leidraad

1. Probleemstelling

Hoewel Versterkend Leren met Verifieerbare Beloningen (RLVR) de meerstapsredenering in Grootte Taalmodellen (LLMs) voor het Engels succesvol heeft verbeterd, hebben deze voordelen zich niet volledig vertaald naar meertalige contexten. Huidige modellen staan voor een fundamentele afweging:

• Taalconsistentie versus Redeneerkwaliteit: Het expliciet beperken van modellen om in de invoertaal te redeneren leidt vaak tot aanzienlijke prestatiedalingen in niet-Engelse omgevingen, omdat de sterke redeneercapaciteiten van het model in het Engels niet betrouwbaar overdragen.
• Taaldrift: Wanneer taalbeperkingen worden versoepeld om de redeneerkwaliteit te behouden, neigen modellen vaak naar het Engels, wat de leesbaarheid en interpreteerbaarheid voor moedertaalsprekers vermindert.

Bestaande benaderingen, zoals op prompts gebaseerde beperkingen of het toevoegen van taalconsistentiebeloningen aan versterkend leren, kampen met beloningsverdunning. In meertalige scenario's, vooral voor talen met weinig bronnen, zijn trajecten die strikte taal- en juistheidsbeperkingen voldoen extreem schaars, wat effectieve exploratie tijdens het trainen belemmert.

2. Methodologie: LANG

De auteurs stellen LANG voor, een taaladaptief raamwerk voor versterkend leren met hints als leidraad, ontworpen om exploratie in niet-Engelse redeneertaken te stimuleren terwijl afhankelijkheid van externe hulpmiddelen wordt voorkomen. Het raamwerk bestaat uit twee kernmechanismen:

A. Geplande Meertalige Hint-Decay

LANG maakt gebruik van taalconditioneerde hints (gedeeltelijke redeneersporen van een leraar-model) om het student-model te begeleiden tijdens de vroege trainingsfase. Om het probleem van "hint-afhankelijkheid" (waarbij modellen niet autonoom kunnen redeneren zodra hints worden verwijderd) aan te pakken, hanteert LANG een cosine-afkoelingsdecay-schema.

• Mechanisme: Bij trainingsstap $t$ wordt een prefix van de hint $h$ in de prompt geïnjecteerd. De verhouding van de geïnjecteerde hint, $p_t^l$, volgt een cosinusschema dat begint bij 1,0 (volledige begeleiding) en soepel afneemt tot 0,0.
• Doel: Dit schakelt het model over van hints-geconditioneerde rollouts naar autonoom meertalig redeneren, waardoor de discrepantie tussen training en inferentie wordt verkleind.

B. Taaladaptieve Schakelaar

Omdat leermoeilijkheden per taal variëren, vermijdt LANG één enkel globaal schakelpunt voor het verwijderen van hints. In plaats daarvan categoriseert het talen in resourcegroepen (Hoog, Middel, Laag) en hanteert het een dynamische schakelstrategie.

• Mechanisme: Het systeem bewaakt een effectieve-update-rate ($\bar{u}_R(t)$), gedefinieerd als het fractie van instanties in een batch van een taalgroep die ten minste één traject opleveren met een positief voordeel.
• Schakelcriterium: Wanneer $\bar{u}_R(t)$ een drempel $\tau$ overschrijdt, wordt de hint-injectie voor die specifieke taalgroep uitgeschakeld.
• Voordeel: Talen met weinig bronnen behouden hints langer om beloningsverdunning te verlichten, terwijl talen met veel bronnen eerder overschakelen naar autonoom redeneren, waardoor het leertempo voor de specifieke moeilijkheidsgraad van elke taal wordt geoptimaliseerd.

C. Policy-Optimalisatie

Het raamwerk optimaliseert de policy met GRPO (Group Relative Policy Optimization). De beloningsfunctie is een conjunctie van drie criteria:

1. Taalconsistentie ($R_{lc}$): Het redeneerspoor en het eindantwoord moeten overeenkomen met de invoertaal.
2. Formaat ($R_{format}$): Correct gebruik van denk-tags en ingebouwde antwoorden.
3. Juistheid ($R_{acc}$): Het eindantwoord moet overeenkomen met de grondwaarheid.

3. Belangrijkste Bijdragen

• Nieuw Raamwerk: Introductie van LANG, dat gebruikmaakt van taalconditioneerde hints om exploratie in niet-Engelse redenering te stimuleren, waarmee het probleem van beloningsverdunning inherent aan meertalig RLVR wordt aangepakt.
• Afstemming Training-Inferentie: De ontwikkeling van een progressief hint-decay-schema en een taaladaptieve schakelaar die effectief de discrepantie tussen training en inferentie vermindert, zodat modellen op testmoment autonoom kunnen redeneren zonder afhankelijk te zijn van hints.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat LANG de prestaties van meertalig redeneren aanzienlijk verbetert zonder taalconsistentie te compromitteren, en dat het zowel prompt-gebaseerde als trainingsgebaseerde baselines overtreft.
• Generalisatie: Bewijs dat de methode generaliseert buiten wiskundig redeneren naar andere meertalige taken (bijv. MMLU-ProX, XWinograd) en taalconsistentie behoudt over verschillende modellagen.

4. Experimentele Resultaten

De auteurs hebben LANG geëvalueerd op twee uitdagende benchmarks: MMATH (10 talen) en PolyMath (18 talen), met behulp van Qwen2.5 (3B, 7B, 32B) en Llama3.1-8B modellen.

• Prestatiewinst: LANG presteerde aanzienlijk beter dan de sterkste baseline (LC-GRPO). Op de MMATH-benchmark verbeterde het de metric voor Taalconsistentie & Juistheid (LC&Acc) met gemiddeld 24,1% over de modellen. Op PolyMath werd een verbetering van 18,7% behaald.
• Talen met weinig bronnen: De winsten waren vooral uitgesproken voor talen met weinig bronnen. Bijvoorbeeld, met Qwen2.5-7B verbeterde LANG LC&Acc met 39,0% voor Thai (MMATH) en 24,6% voor Vietnamees (PolyMath) in vergelijking met mGRPO.
• Generalisatie buiten Verdeling: LANG toonde sterke generalisatie naar domein-buitenliggende talen en verschillende modelgroottes, met een consistente verbetering van LC&Acc ten opzichte van baselines.
• Lagenanalyse: Analyse van intermediaire verborgen staten onthulde dat LANG hoge taalconsistentie behoudt door de lagen van het model heen, waardoor het fenomeen van "cross-layer taalswitching" wordt voorkomen, waarbij modellen in het Engels redeneren en pas bij de output vertalen.

5. Betekenis en Claims

Het artikel claimt dat LANG een robuuste oplossing biedt voor de afweging tussen redeneernauwkeurigheid en taalconsistentie in meertalige LLM's. Door hints te gebruiken als tijdelijk steigerswerk dat progressief wordt verwijderd op basis van taalspecifieke trainingsvoortgang, stelt het raamwerk modellen in staat om meertalige redeneringspatronen te internaliseren.

De auteurs benadrukken dat hun aanpak leraar-agnostisch is (het presteert goed met hints van verschillende leraar-modellen) en vertaal-robust (winsten blijven stabiel ongeacht het vertaalmodel dat wordt gebruikt voor dataconstructie). Zij concluderen dat LANG effectief de kloof overbrugt tussen op Engels gerichte redeneercapaciteiten en de behoefte aan interpreteerbaarheid in de moedertaal, waardoor een consistentere taalafstemming over modellagen wordt bevorderd zonder prestaties te offeren.

Het werk erkent beperkingen, met name dat het momenteel afhankelijk is van één leraar-model (DeepSeek-R1) voor hintgeneratie en dat prestatieafwegingen tussen talen kunnen voortkomen uit onbalans in pre-training data, wat toekomstig werk in data-gerichte strategieën suggereert.