Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

Technische Samenvatting: Cross-linguale Zelfconsistentie voor Multilinguale Redenering met Taalmodellen

Probleemstelling

Ondanks de uitbreidende meertalige dekking van Large Language Models (LLM's), blijft hun geavanceerde redeneervermogen sterk geconcentreerd in hoog-resource talen, met name Engels en Chinees. Hoewel modellen basiszaken kunnen uitvoeren in veel talen, falen complexe redeneertaken (bijv. wiskundige woordproblemen) vaak wanneer ze worden uitgevoerd in de moedertaal van de query.

Bestaande oplossingen proberen deze kloof te overbruggen door:

1. Redeneren in het Engels: De bronquery vertalen naar het Engels, redeneren in het Engels, en het antwoord terugvertalen.
2. Supervised Fine-Tuning (SFT): Trainen op parallelle data (vertaalde vragen en redeneertrajecten).
3. Logit Manipulatie: Het output-distributie van het model dwingen om Engelse redeneerpatronen na te bootsen.

Deze benaderingen lijden aan aanzienlijke beperkingen: ze zijn afhankelijk van schaarse, hoogwaardige parallelle redeneerdata, leunen op de kwaliteit van machinevertaling (wat ruis introduceert) en falen vaak bij het generaliseren naar onbekende talen of domeinen. Bovsamen zijn strategieën die redeneren in het Engels afdwingen niet noodzakelijkerwijs effectief voor het verbeteren van het intrinsieke vermogen van het model om in de brontaal te redeneren.

Methodologie

De auteurs stellen een unsupervised Reinforcement Learning (RL) framework voor dat meertalige redenering verbetert door cross-linguale zelfconsistentie af te dwingen. Het kernprincipe is dat een model hetzelfde uiteindelijke antwoord moet produceren voor equivalente problemen die in verschillende talen worden gesteld, zelfs zonder toegang tot grondwaarheid-labels (ground-truth labels).

Belangrijke Componenten:

1. Unsupervised Signaal: De methode vereist alleen monolinguale vragen (specifiek Engels in de experimenten) voor training. Het vereist geen gouden antwoorden of bestaande parallelle redeneertrajecten.
2. Zelfvertaling: Om parallelle inputs te genereren, vertaalt het model zelf de Engelse trainingsvragen naar doeltalen. Hoewel dit ruisgevoelig is, is deze aanpak schaalbaar en voorkomt het het injecteren van externe kennis van externe vertaalmachines.
3. Beloningsfunctie (RL):
   • Het framework breidt monolinguale zelfconsistentie (die de entropie van de antwoorddistributie minimaliseert) uit naar een meertalige setting.
   • In plaats van de entropie binnen één taal te minimaliseren, minimaliseert de methode de cross-entropie tussen de antwoorddistributie van een specifieke taal ($\hat{p}_\pi$) en een doeldistributie ($\hat{q}_\pi$) afgeleid van andere talen.
   • Doeldistributie Strategieën: De auteurs verkennen drie manieren om $\hat{q}_\pi$ te definiëren:
     • Bron-taal: Equivalent aan standaard monolinguale zelfconsistentie.
     • Referentie-taal (Engels): Alle talen afstemmen op de Engelse distributie (fungeert als cross-linguale distillatie).
     • Gecombineerd: Het middelt de antwoorddistributies over alle talen. Deze variant wordt gebruikt als de primaire methode, waarbij direct wordt geoptimaliseerd voor consistentie over de gehele set talen.
4. Trainingsalgoritme: De auteurs maken gebruik van GRPO (Group Relative Policy Optimization) met de VeRL-backend. De beloning wordt berekend op basis van de consistentie van de uiteindelijke antwoorden over de gesamplede trajecten in verschillende talen.

Belangrijkste Bijdragen

• Nieuw Framework: De eerste unsupervised RL-benadering die meertalige redenering verbetert door expliciet cross-linguale zelfconsistentie af te dwingen zonder dat er parallelle data of grondwaarheid-labels nodig zijn.
• Schaalbaarheid: De methode is praktisch bruikbaar voor scenario's waar meertalige redeneerdata niet beschikbaar is, door gebruik te maken van de eigen vertaalcapaciteiten van het model om trainingssignalen te creëren.
• Generalisatie: De aanpak vertoont sterke generalisatie naar onbekende talen en Out-of-Distribution (OOD) domeinen, waarmee het tekort aan hoogwaardige meertalige redeneerdatasets aanpakt.

Experimentele Resultaten

De methode werd geëvalueerd op de MGSM benchmark (10 talen) en drie OOD-benchmarks (mGPQA, MMATH, PolyMath) met behulp van Qwen2.5-modellen (1.5B, 7B, 14B) en Llama3 (8B).

• Prestatiewinst:
  • Op MGSM behaalde de methode gemiddelde nauwkeurigheidsverbeteringen van 7,8% (1.5B), 15,1% (7B) en 21,7% (14B) ten opzichte van de originele modellen.
  • Winsten werden waargenomen in bijna alle talen, waarbij sommige low-resource talen (bijv. Russisch, Telugu) relatieve verbeteringen van meer dan 100% lieten zien.
  • De methode presteerde beter dan eerdere baselines, inclusclusief test-time scaling (S1) en DPO-gebaseerde methoden (LIDR), met name wat betreft token-efficiëntie. Hoewel S1 concurrerende resultaten behaalde, vereiste het ongeveer 3x meer tokens voor langere redeneertrajecten.
• Generalisatie:
  • Onbekende Talen: Wanneer getraind op een subset van talen, vertoonde het model een gemiddelde verbetering van 18,2% op onbekende talen binnen MGSM.
  • OOD Benchmarks: De methode leverde gemiddelde winsten op van 4,7% op mGPQA en 6,2% op MMATH, waarmee het LIDR versloeg, dat prestatieverslechtering veroorzaakte op OOD-taken.
• Consistentie: Analyse bevestigde dat de methode zowel de monolinguale als de cross-linguale zelfconsistentie aanzienlijk heeft verbeterd. Modellen getraind met deze methode bereikten een bijna piekprestatie met minder samples (Maj@8) vergeleken met baselines, wat wijst op een efficiënte optimalisatie van inference compute.
• Resource-niveaus: De methode verkleinde de prestatiekloof tussen Engels en andere talen aanzienlijk, vooral in de high- en medium-resource tiers, hoewel low-resource talen achterbleven vanwege de onderliggende modelbeperkingen.

Betekenis en Claims

Het artikel claimt dat consistentie-gebaseerde methoden een levensvatbaar pad bieden om de meertalige capaciteiten van LLM's te verbeteren zonder de buitensporige kosten van supervised data annotatie.

• Gelijkheid en Robuustheid: Door de prestatiekloof tussen high-resource en low-resource talen te verkleinen, bevordert de methode de gelijkheid en robuustheid van LLM's in verschillende linguïstische contexten.
• Intrinsieke Verbetering: In tegenstelling tot "vertaal-naar-Engels" strategieën die vertrouwen op Engels als proxy, verbetert deze methode het intrinsieke vermogen van het model om in de brontaal te redeneren.
• Praktische Bruikbaarheid: De afhankelijkheid van zelfvertaling en monolinguale data maakt de aanpak zeer schaalbaar en toepasbaar in domeinen waar meertalige redeneerdata niet bestaat.

De auteurs concluderen dat hoewel de methode leunt op huidige model-schalen (onder de 20B) en te maken heeft met beperkingen wat betreft de beschikbaarheid van low-resource benchmarks, het de weg vrijmaakt voor het opschalen van meertalige redeneerprestaties zonder extra data-annotatie. Toekomstig werk suggereert de exploratie van non-verifieerbare taken en grotere modelarchitecturen.