💬 NLP

Learning When to Translate for Multilingual Reasoning

Het artikel introduceert Luar, een Language Understanding Boundary-aware Reinforcement Learning-framework dat Reasoning Language Models in staat stelt om selectief Engelse vertaling aan te roepen alleen wanneer hun directe begrip van niet-Engelse inputs onbetrouwbaar is, waardoor de meertalige redeneerprestaties aanzienlijk worden verbeterd terwijl onnodige vertaling wordt vermeden.

Oorspronkelijke auteurs: Deokhyung Kang, Hyounghun Kim, Gary Geunbae Lee

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Deokhyung Kang, Hyounghun Kim, Gary Geunbae Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zelfverzekerde maar Onwetende" AI

Stel je voor dat je een briljante wiskundetutor hebt (de AI) die een genie is in het oplossen van problemen, maar alleen als de vragen in het Engels zijn geschreven. Als je hen een wiskundevraag stelt in het Swahili of Zulu, proberen ze het probleem nog steeds op te lossen. Soms hebben ze geluk en raden ze het juiste antwoord. Maar vaak begrijpen ze de vraag totaal niet.

Het enge deel? Zelfs als ze in de war zijn, geven ze dat niet toe. Ze kunnen zeggen: "Ik weet niet zeker wat dit woord betekent," in hun interne denkproces (de "reasoning trace"), maar vervolgens schrijven ze vol vertrouwen een definitief antwoord op dat volkomen fout is. Het is als een student die de vraag niet begrijpt, maar toch een antwoord opschrijft om slim te lijken.

De Oude Oplossingen (en waarom ze faalden)

Onderzoekers probeerden twee belangrijke manieren om dit op te lossen:

De AI meer talen leren: Dit is alsof je de tutor probeert elke taal ter wereld te leren. Dit is duur, traag, en de tutor heeft nog steeds moeite met zeldzame of "low-resource" talen.
Alles vertalen: Dit is alsof je voor elke vraag een vertaler inhuurt, zelfs voor de makkelijke vragen in het Engels. Het werkt, maar het is een verspilling van tijd en geld omdat de tutor Engels al perfect beheerst.

De Nieuwe Oplossing: LUAR (De "Slimme Schakelaar")

De auteurs creëerden een nieuw systeem genaamd LUAR. Zie LUAR als het trainen van de AI om een slimme schakelaar te worden die precies weet wanneer hij de "Vertaling"-knop moet indrukken.

In plaats van de AI te dwingen om elke taal te leren of alles te vertalen, leert LUAR de AI om zichzelf af te vragen: "Begrijp ik deze vraag goed genoeg om hem zelf op te lossen, of heb ik een vertaler nodig?"

Zo hebben ze het getraind, met een tweestaps "gym"-routine:

Stap 1: De Opwarming (Supervised Fine-Tuning)

Eerst lieten ze de AI voorbeelden van problemen zien.

Als de AI een Engels probleem correct oploste, zeiden ze: "Goed gedaan, ga zo door."
Als de AI moeite had met een Swahili-probleem, maar het perfect oploste na een vertaling, zeiden ze: "Geweldig! De volgende keer dat je zoiets ziet, roep je de vertaler erbij."
Het Doel: De AI simpelweg comfortabel te maken met het idee om een vertaler op te roepen wanneer hij vastloopt.

Stap 2: Het Echte Spel (Reinforcement Learning)

Dit is waar de magie gebeurt. De AI speelt een spel waarbij hij punten krijgt op basis van twee dingen:

Heb je het juiste antwoord gegeven? (Het belangrijkste).
Heb je de vertaler verstandig gebruikt?

De Bonus: Als de AI het antwoord goed heeft én de vertaler heeft opgeroepen voor een moeilijke taal (waar hij normaal gesproken zou falen), krijgt hij een bonuspunt.
De Straf: Als de AI het antwoord goed heeft, maar de vertaler heeft opgeroepen voor een makkelijke Engelse vraag (waar hij geen hulp bij nodig had), verliest hij een paar punten.
De Nul: Als het antwoord fout is, krijgt hij nul punten, ongeacht wat hij deed.

Na verloop van tijd leert de AI een simpele regel: "Roep de vertaler alleen op als ik er echt niet uitkom. Als ik het zelf kan afhandelen, bespaar dan de tijd."

Wat is er Gebeurd?

De resultaten waren indrukwekkend, vooral voor talen die de AI nog nooit eerder had gezien (zoals Yoruba en Zulu).

Precisie: De AI leerde te stoppen met het vertalen van makkelijke Engelse vragen. Dit bespaarde tijd en middelen.
Kracht: Wanneer de AI daadwerkelijk een moeilijke taal tegenkwam, riep hij de vertaler erbij, en de nauwkeurigheid schoot omhoog.
Generalisatie: Hoewel ze de AI alleen trainden op een paar talen (Arabisch, Thais, Swahili), leerde de AI het concept van "wanneer te vertalen". Dus toen ze hem testten op totaal nieuwe talen (Yoruba, Zulu), wist hij automatisch de vertaler op te roepen.

De Kernboodschap

Het paper laat zien dat we onze AI niet hoeven te veranderen in een polyglot (iemand die veel talen spreekt). In plaats daarvan kunnen we hem leren eerlijk te zijn over zijn beperkingen.

Door de AI een "vertaaltool" te geven en hem te leren wanneer hij die tool moet gebruiken, krijgen we het beste van beide werelden: de snelheid van directe redenering voor eenvoudige taken en de nauwkeurigheid van vertaling voor moeilijke taken. Het is als het aanleren aan een bestuurder om te weten wanneer hij moet overschakelen van rijden op een zonnige snelweg naar het gebruik van sneeuwbanden tijdens een sneeuwstorm, in plaats van hem om de hele tijd sneeuwbanden te laten gebruiken.

Technische Samenvatting: LUAR – Leren wanneer te vertalen voor meertalig redeneren

Probleemstelling

Redeneermodellen voor taal (Reasoning Language Models, RLMs) hebben sterke capaciteiten getoond op complexe redeneertaken door tussenliggende redeneersporen te genereren. Ze vertonen echter aanzienlijke prestatiekloven in meertalige omgevingen, met name voor talen met weinig middelen (low-resource languages). Recente studies wijzen erop dat deze kloven vaak niet worden veroorzaakt door een gebrek aan redeneervermogen, maar door tekortkomingen in het taalbegrip bij het verwerken van niet-Engelse inputs.

Hoewel het vertalen van niet-Engelse inputs naar het Engels deze tekortkomingen in begrip kan verzachten, is het ondoelmatig en onnodig om elke query willekeurig te vertalen, aangezien RLMs vaak betrouwbaar kunnen redeneren vanuit de oorspronkelijke taal. De kernuitdaging is om RLMs in staat te stellen om selectief vertaling aan te roepen alleen wanneer hun directe begrip van de input onbetrouwbaar is, zonder te vertrouwen op externe detectoren die latentie introduceren of te vereisen dat het model taalbegrip vanaf nul opnieuw leert.

Methodologie: LUAR-framework

De auteurs stellen LUAR voor (Language Understanding Boundary-aware Reinforcement Learning), een tweefasig trainingsframework dat RLMs leert hun eigen grenzen van taalbegrip te herkennen en alleen dan een externe vertaler aan te roepen wanneer dat nodig is.

1. Uitkomstgebaseerde grensbepaling

LUAR definieert een query als buiten de taalbegripsgrens van het model te vallen als toegang tot een Engelse vertaling het vermogen van het model om deze op te lossen substantieel verbetert. Dit wordt empirisch geschat door:

Het samplen van $N/2$ responsen via direct redeneren (oorspronkelijke taal).
Het samplen van $N/2$ responsen via vertaler-geaugmenteerd redeneren (het toevoegen van een referentie-Engelse vertaling aan het spoor).
Het berekenen van de correctheidsfracties $d_{acc}(q)$ en $t_{acc}(q)$ .
Het toekennen van een vertaalbruikbaarheid-label $u(q) = 1$ als $t_{acc}(q) \ge d_{acc}(q) + \delta$ (waarbij $\delta=0.5$ ), wat aangeeft dat vertaling nuttig is.

2. Tweefasige trainingsprocedure

Fase I: Translator-Call Supervised Fine-Tuning (SFT)

Doel: Het actieruimte van het model opwarmen om vertaler-aanroepen te bevatten.
Proces: Het model wordt fijngetuned op correcte responsen gesampled uit ofwel directe ofwel vertaler-geaugmenteerde modi.
Selectieregel: Een "zachte" regel wordt gebruikt om de trainingsdoelmodus ( $m(q)$ ) te selecteren: als $t_{acc}(q) > d_{acc}(q)$ , wordt het model getraind op een vertaler-geaugmenteerd spoor; anders op een direct spoor. Dit stelt het model bloot aan beide redeneerpaden zonder nog een strikte grens af te dwingen.

Fase II: Boundary-Aware Online Reinforcement Learning (GRPO)

Doel: Het optimaliseren van de beslissing wanneer de vertaler wordt aangeroepen.
Proces: Het model wordt getraind met Group Relative Policy Optimization (GRPO).
Beloningsfunctie: Een grens-bewuste beloning $r(q, y_i)$ $r (q, y_{i})$ wordt gedefinieerd om zowel de taakcorrectheid als de vertaler-aanroepbeslissingen gezamenlijk te scoren:
- Correct + Nuttige aanroep ( $u(q)=1$ ): Beloning $1 + \gamma$ (Bonus).
- Correct + Geen aanroep: Beloning $1$ (Basis).
- Correct + Onnodige aanroep ( $u(q)=0$ ): Beloning $1 - \gamma$ (Straf).
- Incorrect/Ongeldig: Beloning $0$.
Dit moedigt het model aan om de vertaler alleen aan te roepen wanneer dit empirisch leidt tot een hogere waarschijnlijkheid van een correct antwoord, terwijl aanroepen worden vermeden wanneer direct redeneren volstaat.

Belangrijkste Bijdragen

Een nieuw perspectief op meertalig redeneren: Het artikel herformuleert de kloven in meertalig redeneren als kwesties van grenzen in taalbegrip, waarbij wordt voorgesteld dat RLMs moeten leren detecteren wanneer ze buiten deze grenzen vallen, in plaats van simpelweg het algemene meertalige begrip te verbeteren.
LUAR-framework: De introductie van een tweefasige trainingspipeline (SFT + Boundary-Aware GRPO) die de beslissing om vertaling aan te roepen direct binnen het redeneerspoor internaliseert, waardoor de noodzaak voor aparte externe detectoren wordt geëlimineerd.
Selectief vertaalbeleid: Het demonstreren dat RLMs een beleid kunnen leren dat vertaler-aanroepen concentreert op talen met weinig middelen waar direct redeneren faalt, terwijl direct redeneren behouden blijft voor talen met veel middelen en ongeziene talen met weinig middelen.

Experimentele Resultaten

Het framework werd geëvalueerd op Qwen3-4B en Qwen3-8B over PolyMath (wiskundig redeneren) en MMLU-ProX-Lite (STEM-redeneren) benchmarks die 10 typologisch diverse talen dekken.

Prestatiewinsten: LUAR presteerde beter dan standaard GRPO, prompt-gebaseerde methoden (Self-Assessment, Native Tool Use), externe detector-gebaseerde methoden (Selective Translation) en andere training-gebaseerde baselines (Boundary-SFT, Q-ALIGN, TAPO).
- Op Qwen3-4B bereikte LUAR een gemiddelde nauwkeurigheid van 54,39% (waarbij slechts 20,3% van de voorbeelden vertaald werd), wat aanzienlijk beter is dan het basismodel (44,93%) en de volledige vertaling-baseline (55,39% met 100% vertalingskosten).
- Op Qwen3-8B bereikte LUAR een gemiddelde nauwkeurigheid van 70,46%.
Modusselectie: LUAR behaalde de hoogste mode-selection macro-F1, wat aangeeft dat het correct identificeerde wanneer vertaling nuttig was.
Generalisatie: Het model generaliseerde succesvol naar ongeziene talen met weinig middelen (Yoruba, Zulu), waarbij de nauwkeurigheid op deze talen aanzienlijk werd verbeterd (bijv. 56,27% op Yoruba en 87,20% op Zulu voor Qwen3-4B) waar direct redeneren het zwakst was.
Efficiëntie: LUAR vertoonde een lagere inferentie-latentie (9,32s) vergeleken met het basismodel (11,77s) en externe selectieve vertaling (14,09s), dankzij kortere redeneersporen wanneer vertaling wordt vermeden.

Betekenis en Claims

Het artikel claimt dat LUAR een selectieve benadering biedt voor meertalig redeneren, waardoor RLMs kunnen leren om vertaling alleen aan te roepen wanneer hun directe begrip onbetrouwbaar is. Deze aanpak:

Overbrugt de kloof tussen de prestaties van talen met veel middelen en talen met weinig middelen zonder dat er enorme hoeveelheden trainingsdata in de doeltaal nodig zijn.
Vermijdt onnodige overhead door niet de inputs te vertalen die het model al begrijpt.
Generaliseert effectief naar ongeziene talen, wat suggereert dat het geleerde beleid een robuust signaal van de grenzen van taalbegrip opvangt in plaats van te overfitten op specifieke talen uit de training.

De auteurs concluderen dat het behandelen van taalbegrip als een randvoorwaarde die gedetecteerd en opgevolgd kan worden via toolgebruik (vertaling), een veelbelovende richting is voor het bouwen van robuuste meertalige redeneermodellen. Ze merken beperkingen op met betrekking tot de diversiteit van de gedekte taalfamilies en de reikwijdte van de taken (momenteel gericht op wiskunde en STEM), en suggereren dat toekomstig werk dit boundary-aware beleid naar bredere redeneertaken kan uitbreiden.