💬 NLP

What Makes Good Multilingual Reasoning? Disentangling Reasoning Traces with Measurable Features

Deze paper weerlegt de aanname dat Engels-centrisch redeneren universeel effectief is voor meertalige modellen door te aantonen dat de relatie tussen redeneerfeatures en nauwkeurigheid per taal verschilt, wat wijst op de noodzaak van taaladaptieve objectieven in plaats van één standaard aanpak.

Oorspronkelijke auteurs: Dayeon Ki, Kevin Duh, Marine Carpuat

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dayeon Ki, Kevin Duh, Marine Carpuat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep slimme robotvrienden hebt die wiskundeproblemen oplossen. Deze robots zijn getraind om te "nadenken" voordat ze een antwoord geven. Ze schrijven hun gedachten op, stap voor stap, net als een mens die een moeilijke rekensom op een kladblaadje uitwerkt.

De onderzoekers van dit paper hebben een interessante vraag gesteld: Waarom zijn deze robots zo veel beter in het oplossen van problemen in het Engels dan in andere talen, zoals Nederlands, Swahili of Chinees?

Vaak denken mensen dat het antwoord simpel is: "Laat de robots gewoon in alle talen denken alsof ze Engels spreken." Maar deze paper zegt: "Wacht even, misschien is dat niet de juiste manier!"

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het probleem: De "Engelse Bril"

Stel je voor dat je een robot een probleem in het Frans geeft. De robot kijkt erdoorheen en denkt: "Ah, dit moet ik oplossen alsof ik Engels spreek!" Hij probeert zijn gedachten in het Frans te structureren, maar hij doet het precies zoals hij dat in het Engels zou doen.

De onderzoekers zeggen: Dat is misschien niet slim.
Net zoals een goede kok niet altijd dezelfde kruiden gebruikt voor een Italiaanse pasta en een Thaise curry, zouden robots misschien andere "denkstrategieën" moeten gebruiken afhankelijk van de taal. Wat in het Engels een slimme stap is, kan in het Swahili juist verwarrend of onnodig zijn.

2. De Oplossing: De "Denk-Checklist"

Om dit te onderzoeken, hebben de onderzoekers een lijstje gemaakt van 16 meetbare dingen die ze kunnen kijken in de gedachten van de robot. Ze noemen dit hun "meetbare kenmerken".

Stel je voor dat je een sportanalist bent die naar een voetbalwedstrijd kijkt. Je kijkt niet alleen naar wie er scoort (het antwoord), maar naar hoe ze spelen:

Hoeveel passen maakten ze? (Aantal stappen)
Was de pass logisch? (Validiteit)
Keek de speler even om zich heen om te checken of hij gelijk had? (Zelf-checken)
Hadden ze een plan voor de wedstrijd? (Plan maken)

De onderzoekers hebben deze lijst gebruikt om te kijken welke van deze "pasjes" en "strategieën" leiden tot een goed antwoord in verschillende talen.

3. De Verrassende Bevindingen

Wat ze ontdekten, was verrassend:

Niet alles werkt overal hetzelfde: Een strategie die in het Engels werkt als een gouden sleutel (bijvoorbeeld: "check je werk drie keer"), werkt in het Chinees misschien als een sleutel die vastzit. Soms helpt het om je werk te checken, maar in andere talen maakt het de robot alleen maar onzeker en vertraagt het het proces.
Structuur is belangrijker dan woorden: Het bleek dat de volgorde van de stappen (de structuur) vaak belangrijker is dan of de zinnen precies op elkaar lijken als je ze vertaalt. Het is alsof het belangrijk is dat je eerst de ingrediënten snijdt en dan kookt, niet of je dat in het Engels of het Nederlands zegt.
De "Engelse Bril" is soms een nadeel: Als je een robot dwingt om in het Frans te denken zoals hij in het Engels denkt, kan dat juist fouten veroorzaken. De robot probeert dan een "Engelse" structuur te forceren in een "Franse" wereld, wat niet altijd past.

4. De Experimenten: Het "Beste Antwoord" Kiezen

De onderzoekers lieten de robots 32 keer hetzelfde probleem oplossen. Daarna keken ze naar al die 32 versies van de gedachten en probeerden ze te voorspellen welke versie het juiste antwoord zou geven, puur op basis van hun checklist.

Resultaat: Als je kijkt naar robots die moeilijke problemen oplossen, werkt het beter om te zoeken naar versies waar de robot direct nuttige stappen maakt (bijvoorbeeld: "Ik ga deze formule nu gebruiken") dan versies die alleen maar proberen eruit te zien als een Engels tekstje.
De les: Je kunt de robot niet simpelweg zeggen: "Denk zoals een Engelsman." Je moet zeggen: "Denk op de manier die het beste werkt voor deze specifieke taal."

Conclusie: Pas je aan!

De grote boodschap van dit paper is: Stop met het dwingen van alle talen om op Engels te lijken.

Het is alsof je probeert om alle auto's op de wereld te laten rijden met links sturen, alleen omdat dat in Engeland zo is. In landen waar rechts gestuurd wordt, werkt dat niet.

Om onze slimme robots echt slim te maken in de hele wereld, moeten we:

Erkenning geven aan dat elke taal zijn eigen "denkpatroon" heeft.
Beloningen geven voor goede denkstappen, ongeacht of ze op Engels lijken of niet.
Toestaan dat robots in hun eigen taal denken op de manier die daar het meest logisch is.

Kortom: Goed redeneren ziet er in elke taal anders uit, en dat is helemaal niet erg!

Probleemstelling

Grote Redeneringsmodellen (Large Reasoning Models of LRMs) vertonen aanzienlijke prestatiekloven tussen het Engels en andere talen. Bestaande benaderingen om deze kloven te dichten, gaan vaak uit van de aanname dat redeneren in andere talen succesvol kan worden gemaakt door het te laten lijken op Engels redeneren (bijvoorbeeld door query's te vertalen of beloningen te geven voor traces die semantisch of structureel op Engels lijken).

De auteurs betwisten deze "Engels-gecentreerde" aanname. Ze stellen dat dit een broos uitgangspunt is, omdat modellen soms effectiever redeneren in hun oorspronkelijke taal en dat redeneertraces in andere talen (vooral voor taalkundig verre talen) unieke, maar even geldige paden kunnen volgen. Blind belonen voor Engels-achtig redeneren riskeert het onderdrukken van taalspecifieke gedragingen die juist nodig zijn voor correcte antwoorden. De centrale vraag is: Wat karakteriseert effectief redeneren in meertalige settings, en in hoeverre zijn Engelse afgeleide kenmerken universeel toepasbaar?

Methodologie

De studie analyseert redeneersporen (reasoning traces) van vier LRMs over twee wiskundige benchmarks (MGSM-Rev2 en AIME 2024-25) in 10 talen. De aanpak bestaat uit drie hoofdfasen:

Definitie van Meetbare Kenmerken:
De auteurs definiëren een suite van 16 meetbare kenmerken, onderverdeeld in drie dimensies (zie Tabel 1 in het paper):
- Meertalige Alignering (3 kenmerken): Hoe goed sluiten de non-Engelse query en trace aan bij het Engels? (o.a. vertaalkwaliteit via COMET-QE, structurele en semantische gelijkenis).
- Redeneerstap (5 kenmerken): Kwaliteit van individuele stappen, zoals logische consistentie (validity), nut (directe/indirecte utility) en informatiewaarde (V-Information).
- Redeneerstroom (8 kenmerken): Hogere cognitieve patronen zoals zelfcontrole, actieve berekening, plangeneratie, onzekerheidsmanagement en feitenretrieval. Deze worden geannoteerd met GPT-4O.
Feature Analyse (Logistische Regressie):
Voor elke taal en elk kenmerk wordt een univariate logistische regressie uitgevoerd om de associatie tussen de kenmerkwaarde en de uiteindelijke antwoordnauwkeurigheid ( $y \in \{0,1\}$ ) te kwantificeren. Dit levert een $\Delta Acc$ op: de verandering in voorspelde nauwkeurigheid bij een toename van het kenmerk. Ook wordt getest of deze associaties significant verschillen tussen Engels en non-Engels.
SAE Analyse (Sparse Autoencoders):
Om handmatige kenmerken te valideren en nieuwe patronen te ontdekken, worden Sparse Autoencoders (SAEs) getraind op de redeneersporen. Dit levert "latente concepten" op die interpreteerbaar worden gemaakt door GPT-4O. Deze concepten worden vergeleken met de handgemaakte kenmerken.
Test-Tijd Selectie (Inference-time Selection):
De auteurs testen of deze kenmerken gebruikt kunnen worden als selectiebeleid tijdens het genereren. Voor elke query worden 32 kandidaat-traces gegenereerd. Deze worden her-gesorteerd op basis van de waarde van een specifiek kenmerk, en de beste trace wordt geselecteerd. De prestatie (pass@1) wordt vergeleken met een willekeurige selectie.

Belangrijkste Resultaten

Variatie in Associatiekracht: Hoewel de meeste kenmerken positief geassocieerd zijn met nauwkeurigheid, varieert de sterkte van deze associatie aanzienlijk per taal. In sommige gevallen keren de effecten zelfs om (bijvoorbeeld: "zelfcontrole" verbetert de nauwkeurigheid in het Engels, maar verlaagt deze in het Swahili en Telugu).
Engels vs. Non-Engels:
- Op de eenvoudigere MGSM-Rev2 benchmark tonen Engelse traces nauwelijks correlatie met de gedefinieerde kenmerken (modellen lossen deze vaak op via "latente redenering" zonder expliciete traces). Non-Engelse traces tonen hier wel duidelijke patronen.
- Op de moeilijkere AIME benchmark is structurele gelijkenis met Engels soms een betere voorspeller dan semantische gelijkenis, vooral omdat de traces langer zijn.
SAE Validatie: De door SAE's ontdekte latente concepten bevestigen de handmatige bevindingen (bijv. onzekerheidsmanagement is vaak schadelijk) maar brengen ook nieuwe, fijner ingeschaalde patronen aan het licht, zoals het gebruik van ordinaals ("eerste", "tweede") in het Chinees of het vermijden van taalmixing.
Test-Tijd Selectie:
- Het selecteren op basis van semantische gelijkenis met Engels is concurrerend, maar niet universeel het beste.
- Alternatieve kenmerken, zoals directe nuttigheid (direct utility) en resultaatconsolidatie, leiden op de moeilijkere benchmarks (AIME) tot significante verbeteringen (tot +10% pass@1) ten opzichte van willekeurige selectie.
- Kenmerken met een negatieve associatie (zoals onzekerheidsmanagement) leiden bij selectie tot lagere nauwkeurigheid.

Bijdragen

Systematische Ontleding: De eerste studie die meertalige redeneersporen systematisch ontleedt in meetbare, interpreteerbare kenmerken en deze relateert aan nauwkeurigheid per taal.
Uitdaging van Aannames: Het paper weerlegt de aanname dat "goed redeneren" in alle talen identiek is aan Engels redeneren. Het toont aan dat taalspecifieke patronen bestaan en soms zelfs noodzakelijk zijn.
Nieuwe Methodologie: Een combinatie van handgemaakte feature-analyse, representation learning (SAE) en test-tijd selectie om de causaliteit en bruikbaarheid van redeneerpatronen te valideren.
Praktische Richtlijnen: Concreet bewijs dat het belonen van semantische gelijkenis met Engels niet altijd optimaal is voor meertalige modellen.

Significantie en Implicaties

De bevindingen hebben directe gevolgen voor het ontwerp van meertalige benchmarks en beloningsmodellen (reward models):

Benchmark Design: Vertalingen in benchmarks moeten zorgvuldig gebeuren (menselijke verificatie is cruciaal), en evaluatiemethoden moeten rekening houden met taalspecifieke redeneerpaden in plaats van alleen te kijken naar de eindnauwkeurigheid of Engels-achtige structuur.
Reward Model Design: Het is niet efficiënt om alleen te belonen voor semantische gelijkenis met Engels referentietraces. In plaats daarvan moeten adaptieve beloningsmechanismen worden ontwikkeld die taalspecifieke redeneerpatronen (zoals specifieke vormen van validatie of plangeneratie) erkennen en belonen.
Toekomstige Richting: De auteurs pleiten voor "adaptieve objectives" die dynamisch beslissen wanneer een model in de oorspronkelijke taal moet redeneren, wanneer vertaling nuttig is, en welke signaal-kenmerken prioriteit moeten krijgen per taal.

Kortom, dit paper beweert dat "goed redeneren" niet universeel is, maar context- en taalafhankelijk, en dat toekomstige LRMs dit moeten omarmen in plaats van te proberen alles naar het Engels te projecteren.