💬 NLP

Rethinking the Multilingual Reasoning Gap with Layer Swap

Dit artikel toont aan dat de prestatiekloof tussen redeneren in de moedertaal en redeneren met Engels als pivot in meertalige LLM's aanzienlijk kleiner is dan eerder werd gedacht bij gebruik van vergelijkbare supervisie, en stelt een "Layer Swap"-techniek voor die Engelse redeneercapaciteiten van middelste lagen overdraagt naar moedertaalspecialisten, waardoor de kloof effectief wordt gedicht terwijl de doeltaal voor chain-of-thought-generatie behouden blijft.

Oorspronkelijke auteurs: Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Engelse Tussenpersoon"

Stel je voor dat je een briljante, meertalige student (een AI) een complex wiskundeprobleem in het Frans stelt. Hoewel je in het Frans vraagt, begint de student instinctief in zijn hoofd na te denken: "Hmm, laat me dit oplossen..." in het Engels. Hij voert al het zware redeneringswerk uit in het Engels en schakelt pas terug naar het Frans voor het eindantwoord.

Dit noemen we Engels-georiënteerd redeneren. Het werkt goed, maar heeft nadelen:

Verloren in Vertaling: Als de student een kleine vertaalfout maakt tijdens het heen en weer schakelen, kan het eindantwoord verkeerd zijn.
Moeilijk te Begrijpen: Als je geen Engels spreekt, kun je niet zien hoe ze het probleem hebben opgelost, omdat hun "denkproces" (Chain-of-Thought) in een taal is die je niet kent.

Onderzoekers probeerden de student te dwingen volledig in het Frans te denken (Inheems Redeneren). Eerdere studies toonden echter aan dat de student hierdoor aanzienlijk slechter werd in het oplossen van problemen. Het was alsof je een meesterkok dwingt een Frans gerecht te bereiden met alleen Franse recepten, maar hij bleef de ingrediënten verkeerd doen omdat hij gewend was aan Engelse maten.

Het Nieuwe Experiment: Een Fairer Test

De auteurs van dit artikel wilden zien of de "Inheems Redeneren"-kloof echt was, of gewoon omdat de studenten niet genoeg getraind waren. Ze besloten een enorme, eerlijke experiment uit te voeren:

De Studenten: Ze namen een slimme basis-AI (Qwen3-8B) en trainden deze tot een specialist in zes talen: Engels, Frans, Duits, Spaans, Chinees en Swahili.
De Training: Ze gaven elke specialist een enorme hoeveelheid oefenmateriaal (ongeveer 10 miljard woorden) zodat iedereen een eerlijke kans kreeg.
De Vergelijking: Ze vergeleken twee groepen:
1. De Engelse Denkers: Deze studenten losten problemen op in het Engels maar gaven het antwoord in de lokale taal.
2. De Inheemse Denkers: Deze studenten losten en dachten volledig na in de lokale taal.

Het Verrassende Resultaat:
Toen iedereen dezelfde hoogwaardige training kreeg, kromp de kloof tussen de twee groepen dramatisch. De "Inheemse Denkers" waren bijna even goed als de "Engelse Denkers" (gemiddeld slechts 2–3% slechter). Dit suggereert dat AI, met genoeg oefening, in zijn moedertaal kan denken zonder zijn intelligentie te verliezen.

Het Geheime Ingrediënt: De "Laag-Verwisseling"

Hoewel de kloof klein was, waren de "Engelse Denkers" nog steeds iets beter in de moeilijkste wiskunde- en wetenschapsraadsels. De onderzoekers wilden weten: Waarom?

Ze keken in het "brein" van de AI (zijn neurale netwerklagen) en vonden een fascinerende structuur:

De Buitenste Lagen (Boven en Onder): Deze zijn als de oren en mond. Ze behandelen de specifieke taal (Frans horen, Frans spreken). Deze delen verschillen sterk tussen talen.
De Middenlagen: Deze zijn als het logisch centrum. De onderzoekers ontdekten dat wanneer de AI leert wiskunde- of wetenschapsproblemen op te lossen, het "logisch centrum" bijna identiek is, of de AI nu Frans, Chinees of Engels spreekt. Het is een universeel redeneermotor.

De Oplossing: De "Laag-Verwisseling"
Omdat het middelste "logische" deel van de Engelse specialist iets scherper was, voerden de onderzoekers een "operatie" uit. Ze namen de middenlagen van de Engelse specialist en wisselden deze in bij de Inheemse specialisten.

De Analogie: Stel je voor dat je een Franse kok hebt die geweldig kookt maar iets traag is in het snijden van groenten. Je neemt de "snijhanden" (de middenlagen) van een wereldklasse Engelse kok en plakt ze op de Franse kok.
Het Resultaat: De Franse kok kan nu net zo snel groenten snijden als de Engelse kok, maar hij spreekt nog steeds Frans en kookt Franse gerechten. De AI bleef in het Frans denken (het "denkproces" in de lokale taal behoudend) maar kreeg de redeneerkracht van het Engelse model.

Het Eindresultaat

Door deze "Laag-Verwisseling" te doen, sloten de onderzoekers 80–90% van de resterende prestatiekloof voor talen zoals Frans en Duits. Voor het Spaans sloten ze de kloof volledig. De AI kon nu:

In de taal van de gebruiker denken (wat het makkelijker maakt om te begrijpen).
Moeilijke problemen net zo goed oplossen alsof het in het Engels zou denken.

Samenvatting

Het artikel toont aan dat het idee dat "AI in het Engels moet denken om slim te zijn" vooral een trainingskwestie is, geen fundamentele limiet. Door AI goed te trainen en vervolgens de "slimste middenhersenen" van een Engels model in te wisselen, kunnen we AI creëren die perfect redeneert in elke taal, waarbij het denkproces transparant en toegankelijk blijft voor iedereen.

Technische Samenvatting: Het Meertalige Redeneringsgat Heroverwogen met Laagvervanging

Probleemstelling

Recente Large Language Models (LLMs) met redeneervermogen genereren voornamelijk Chain-of-Thought (CoT)-sporen in het Engels, zelfs wanneer ze worden geprompt in niet-Engelse talen. Dit regime van "Engels-gecentreerd redeneren" (waarbij het model in het Engels redeneert en in de invoertaal antwoordt) is de standaard voor open redeneermodellen. Hoewel het beperken van de CoT tot de invoertaal ("inheems redeneren") wenselijk is voor interpreteerbaarheid en culturele nuance, suggereren eerdere studies dat dit de prestaties aanzienlijk verslechtert.

Echter, eerdere metingen van dit "inheems redeneringsgat" vertrouwen vaak op interventies tijdens de inferentie of fine-tuning op beperkte datasets in de doeltaal, en sluiten niet aan bij de schaal van het post-training in het Engels. Het blijft onduidelijk of het gat blijft bestaan wanneer inheems redeneren wordt getraind onder strikt vergelijkbare, grootschalige supervisie.

Methodologie

Dataverzameling

De auteurs hebben een grootschalig meertalig redeneringsdataset samengesteld dat zes talen bestrijkt: Engels, Frans, Duits, Spaans, Chinees en Swahili.

Bron: De dataset is afgeleid van allenai/DolciThink-SFT-32B, een gedecontamineerd Engels post-training dataset dat wiskunde, code, wetenschap en algemene kennis bestrijkt.
Schaal: Ongeveer 500.000 samples per taal, met contextlengtes tot 32.768 tokens.
Vertaalproces: Om native corpora te creëren, werd de Engelse bron vertaald naar de vijf doeltalen met google/gemma-3-27b-it. Om degradatie bij lange context en verlies van redeneersporen te mitigeren, vertaalden de auteurs samples componentgewijs (vraag, redeneerspoor, antwoord) in chunks van ongeveer 2.000 tokens, gevolgd door rigoureuze filtering op lege outputs, compressie-anomalieën en lengte-afwijkingen.

Experimentele Opstelling

Basismodel: Alle modellen werden gefine-tuned vanaf Qwen/Qwen3-8B-Base.
Trainingsregimes: Voor elke niet-Engelse taal werden twee specialisten getraind op dezelfde vraag-antwoordparen met een gelijkgestelde tokenbegroting (~10–11 miljard tokens per taal):
1. Inheemse Specialist: CoT gegenereerd in de doeltaal.
2. Engels-gecentreerde Specialist: Vragen en antwoorden in de doeltaal, maar CoT gegenereerd in het Engels.
Infrastructuur: Training gebruikte gedistribueerde H100-nodes met DeepSpeed ZeRO-3, Ulysses-sequentieparallelisme en FlashAttention-3 om sequentielengtes van 32k te hanteren.
Benchmarks: Evaluatie omvatte vier domeinen: Wiskunde (MGSM-Rev2, AIME 24/25), Wetenschap (GPQA-Diamond), Algemene Kennis (Global-MMLU-Lite) en Code (HumanEvalPlus).

Techniek van Laagvervanging

De auteurs introduceerden een trainingsvrije methode genaamd Laagvervanging, geïnspireerd door eerdere werken over modelcompositie.

Gewichtsruimte-analyse: De auteurs analyseerden de fine-tuning-updates ( $\Delta\theta$ ) over de lagen. Zij vonden dat updates in de middenlagen (specifiek lagen 13–22) sterk op elkaar waren afgestemd over alle zes talen (hoge cosinusgelijkenis en lage SVD-variatie), wat wijst op een "taalagnostische redeneerkern". Daarentegen vertoonden vroege en late lagen taal-specifieke divergentie.
Mechanisme: De methode verplaatst de middenlagen (de "redeneerkern") van de Engelse specialist naar de inheemse specialist, terwijl de vroege en late lagen van de inheemse specialist behouden blijven (die taal-specifieke input/output verwerken).
Ablatie: Een ablatie van het lagenbereik op de Franse specialist bepaalde dat het vervangen van lagen 13–22 de redeneerprestaties maximaliseerde terwijl ~100% taalgetrouwheid werd behouden (d.w.z. de CoT bleef in het Frans). Voor Chinees was het optimale venster iets eerder (13–20) om terugkeer naar het Engels te voorkomen.

Belangrijkste Resultaten

Het Inheemse Redeneringsgat onder Gelijkgestelde Supervisie

In tegenstelling tot eerdere rapporten die grote gaten suggereren, vonden de auteurs dat onder strikt gelijkgestelde supervisie (zelfde datavolume, hetzelfde basismodel) het inheemse redeneringsgat aanzienlijk kleiner is:

Gemiddeld Gat: Het prestatiegat tussen inheemse en Engels-gecentreerde specialisten krimpt tot 1,9%–3,5% over de vijf niet-Engelse talen.
Verdeling: Het gat is geconcentreerd in complexe redeneringsbenchmarks (AIME 24/25), waar inheemse specialisten achterblijven met 5–12% afhankelijk van de taal. Op andere benchmarks (bijv. HumanEvalPlus) is het gat verwaarloosbaar.
Ressourceniveau: Talen met veel bronnen (Frans, Duits, Spaans, Chinees) vertonen gaten van 1,9–3,1%, terwijl het minder rijke Swahili een iets groter gat toont van 3,5%.

Effectiviteit van Laagvervanging

Het overdragen van de middenlagen van de Engelse specialist naar inheemse specialisten leverde aanzienlijke verbeteringen op terwijl de CoT in de doeltaal behouden bleef:

Gatdichting: De Laagvervanging dichte 83–89% van het inheemse redeneringsgat voor Frans en Duits, 60% voor Swahili en 27% voor Chinees. Voor Spaans kwam het vervangen model overeen met het plafond van de Engels-gecentreerde specialist.
Taalgetrouwheid: De vervangen modellen behielden ~100% getrouwheid, waarbij ze CoT in de doeltaal genereerden zonder terug te vallen op het Engels.
Benchmarks: De methode leidde op HumanEvalPlus over alle talen en op MGSM-Rev2 in de meeste gevallen. Het resterende prestatie-tekort zat voornamelijk in taakgericht redeneren (AIME, GPQA).

Ablatie van Invoerbegrip

De auteurs isoleerden het "begripsgat" door inheemse specialisten te evalueren op Engelse invoer versus native invoer.

Vinding: Inheemse specialisten scoorden hoger op Engelse invoer, ondanks dat ze tijdens SFT nooit Engels hadden gezien.
Oorzaak: Dit wordt toegeschreven aan onevenwichtigheden in de pretraining-data en het feit dat intermediaire representaties in Engels-gecentreerde basismodellen beter zijn afgestemd op Engelstalige ruimten voor talen met veel bronnen en Latijns schrift dan voor taalkundig verre of minder rijke talen (zoals Swahili).

Betekenis en Bijdragen

Het artikel claimt vier primaire bijdragen:

Datasetpublicatie: Een publiek beschikbaar corpus voor lange CoT-redenering over zes talen (inclusief Swahili en Chinees) met 32k context en CoT's in de doeltaal.
Gereguleerde Meting: Een grootschalige, strikt gecontroleerde meting van het gat tussen inheems en Engels-gecentreerd redeneren, die aantoont dat het gat veel kleiner is (1,9–3,5%) dan eerder gerapporteerd wanneer schalen van supervisie gelijkgesteld zijn.
Laagvervanging: Een trainingsvrije techniek die gebruikmaakt van de ontdekking van een taalagnostische redeneerkern in de middenlagen. Deze methode dichte het merendeel van het resterende gat terwijl het genereren van native CoT behouden blijft.
Analyse van Invoerbegrip: Een ablatie die aantoont dat het begrijpen van invoer een primaire bottleneck blijft voor niet-Engels redeneren, onderscheiden van het redeneerproces zelf.

Beperkingen

De auteurs merken enkele beperkingen op:

De studie is beperkt tot één modelfamilie (Qwen) en schaal (8B).
Het corpus vertrouwt op machinevertaling, wat artefacten kan introduceren.
De tokenisatie-efficiëntie varieerde per taal, wat betekent dat de "gelijkgestelde tokenbegroting" niet strikt gelijkstond aan een gelijkgestelde aantal voorbeelden voor alle talen.
Hyperparameter-sweeps voor het venster van Laagvervanging waren niet exhaustief.
De modellen werden uitsluitend getraind met Supervised Fine-Tuning (SFT) en omvatten geen Reinforcement Learning (RL) of preferentietuning.

De auteurs concluderen dat de "recept" voor Laagvervanging direct toepasbaar is op andere modelfamilies, aangezien de vereiste Engelse specialist vaak kant-en-klaar beschikbaar is, wat een praktische weg biedt naar hoogpresterend inheems redeneren zonder het hele model opnieuw te trainen.