💬 NLP

On-Policy Delta Distillation for Multilingual Math Reasoning

Dit artikel toont aan dat On-Policy Delta Distillation (OPD $^2$ ), die gebruikmaakt van het waarschijnlijkheidsverschil tussen een post-getrainde docent en het basismodel, het meertalige wiskundige redeneren in het Koreaans en Japans aanzienlijk verbetert en de prestatiekloof verkleint, hoewel het de noodzaak van meertalige data onderstreept om Engels-gecentreerde verschuivingen in de respons te voorkomen.

Oorspronkelijke auteurs: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Gepubliceerd 2026-08-07

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers lijken op briljante, meertalige studenten die elk boek in de bibliotheek hebben gelezen, maar nog steeds worstelen met een lastig wiskundig probleem. Om hen slimmer te maken, gebruiken wetenschappers een techniek genaamd "training", wat een beetje is als een coach die een student begeleidt tijdens oefenopdrachten. Lange tijd was de beste manier om deze AI-studenten te trainen Reinforcement Learning (RL), een methode waarbij de computer pas aan het einde van zijn antwoord één enkel cijfer krijgt—zoals een "A" of een "F" voor een heel essay zonder te weten welke specifieke zinnen goed of slecht waren. Echter, een nieuwere, efficiëntere methode genaamd On-Policy Distillation (OPD) is opgekomen. In plaats van te wachten op een eindcijfer, fungeert OPD als een meesterleraar die het antwoord van de student woord voor woord leest, terwijl hij correcties en suggesties fluistert terwijl de student schrijft. Deze "token-level" feedback is veel nauwkeuriger. Maar hier zit de adder onder het gras: het grootste deel van dit onderzoek is alleen in het Engels uitgevoerd. We wisten niet of deze "fluisterende leraar"-techniek net zo goed werkte voor studenten die Koreaans, Japans of andere talen spreken, of dat het kon helpen om de kloof te overbruggen tussen hoe goed de AI Engels spreekt versus hoe goed hij andere talen spreekt.

Dit artikel duikt in exact die vraag door een supergeladen versie van de techniek, genaamd On-Policy Delta Distillation (OPD²), te testen op wiskundig redeneren in het Engels, Koreaans en Japans. De onderzoekers ontdekten dat deze nieuwe methode een gamechanger is. Net zoals een meesterkok een recept kan aanleren aan een student in elke taal, hielp OPD² de AI-modellen om wiskundige problemen aanzienlijk beter op te lossen, met met name enorme sprongen in het Koreaans en Japans. De studie suggereert dat deze methode zelfs beter is dan de originele versie omdat het zich richt op de "delta"—het specifieke verschil tussen wat de leraar weet en wat het basismodel van de student al weet—waardoor de nieuw aangeleerde redeneervaardigheden effectief worden geïsoleerd.

Echter, het artikel onthulde ook een fascinerend, enigszins verraderlijk bijeffect. Toen de onderzoekers probeerden de AI te onderwijzen met alleen Engelse wiskundeproblemen, werd het model verrassend genoeg ook beter in het oplossen van Koreaanse en Japanse wiskundeproblemen. Het was alsof de student de logica van de wiskunde in het Engels leerde en deze kon toepassen op andere talen. Maar er was een twist: hoewel de antwoorden correct waren, begon het model vaak zijn uitleg in het Engels te schrijven, zelfs wanneer de vraag in het Koreaans of Japans werd gesteld. Dit suggereert dat hoewel de "redeneerspier" in één taal getraind kan worden en naar een andere taal kan worden overgedragen, het behouden van de "stem" van het antwoord in de doeltaal vereist dat er geoefend wordt met data in die specifieke taal.

De Kernontdekking: Een Betere Fluisterende Leraar

De onderzoekers wilden zien of OPD² (de geavanceerde versie van de fluisterende leraar) de originele OPD kon overtreffen bij het omgaan met meerdere talen. Ze gebruikten een familie van AI-modellen genaamd Qwen3 (specifiek de 1.7B en 8B versies) en een enorm leraarmodel om hen te begeleiden. De resultaten waren duidelijk en consistent: OPD² presteerde consequent beter dan de originele OPD op alle fronten.

Denk er zo over na: Als de originele OPD een goede bijlesleraar was, dan was OPD² een genie dat precies wist wat de student miste. In de experimenten was dit verschil enorm voor niet-Engelse talen. Voor het kleinere model (Qwen3-1.7B) verbeterde OPD² de Koreaanse wiskundescore van 40.9 naar 51.9, en de Japanse score van 37.2 naar 52.0. De originele OPD hielp wel, maar OPD² tilde die cijfers nog hoger. Voor het grotere, intelligentere model (Qwen3-8B) waren de verbeteringen even sterk, waarbij het Koreaans sprong van 57.0 naar 64.4 en het Japans van 57.1 naar 65.0.

Het artikel betoogt expliciet dat dit niet alleen gaat over het kopiëren van de stijl van de leraar. Door het gebruik van het "delta-signaal" (het gat tussen de leraar en de eigen basisversie van de leraar), slaagde OPD² erin de redeneervaardigheden over te dragen aan de student, in plaats van alleen de algemene output van de leraar na te bootsen. Dit suggereert dat de methode robuust is en goed werkt, ongeacht de taal of de grootte van het model.

De Taal Kloof Overbruggen

Een van de grootste doelen van dit onderzoek was om te zien of deze trainingsmethoden de prestatiekloof tussen het Engels en andere talen konden verkleinen. Vaak zijn AI-modellen veel beter in het Engels dan in het Koreaans of Japans. Het artikel vond dat meertalige OPD² over het algemeen hielp om deze kloof te verkleinen.

Bij een gedetailleerde blik op de "Engels-Koreaanse nauwkeurigheidskloof" zagen de onderzoekers dat hoewel het basismodel de voorkeur gaf aan het Engels met een ruime marge (soms met meer dan 13 punten op bepaalde tests), de OPD-training deze discrepantie verminderde. Bijvoorbeeld, op de Global-MGSM benchmark kromp de kloof van 13.4 punten naar 8.6 punten met standaard OPD, en verder naar 9.3 punten met OPD². Op de HRM8K benchmark daalde de kloof van 12.1 naar 9.2 punten.

Het artikel suggereert dat dit gebeurt omdat de meertalige training de niet-Engelse talen meer ten goede komt dan de Engelse taal, waardoor de zwakkere presteerders effectief worden opgetild zonder de sterke partijen omlaag te trekken. De auteurs merken echter voorzichtig op dat dit effect niet perfect uniform was over elke enkele test; op sommige specifieke benchmarks zoals M-MMLU werd de kloof zelfs iets groter. Dus hoewel de trend positief is, is het geen toverstaf die elk enkelvoudig metriek direct oplost.

De "Alleen Engels" Verrassing en de Taalvalstrik

Misschien wel de meest verrassende bevinding in het artikel is wat er gebeurde toen de onderzoekers de modellen trainden met alleen Engelse data. Je zou kunnen denken dat als je een student alleen Engelse wiskunde leert, hij zou falen bij Koreaanse wiskunde. Maar het artikel vond dat alleen Engelse OPD² de Koreaanse en Japanse scores aanzienlijk verbeterde.

In de "niet-denkende modus" verhoogde de alleen Engelse training het Koreaanse gemiddelde van 40.9 naar 52.6 en het Japanse gemiddelde van 37.2 naar 53.4. Deze cijfers waren bijna net zo goed als de meertalige trainingsscores (die 51.9 voor Koreaans en 52.0 voor Japans waren). Dit suggereert dat de logica van wiskundig redeneren zo universeel is dat deze in het Engels geleerd kan worden en vervolgens toegepast kan worden op Koreaanse of Japanse problemen, zelfs als het model tijdens de training geen enkel Koreaans wiskundeprobleem heeft gezien.

Er is echter een grote adder onder het gras. Het artikel sluit expliciet de gedachte uit dat dit betekent dat het model de taal echt onder de knie heeft. Toen de onderzoekers controleerden welke taal het model daadwerkelijk sprak in zijn antwoorden, waren de resultaten onomwonden.

Meertalige Training: Wanneer getraind op gemengde talen, antwoordde het model 90.5% van de tijd in het Koreaans (in de niet-denkende modus) en in het Japans 90.9% van de tijd.
Alleen Engelse Training: Wanneer alleen in het Engels getraind, daalde de "Koreaanse" output van het model naar 48.3% (wat betekent dat het de helft van de tijd in het Engels antwoordde), en de "Japanse" output kelderde naar 29.6%.

Zelfs in de "denkende modus" (waarbij het model een verborgen redeneerstap uitvoert voordat het antwoord geeft), hield de trend stand. Het alleen Engelse model loste de wiskunde correct op, maar schreef het uiteindelijke antwoord vaak in het Engels, waarbij het de regel negeerde dat de vraag in het Koreaans of Japans was gesteld. Het artikel concludeert dat hoewel training in alleen het Engels de capaciteit om te redeneren kan overdragen, het faalt in het behouden van de gewoonte om in de doeltaal te reageren. Om het model de taal te laten spreken die je wilt, moet je het voeden met data in die taal.

Samenvatting van de Bevindingen

Het artikel toont aan dat OPD² een superieure methode is voor het onderwijzen van AI-wiskundig redeneren over verschillende talen heen, en consequent de originele OPD overtreft. Het slaagt erin de prestatiekloof tussen het Engels en talen als Koreaans en Japans te verkleinen, wat suggereert dat meertalige post-training een levensvatbare weg is naar meer gebalanceerde AI. De studie trekt echter ook een duidelijke lijn tussen "redeneervermogen" en "taalgeneratie". Hoewel redeneervaardigheden in één taal geleerd kunnen worden en naar een andere taal kunnen worden overgedragen, zal het model van nature naar het Engels neigen, tenzij het expliciet getraind wordt met data in de doeltaal. De auteurs suggereren dat toekomstig onderzoek zich moet richten op het evalueren van zowel de nauwkeurigheid van het antwoord als de taal van de respons om de meertalige AI-capaciteiten werkelijk te begrijpen.

Technische Samenvatting: On-Policy Delta Distillatie voor Multilinguale Wiskundige Redenering

Probleemstelling

Hoewel On-Policy Distillatie (OPD) een veelbelovend en efficiënt alternatief is geworden voor Reinforcement Learning (RL) bij de post-training van Large Language Models (LLM's), blijft de effectiviteit ervan in meertalige omgevingen onderbelicht. Bestaand onderzoek heeft zich primair gericht op Engelse redeneerbenchmarks. Bovendien is de specifieke prestatie van OPD en de geavanceerde variant, On-Policy Delta Distillatie (OPD2), op Oost-Aziatische talen (specifiek Koreaans en Japans) grotendeels ononderzocht. Er is een kritieke behoefte om te begrijpen of deze distillatiemethoden redeneervermogens effectief kunnen overdragen over talen heen en of ze de prestatieverschillen kunnen mitigeren die vaak worden waargenomen tussen Engelse en niet-Engelse redeneertaken.

Methodologie

De studie evalueert OPD en OPD2 met behulp van de Qwen3-modelfamilie (1.7B, 8B en 30B-A3B) voor wiskundige redeneertaken in het Engels, Koreaans en Japans.

Kernmechanismen

On-Policy Distillatie (OPD): In tegenstelling tot RL, dat gebruikmaakt van sequentie-niveau beloningen, gebruikt OPD token-niveau supervisie. Een studentmodel ( $\pi_\theta$ ) genereert een respons, die wordt ingevoerd in een docentmodel ( $\pi^*$ ) om token-niveau waarschijnlijkheden te verkrijgen. Het studentmodel wordt getraind om de KL-divergentie tussen zijn outputdistributie en die van de docent te minimaliseren, waarbij de voorkeur van de docent effectief als beloningssignaal wordt gebruikt.
On-Policy Delta Distillatie (OPD2): Deze variant verbetert OPD door het leersignaal te wijzigen. In plaats van de student te vergelijken met de docent, berekent OPD2 de "delta" tussen de docent ( $\pi^*$ ) en de bijbehorende basismodel van de docent ( $\pi^*_{base}$ ). De beloning wordt gedefinieerd als het log-waarschijnlijkheidsverschil: $\log \pi^*(y_t | \dots) - \log \pi^*_{base}(y_t | \dots)$ . Dit isoleert de vaardigheden die tijdens de post-training zijn verworven (redeneren) van algemene voorkeuren of stilistische patronen die inherent zijn aan het basismodel. OPD2 incorporeert ook reward centering en een conditioneringscriterium om convergentieproblemen op te lossen.

Experimentele Opzet

Datasets: Een meertalige trainingsset van 100K problemen (verhouding 1:1:1 voor Engels, Koreaans, Japans) werd geconstrueerd uit Nemotron-SFT-Multilingual-v2 en Nemotron-Math-v2. Er werd ook een aparte Engelstalige trainingsset van 100K problemen gemaakt.
Modellen: Qwen3-1.7B en Qwen3-8B dienden als studenten; Qwen3-30B-A3B-2507 fungeerde als docent.
Evaluatie: Modellen werden getest in zowel "thinking" (Chain-of-Thought) als "non-thinking" modi op benchmarks inclusief PolyMath, Global-MGSM, HRM8K en MAWPS.
Metrieken: Prestaties werden gemeten via nauwkeurigheid op benchmarks en de "target-language response rate" (het percentage outputs dat gegenereerd is in de taal van de invoervraag).

Belangrijkste Bijdragen en Resultaten

1. Superioriteit van OPD2 in Meertalige Omgevingen

De studie toont aan dat OPD2 consequent beter presteert dan de oorspronkelijke OPD over alle talen en modelgroottes heen.

Prestatiewinst: Voor Qwen3-1.7B verbeterde OPD2 de gemiddelde scores van 55.1 naar 63.6 (Engels), 40.9 naar 51.9 (Koreaans) en 37.2 naar 52.0 (Japans). Vergelijkbare trends werden waargenomen voor het 8B-model.
Taalspecifieke Verbeteringen: De winst die OPD2 bood ten opzichte van OPD was bijzonder uitgesproken in het Koreaans en Japans. Voor Qwen3-1.7B overtrof OPD2 OPD met respectievelijk 3.1 en 4.0 punten in het Koreaans en Japans, vergeleken met een winst van 2.1 punten in het Engels. Dit suggereert dat het delta-signaal zeer effectief is voor het overdragen van redeneervermogens naar niet-Engelse talen.

2. Het Verkleinen van de Taalafstand

Meertalige OPD2-training vermindert over het algemeen de prestatieverschillen tussen Engels en Koreaans redeneren.

Reductie van de Kloof: Op benchmarks zoals Global-MGSM en HRM8K nam de nauwkeurigheidskloof tussen Engels en Koreaans na OPD2-training aanzienlijk af. Zo daalde de kloof op Global-MGSM van 13.4 punten (basis) naar 9.3 punten (OPD2).
Consistentie: OPD2 verkleinde de Engels-Koreaanse kloof op zes van de zeven gerapporteerde benchmarks, wat aangeeft dat meertalige post-training vaak sterker ten goede komt aan niet-Engelse redenering dan aan Engelse redenering, waardoor de cross-linguale verschillen worden verkleind zonder de Engelse prestaties op te offeren.

3. Cross-Linguale Transfer versus Target-Language Generatie

Een cruciale bevinding betreft het onderscheid tussen de transfer van redeneervermogen en taalbehoud.

Engelstalige Transfer: Verrassend genoeg verbeterde training uitsluitend op Engelse data (English-only OPD2) de nauwkeurigheid op Koreaanse en Japanse benchmarks tot niveaus die vergelijkbaar zijn met meertalige training. Dit geeft aan dat redeneervermogens die via Engelse supervisie zijn geleerd, kunnen generaliseren naar niet-Engelse inputs.
Taalverschuiving: Echter, Engelstalige training leidt tot een significante verschuiving in de respons-taal. Terwijl meertalige OPD2 een hoge target-language response rate behield (bijv. ~90% voor Koreaans/Japans in non-thinking modus), zorgde English-only OPD2 voor een drastische daling van deze percentages (bijv. Koreaans daalde naar 48.3%, Japans naar 29.6% in non-thinking modus).
Implicatie: Modellen getraind met alleen Engelse data kunnen problemen gepresenteerd in het Koreaans of Japans oplossen, maar genereren vaak het redeneerproces en de antwoorden in het Engels. Meertalige data is daarom essentieel, niet voor de transfer van de logica van het redeneren, maar voor het behoud van de target-language generatie van die logica.

Betekenis

Dit artikel stelt vast dat On-Policy Delta Distillatie (OPD2) een robuuste methode is voor het verbeteren van meertalige wiskundige redenering. Het bevestigt dat het delta-signaal, ontworpen om post-training redeneervermogens te isoleren, effectief is over verschillende talen en modelgroottes heen.

De studie benadrukt een genuanceerd onderscheid in meertalige post-training: hoewel redeneervermogens kunnen worden overgedragen van het Engels naar andere talen zelfs zonder directe blootstelling aan die talen in de trainingsdata, vereist het behoud van de doeltaal in de output expliciete meertalige training. Bijgevolg betogen de auteurs dat het evalueren van meertalige modellen vereist dat men verder kijkt dan benchmark-nauwkeurigheid en ook de response-taal metrieken betrekt, om te garanderen dat de verworven redeneervermogens in de beoogde taal worden geuit. Deze bevindingen vormen een fundament voor het uitbreiden van OPD naar talen buiten het Engels en het verfijnen van post-training strategieën voor wereldwijde implementatie.