🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

Dit artikel stelt een kosteneffectieve methode voor die redeneermodellen voor taal verbetert in zowel verifieerbare als onverifieerbare domeinen door eerst klassieke instructie-afstemming toe te passen op door mensen geschreven oplossingen en vervolgens het resulterende model te fuseren met het oorspronkelijke redeneermodel om domeinspecifieke redeneercapaciteiten te herstellen.

Oorspronkelijke auteurs: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Gepubliceerd 2026-07-17

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, overdenkende student probeert te leren hoe hij een nieuw type puzzel moet oplossen. Deze student, een "Reasoning Language Model", is een speciaal soort computerprogramma dat getraind is om zijn werk te laten zien. Voordat het een antwoord geeft op een wiskundig probleem of een programmeeruitdaging, schrijft het een lang, stapsgewijs denkproces uit, zoals een detective die een mysterie oplost. Deze gewoonte van "hardop denken" is wat het zo goed maakt in lastige taken.

Maar er is een addertje onder het gras. Om deze student nieuwe vaardigheden te leren, heb je meestal een manier nodig om direct te controleren of zijn antwoord juist is (zoals een antwoordenboek bij wiskunde) of een superintelligente leraar om hem te laten zien hoe hij moet denken. Maar wat als je hem iets wilt leren waarvoor geen antwoordenboek bestaat, zoals het schrijven van een grappige samenvatting van een verhaal of het oplossen van een specifieke bug in een computerprogramma die geen test heeft? Je hebt wel heel veel voorbeelden van de juiste antwoorden geschreven door mensen, maar geen van die voorbeelden laat het "denkproces" zien. Als je de student alleen dwingt om deze antwoorden uit het hoofd te leren zonder de denkstappen, kan hij wel het juiste antwoord geven voor die specifieke puzzel, maar vergeet hij hoe hij algemeen moet denken. Hij wordt dan een papegaai die antwoorden herhaalt in plaats van een detective die problemen oplost.

Dit is de puzzel die onderzoekers aan de ETH Zürich aanpakten in hun nieuwe paper. Ze ontdekten een slimme tweestaps-truc om deze "denkende" modellen nieuwe vaardigheden te leren zonder dat ze vergeten hoe ze moeten denken. Eerst laten ze het model leren van de eenvoudige "alleen-het-antwoord"-voorbeelden, net zoals een student die voor een toets staat te stampen. Dit maakt het model beter in de specifieke taak, maar het begint zijn gewoonte om zijn werk te tonen te verliezen. Daarna voeren ze een magische "merge" uit. Ze nemen dit nieuw getrainde model en mengen het terug met het oorspronkelijke, slimme denkmodel. Het is alsof je een kop verse, taakspecifieke koffie mengt met een kop van de oorspronkelijke, sterke espresso. Door de verhouding van de mix zorgvuldig aan te passen, ontdekten ze een "sweet spot" waarbij het model zijn nieuwe vaardigheden behoudt, maar ook weer onthoudt hoe het problemen moet doordenken.

De onderzoekers testten dit op vier verschillende slimme modellen en twee zeer verschillende taken: het schrijven van code in de programmeertaal Rust en het samenvatten van lange nieuwsartikelen. Ze ontdekten dat hun methode wonderen deed. De modellen werden veel beter in de specifieke taken (met verbeteringen in codingscores tot wel 12 punten en licht hogere scores voor samenvattingen), terwijl ze bijna volledig hun vermogen om te redeneren herstelden, wat normaal gesproken door standaard training wordt vernietigd. Nog beter is dat dit hele proces ongelooflijk goedkoop en snel was. De onderzoekers berekenden dat ze een model konden aanpassen voor minder dan $3 en in minder dan een uur, terwijl andere methoden die proberen hetzelfde probleem op te lossen, aanzienlijk meer kosten en langer duren.

Kortom, de paper suggereert dat je geen superdure "antwoordcontrole"-systemen of een geniale leraar nodig hebt om deze reasoning-modellen te upgraden. Je kunt de enorme hoeveelheden eenvoudige "vraag-en-antwoord"-data die al bestaan gebruiken, en met een beetje wiskundig mengen, kun je deze modellen nieuwe vaardigheden geven zonder hun brein te breken. Het is een goedkope manier met een hoog rendement om onze AI-detectives scherp te houden, zelfs wanneer ze leren om mysteries op te lossen die geen voor de hand liggende oplossingen hebben.

Probleem
Reasoning Language Models (RLMs) hebben state-of-the-art prestaties bereikt in domeinen met betrouwbare verifieerders, zoals wiskunde en programmeren, voornamelijk door middel van Reinforcement Learning with Verifiable Rewards (RLVR). Het aanpassen van RLMs aan domeinen waar betrouwbare verifieerders ontbreken (bijv. tekstsamenvatting of programmeren zonder uitgebreide unit tests) blijft echter een uitdaging. Hoewel er grote hoeveelheden hoogwaardige supervised fine-tuning (SFT) data bestaan voor deze domeinen, bestaan deze doorgaans uit input-output paren zonder redeneersporen (reasoning traces). Het direct toepassen van standaard Instruction Fine-Tuning (IFT) op RLMs met deze data creëert een distributionele mismatch: het model wordt getraind om directe antwoorden te produceren, wat ertoe leidt dat het zijn redeneergedrag "implodeert" (collapse). Dit resulteert in het verlies van het vermogen van het model om redeneersporen te genereren, wat vervolgens de prestaties op de doeltaak verslechtert en leidt tot catastrofale vergetelheid van algemene redeneercapaciteiten op gehouden datasets zoals MATH500.

Methodologie
De auteurs stellen een lichtgewicht, tweestaps-pipeline voor om RLMs aan te passen met behulp van standaard IFT-data, terwijl het redeneergedrag behouden blijft:

Standaard Instruction Fine-Tuning (IFT): Het basis-RLM wordt gefinetuned op een taakspecifieke dataset die alleen input-output paren bevat (geen redeneersporen). Dit produceert een model ( $M_{IFT}$ ) met verbeterde taaknauwkeurigheid maar gecompromitteerd of geïmplodeerd redeneergedrag.
Model Merging: Het gefinetunede model ( $M_{IFT}$ $M_{I F T}$ ) wordt lineair samengevoegd met het originele, niet-getunede redeneermodel ( $M$ $M$ ). Het samengevoegde model wordt gedefinieerd als $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ , waarbij $\alpha$ $α$ de merge-ratio is.
- Selectie van de ratio: De optimale merge-ratio $\alpha$ wordt geselecteerd met behulp van een kleine, gehouden kalibratiedataset ( $D_{cal}$ ) voor de doeltaak. Het selectiecriterium is het vinden van de grootste $\alpha$ waarvoor de redeneersnelheid (het deel van de voorbeelden waarbij het model een niet-leeg redeneerspoor produceert) op $D_{cal}$ boven een minimale drempelwaarde ( $\rho_{min}$ , ingesteld op 0,9 in experimenten) blijft.
- Optimalisatie: Om de computationele kosten te verlagen, evalueert het kalibratieproces alleen de eerste paar tokens van de respons van het model om te bepalen of redeneren wordt gestart, in plaats van volledige responsen te genereren. Een binaire zoekmethode wordt toegepast om de optimale $\alpha$ efficiënt te vinden.

Belangrijkste Bijdragen

Identificatie van een Praktische Adaptatie-instelling: Dit werk behandelt de specifieke scenario waarin alleen input-output supervisie beschikbaar is voor RLMs, zonder toegang tot geverifieerde redeneersporen of sterkere docentmodellen (teacher models).
Lichtgewicht IFT-and-Merge Methode: De auteurs stellen een eenvoudige procedure voor die RLMs aanpast aan nieuwe taken terwijl het redeneergedrag wordt hersteld. Cruciaal is dat deze methode geen verifieerder, een beloningsmodel of een sterker docentmodel vereist.
Uitgebreide Evaluatie: De methode wordt geëvalueerd over vier diverse RLMs (OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think, en DeepSeek R1 Qwen 7B Distilled) op twee doeltaken (Rust programmeren en tekstsamenvatting) en een gehouden wiskundige redeneertaak (MATH500).

Resultaten

Prestatieherstel: Standaard IFT veroorzaakt vaak een aanzienlijke daling in de MATH500-prestaties (bijv. OpenThinker 7B daalde van 79% naar 35,9% op MATH500 na Rust coding IFT) en laat redeneersporen imploderen. De voorgestelde mergingtechniek herstelt het grootste deel of zelfs alle verloren algemene redeneercapaciteiten (MATH500-scores), terwijl de meerderheid van de prestatiewinsten op de doeltaak die door IFT zijn bereikt, behouden blijft.
Vergelijking met Baselines: De methode presteert beter dan of is gelijk aan concurrerende baselines zoals On-Policy Distillation (IFT+OPD) en IFT met KL-divergentie regularisatie (IFT+KL). In verschillende gevallen faalden baselines om de prestaties op de doeltaak te herstellen of waren ze minder effectief in het behoud van redeneren.
Kostenefficiëntie: De aanpak is zeer efficiënt. Het gehele adaptatieproces (IFT, zoektocht en merging) duurt ongeveer 52 minuten op een enkele NVIDIA H200 GPU en kost minder dan USD $3. Dit is aanzienlijk goedkoper dan baselines die extra docent-inferentie of complexe distillatielussen vereisen.

Betekenis
Het artikel beweert dat deze methode een kosteneffectieve en toegankelijke weg biedt voor het aanpassen van krachtige redeneermodellen aan domeinen waar RLVR onhaalbaar is vanwege het gebrek aan verifieerders. Door gebruik te maken van breed beschikbare IFT-datasets en het redeneergedrag te herstellen via eenvoudige model merging, stelt de techniek RLMs in staat om hun algemene redeneercapaciteiten te behouden terwijl ze nieuwe taakspecifieke vaardigheden verwerven. De auteurs merken op dat hoewel de methode effectief is voor taken waarbij IFT-data voldoende signaal biedt (zoals programmeren en samenvatten), het mogelijk niet volstaat voor domeinen waar het redeneerproces zelf de primaire drijfveer van prestaties is (bijv. complexe wiskundige bewijzen), waarbij supervisie op het redeneerspoor zelf nog steeds noodzakelijk kan zijn.

Meer zoals dit