💬 NLP

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

Dit paper introduceert TESSY, een raamwerk voor leraren-student samenwerking dat synthetische trainingsdata genereert die zowel de redeneercapaciteiten van een sterk model als de stijl van het studentmodel combineren, waardoor prestaties verbeteren in plaats van achteruitgaan bij het fine-tunen van redeneermodellen.

Oorspronkelijke auteurs: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧠 Het Probleem: De "Grote Meester" en de "Lerende Leerling"

Stel je voor dat je een slimme, maar nog wat onervaren leerling hebt (de Student, bijvoorbeeld een model als Qwen3-8B). Je wilt dat deze leerling net zo goed wordt in het oplossen van moeilijke wiskundepuzzels of het schrijven van computercode als een wereldberoemde meester (de Leraar, bijvoorbeeld een superkrachtig model als GPT-OSS-120B).

De gebruikelijke manier om dit te doen is simpel: de meester schrijft het perfecte antwoord op, en de leerling leert dit uit het hoofd.

Maar hier zit de hak:
De meester denkt op een heel specifieke manier. Hij gebruikt woorden als "Laten we eens kijken...", "Welnu...", en "Hier is de logica...". De leerling denkt echter op een heel andere manier, met zijn eigen zinnen en stijl.

Als je de leerling dwingt om de exacte zinnen van de meester na te praten, raakt hij in de war. Het is alsof je een kind dat gewend is om te praten in het dialect van zijn dorp, dwingt om te spreken als een formele professor. Het kind probeert de woorden na te zeggen, maar vergeet daardoor zijn eigen natuurlijke manier van denken. Het resultaat? De leerling wordt juist slechter in het oplossen van de puzzle, omdat hij zijn eigen "brein" kwijtraakt in een poging om de "stijl" van de meester te kopiëren.

💡 De Oplossing: TESSY (De Samenwerkingsframework)

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd TESSY. Ze noemen het een "Leerkracht-Student Samenwerkingsframework".

In plaats van dat de meester alles doet, werken ze samen als een duo in een theaterstuk:

De Meester doet het zware werk: De meester schrijft alleen de essentiële delen van het antwoord. De feiten, de code, de wiskundige formules en de harde logica. Dit is het "wat" en het "hoe" van de oplossing.
De Leerling doet de "fluff": De leerling schrijft de overgangszinnen, de "Laten we eens kijken", de "Hmm, laten we dit proberen" en de manier waarop hij de gedachten verbindt. Dit is de "stijl" en de "flow".

De Analogie van de Bouwplaats:

De Meester is de hoofdingenieur. Hij tekent de blauwdrukken en zorgt dat het gebouw (de oplossing) veilig en correct staat.
De Leerling is de interieurontwerper. Hij zorgt dat de muren, de kleuren en de sfeer (de tekststijl) precies passen bij de smaak van de bewoner (het eigenlijke model).

Als je alleen de ingenieur laat werken, krijg je een perfect gebouw, maar het voelt koud en vreemd aan voor de bewoner. Als je alleen de interieurontwerper laat werken, is het huis mooi, maar het kan instorten. TESSY zorgt dat de ingenieur de structuur bouwt, maar de interieurontwerper het huis bewoonbaar maakt voor de specifieke bewoner.

⚙️ Hoe werkt het technisch? (De "Terugdraai"-truc)

Het proces is heel slim geautomatiseerd:

De leerling begint met een zinnetje in zijn eigen stijl ("Oké, laten we kijken...").
Dan springt de meester in en schrijft het volgende stukje logica.
Het geheim: Soms schrijft de meester te veel "leuke woorden" die niet bij de leerling passen. Daarom gebruiken ze een slimme filter (een "grenspredictor").
- Zodra de filter ziet dat de meester begint te "praten" in een stijl die niet bij de leerling hoort, wordt de tekst teruggedraaid (gesneden). Alleen het harde, nuttige stukje wordt bewaard.
- Dan springt de leerling weer in om de volgende overgang te maken.

Zo ontstaat er een antwoord dat slim is als de meester, maar klinkt als de leerling.

📉 Wat was het resultaat?

De auteurs hebben dit getest met echte modellen:

De oude manier (Alleen Meester): Toen ze de leerling trainden met alleen de antwoorden van de meester, werd de leerling slechter. Hij verloor zijn eigen vaardigheden. Het was alsof hij probeerde te dansen op muziek die niet bij zijn ritme paste.
De TESSY-methode: Toen ze de samenwerking gebruikten, werd de leerling veel beter. Hij behield zijn eigen stijl, maar leerde de slimme logica van de meester.

Conclusie in één zin:
Om een slimme AI nog slimmer te maken, moet je niet proberen hem te laten praten als een ander; je moet hem laten denken als een meester, maar praten als hijzelf. TESSY is de tolk die dit mogelijk maakt.

Probleemstelling

Het fine-tunen van redenerende modellen (zoals Qwen3-8B) met synthetische data gegenereerd door sterkere "teacher"-modellen (zoals GPT-OSS-120B) leidt vaak tot een drastische daling in prestaties, in plaats van een verbetering. Dit fenomeen wordt veroorzaakt door twee hoofdfactoren:

Distributiefouten (Distribution Mismatch): Redenerende modellen hebben een unieke stijl en interne verdeling van tokens die zijn opgebouwd tijdens hun oorspronkelijke training. Synthetische data van een andere bron (de teacher) heeft vaak een andere verdeling, wat leidt tot "catastrophic forgetting" van de oorspronkelijke kennis.
Stijlverschillen: Hoewel een teacher-model de juiste redeneringsstappen (inhoud) kan genereren, verschilt de "stijl" (overgangsfrazen, toon, connectieve woorden zoals "laten we zien" of "okay") aanzienlijk van die van de student. Het dwingen van een student om deze vreemde stijl te adopteren tijdens supervised fine-tuning (SFT) verstoort het leerproces en schaadt de eindprestaties.

Bestaande methoden, zoals het volledig kopiëren van teacher-data (Teacher-Only), falen omdat ze de student dwingen om zowel de inhoud als de stijl van de teacher te leren, wat in strijd is met de bestaande verdeling van de student.

Methodologie: TESSY Framework

De auteurs introduceren TESSY (Teacher–Student Cooperation Data Synthesis), een raamwerk dat de redeneringscapaciteit van de teacher combineert met de stijlkonsistentie van de student. Het doel is om synthetische data te creëren waarin de inhoud (capability tokens) door de teacher wordt gegenereerd, maar de stijl (style tokens) door de student.

De kerncomponenten van TESSY zijn:

Alternatieve Generatie (Alternating Generation):
- Het proces start met de student die een eerste stijlspan (bijv. "Okay, laten we kijken") genereert.
- Vervolgens wisselen de modellen af: de student genereert stijl-tokens en de teacher genereert redenerings-tokens (zoals code, wiskundige afleidingen).
- De output is een sequentie: $[S_1, T_1, S_2, T_2, ...]$ , waarbij $S$ voor student-stijl staat en $T$ voor teacher-inhoud.
Generatie met Terugrollen (Generate-then-Rollback):
- Een uitdaging is het bepalen van het exacte punt waarop een stijlspan overgaat in een inhoudspan (en vice versa).
- TESSY gebruikt een strategie waarbij het model eerst een vast aantal tokens ( $k$ ) genereert.
- Vervolgens wordt een Boundary Predictor (een klein classificatiemodel) gebruikt om te bepalen welk token het laatste token van de huidige categorie is.
- Alle tokens na dit punt worden "teruggerold" (verworpen). Dit zorgt voor een nauwkeurige scheiding tussen stijl en inhoud.
Final Answer Generatie:
- Het denkproces (thinking trace) wordt samengesteld via de alternatieve methode.
- Het definitieve antwoord wordt echter volledig gegenereerd door de student om de stijlconsistentie tot het einde toe te waarborgen.

Belangrijkste Bijdragen

Identificatie van Stijl als Kritieke Factor: Het paper toont aan dat voor redenerende modellen de stijl van de trainingdata even belangrijk is als de kwaliteit van de redenering. Een mismatch in stijl is een primaire oorzaak van prestatiedalingen bij SFT.
TESSY Framework: Een nieuw, efficiënt raamwerk voor het synthetiseren van data dat de sterke punten van een sterke teacher (redenering) behoudt terwijl het de verdeling van de student (stijl) respecteert.
Boundary Predictors: De implementatie van gespecialiseerde modellen om de grenzen tussen "stijl" en "inhoud" in real-time te detecteren en te corrigeren tijdens de data-generatie.
Empirisch Bewijs: Het paper levert overtuigend bewijs dat het gebruik van pure teacher-data schadelijk kan zijn voor redenerende modellen, terwijl TESSY significante verbeteringen levert.

Resultaten

De experimenten zijn uitgevoerd met GPT-OSS-120B als teacher en Qwen3-8B als student, met een focus op code-generatie (LiveCodeBench-Pro, OJBench).

Prestatieverbetering:
- Directe SFT met Teacher-only data leidde tot een daling van 3,25% op LiveCodeBench-Pro en 10,02% op OJBench.
- TESSY leidde tot een stijging van 11,25% op LiveCodeBench-Pro en 6,68% op OJBench.
Generalisatie: TESSY werkt consistent goed met verschillende teachers (DeepSeek-R1, Qwen3-235B) en verschillende studenten (Qwen3-30B-A3B).
Kwaliteit vs. Lengte: Hoewel TESSY ongeveer 22% van de tokens gegenereerd door de zwakkere student bevat, presteert de gegenereerde data beter dan die van de teacher alleen, zelfs bij gelijke maximale lengte. Bovendien zijn TESSY-antwoorden vaak korter en efficiënter dan die van de teacher.
Cross-Model Validatie: Zelfs binnen dezelfde modelfamilie (bijv. Qwen3-8B vs Qwen3-30B) leidt het trainen op data van een ander model zonder TESSY tot prestatieverlies, wat de noodzaak van distributie-afstemming bevestigt.

Betekenis en Impact

Dit paper biedt een cruciale inzichten voor de ontwikkeling van toekomstige redenerende modellen:

Paradigmaverschuiving: Het weerlegt de aanname dat "hoe sterker de teacher, hoe beter de student". Voor redenerende modellen is het cruciaal om de stijl van de student te behouden tijdens het overdragen van kennis.
Efficiëntie: Het biedt een praktische methode om grote, dure redenerende modellen te fine-tunen zonder dat ze hun oorspronkelijke vaardigheden verliezen door distributiefouten.
Toekomstige Richting: Het suggereert dat toekomstige SFT-strategieën voor reasoning-modellen zich moeten richten op het behoud van de "on-policy" verdeling van de student, zelfs bij het gebruik van externe kennisbronnen.

Kortom, TESSY lost het probleem van "catastrophic forgetting" bij redenerende modellen op door een samenwerking te forceren waarbij de teacher de wat (inhoud) bepaalt en de student de hoe (stijl) bepaalt.