💬 NLP

Distribution Corrected Offline Data Distillation for Large Language Models

Dit artikel stelt een principieel offline redeneringsdistillatiekader voor dat de distributieverschuiving tussen door de leraar gegenereerde en door de student gegenereerde voorvoegsels corrigeert, waardoor de nauwkeurigheid en stabiliteit van kleinere taalmodellen op complexe wiskundige redeneertaken worden verbeterd zonder de noodzaak van kostbare online rollouts.

Oorspronkelijke auteurs: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge leerling (de Student) probeert te leren complexe wiskundepuzzels op te lossen door te kijken naar een meesterkok (de Leraar) die kookt.

Het Probleem: De "Kopieer-Apparaat"-Valstrik

Normaal gesproken laten we de leerling een video zien van de meesterkok die een perfect gerecht bereidt, terwijl we de leerling onderwijzen. De leerling kijkt naar de video en probeert elke beweging exact na te bootsen. Dit heet Offline Distillatie.

Er zit echter een verborgen gebrek in deze methode:

In de video: De meesterkok begint met verse ingrediënten en volgt een perfect pad.
In het echte leven: De leerling moet vanaf nul koken. Als ze in een vroeg stadium een klein foutje maken (zoals een ui iets verkeerd snijden), moeten ze doorgaan met koken op basis van dat foutje.
Het Resultaat: Omdat de leerling alleen is getraind om de perfecte video na te bootsen, weet ze niet hoe ze zich moet herstellen wanneer ze een fout maakt. Terwijl ze proberen een lang, complex probleem op te lossen, stapelen hun kleine fouten zich op en wordt het eindgerecht vreselijk. Dit heet Distributiedrift.

Andere methoden proberen dit op te lossen door de leerling zelf te laten oefenen (Online Learning), maar dit is traag, duur en de leerling maakt vaak vreselijke gerechten terwijl ze nog aan het leren zijn.

De Oplossing: De "Slimme Coach" (DISCORD)

De auteurs van dit paper stellen een nieuwe manier van onderwijzen voor, genaamd DISCORD (Distribution-Corrected Distillation).

In plaats van de leerling alleen te zeggen "kijk de video na", treedt DISCORD op als een Slimme Coach die zowel de video als het huidige vaardigheidsniveau van de leerling tegelijkertijd observeert.

Hier is hoe het werkt, met een eenvoudige analogie:

De Video (Leraargegevens): Het perfecte recept van de meesterkok is opgenomen.
De Vaardigheidscontrole: Voordat een specifieke stap wordt onderwezen, vraagt de coach: "Als de leerling deze stap nu zou uitvoeren, hoe groot is de kans dat ze het correct doen?"
De Gewogen Les:
- Als de stap iets is dat de leerling waarschijnlijk zelf correct zal doen, zegt de coach: "Geweldig! Kijk goed hoe de meester dit deel doet. Dit is een les met hoge waarde."
- Als de stap iets is dat de leerling onwaarschijnlijk correct zal doen (omdat het te geavanceerd of vreemd is voor hun huidige stijl), zegt de coach: "Maak je niet te druk over het perfect kopiëren van deze exacte beweging. Het is geen stap die je waarschijnlijk tegenkomt in je eigen kookstijl, dus laten we ons richten op de onderdelen die je daadwerkelijk kunt beheersen."

In technische termen noemt het paper dit herwegen. Het past de belangrijkheid van de instructies van de leraar aan op basis van wat de student daadwerkelijk aankan. Het richt de aandacht van de student op de onderdelen van het redeneren van de leraar die passen bij de eigen "stem" en capaciteiten van de student.

De Resultaten: Betere Gerechten, Minder Afval

De onderzoekers testten deze methode op wiskundeproblemen (zoals die in middelbareschoolwedstrijden en olympiades voorkomen).

Betere Nauwkeurigheid: De studenten die met DISCORD werden getraind, gaven meer correcte antwoorden dan diegenen die de leraar blindelings kopieerden.
Stabiel Denken: Zelfs wanneer de studenten vroeg in hun redenering kleine fouten maakten, raakten ze niet in chaos. Ze bleven beter op koers.
Geen Extra Kosten: In tegenstelling tot de methode "oefen zelf", vereiste DISCORD niet dat de studenten duizenden extra oefenproblemen genereerden. Het gebruikte dezelfde vaste video van de leraar, maar onderwees de les op een intelligenter manier.

De Conclusie

Zie DISCORD als een vertaler tussen de perfecte logica van de leraar en de imperfecte realiteit van de student. In plaats van de student te dwingen een perfect pad na te bootsen dat ze niet kunnen bewandelen, benadrukt het de onderdelen van het pad die ze wel kunnen bewandelen, zodat ze de meest nuttige vaardigheden leren zonder verdwaald te raken in details waar ze nog niet klaar voor zijn.

Hierdoor kunnen kleinere, goedkopere AI-modellen veel slimmer worden in redeneren zonder dat er dure, tijdrovende trainingssessies nodig zijn.

Technische Samenvatting: Distributie-correcte Offline Data Distillatie voor Grootte Taalmodellen

Probleemstelling

Het artikel behandelt de uitdaging om complexe redeneervermogens over te dragen van grote, krachtige "leraar"-Grootte Taalmodellen (LLM's) naar kleinere, hulpbronnen-beperkte "student"-modellen. Hoewel offline distillatie (het trainen van een student op vaste redeneersporen gegenereerd door een leraar) steekproef-efficiënt is en supervisie van hoge kwaliteit biedt, lijdt het onder een fundamentele distributiedrift.

Tijdens training wordt het studentmodel geconditioneerd op door de leraar gegenereerde voorvoegsels. Echter, tijdens inferentie moet de student autoregressief zijn eigen voorvoegsels genereren. Naarmate de door de student gegenereerde tokens afwijken van de trajectorie van de leraar, komt het in gebieden van de tokenruimte terecht die ondervertegenwoordigd zijn in de trainingsdata. Dit leidt tot opstapelende fouten en onbetrouwbaar gedrag over lange redeneertrajecten, een beperking die bestaande verfijnde distillatiedoelstellingen (bijvoorbeeld minimaliseren van bidirectionele KL-divergentie) niet volledig oplossen, omdat ze nog steeds optimaliseren tegen een door de leraar verstrekte distributie.

Daarentegen mitigeren on-policy methoden (bijvoorbeeld GRPO, RLHF) deze drift door te trainen op zelf gegenereerde data, maar ze brengen hoge rekenkosten met zich mee voor online sampling en worstelen vaak met sporen van lage kwaliteit in de vroege trainingsfasen.

Methodologie: DISCORD

De auteurs stellen DISCORD (Distribution-Corrected Distillation) voor, een principieel offline raamwerk dat de efficiëntie van door de leraar gegenereerde data behoudt terwijl het de distributiemismatch corrigeert. Het kernmechanisme omvat het adaptief herschalen van leraartoken-supervisie op basis van de huidige ondersteuning van de student (de waarschijnlijkheid dat deze de token genereert).

Belangrijkste Technische Componenten:

Student-ondersteuningsbewuste Herschaling:
De methode introduceert een dichtheidsratio om trainingspaden $\{x, y \sim \pi_T(x; c)\}$ te herschalen:
$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$
waarbij $\pi_\theta$ de student is, $\pi_T$ de leraar, en de streep een stop-gradient-operatie aanduidt. Deze ratio prioriteert leraartokens die de student waarschijnlijk zal tegenkomen tijdens inferentie.
Gestabiliseerde Transformatie:
Directe toepassing van de dichtheidsratio veroorzaakt trainingsinstabiliteit door onbegrensde waarden en hoge variantie over lange sequenties. De auteurs passen twee stabilisaties toe:
- Sigmoid-transformatie: De log-dichtheidsratio wordt door een sigmoidfunctie $\sigma(\tau \cdot \log(\dots))$ gevoerd om de correctie af te bakenen tot een begrensd bereik $(0, 1)$ , waarbij de ordening van de ratio behouden blijft terwijl explosie wordt voorkomen.
- Token-niveau benadering: Om lengtebias te mitigeren (waarbij langere sequenties grotere aggregaatgewichten accumuleren), wordt de correctie op token-niveau toegepast. Voor elke token $y_t$ in een traject is het gewicht:
  $r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$
  Dit gewicht wordt toegepast als een gradiëntvermenigvuldiger tijdens de training van de basisdoelstelling (bijvoorbeeld SFT of KL-divergentie).
Interpretatie:
Het correctiegewicht $r_t$ (met $\tau=1$ ) wordt geïnterpreteerd als de posterior-kans dat een token uit de studentdistributie is getrokken in plaats van de leraardistributie, aannemende een uniforme prior. Dit verbindt de methode met principes van contrastieve decoding, maar past ze toe tijdens training om het leren te prioriteren in gebieden die de student betrouwbaar kan bewonen.

Belangrijkste Bijdragen

Een Principieel Offline Raamwerk: DISCORD is de eerste methode die effectief leraar-student distributiedrift corrigeert met alleen offline, door de leraar verstrekte data, waardoor de noodzaak voor kostbare online student-rollouts wordt geëlimineerd.
Flexibele Integratie: Het herschalingsmechanisme op token-niveau is compatibel met diverse offline distillatie-ruggengraten, waaronder standaard Supervised Fine-Tuning (SFT) en op KL-divergentie gebaseerde doelstellingen.
Stabilisatietechnieken: De introductie van sigmoid-transformatie en token-niveau benadering adresseert de variantie- en instabiliteitsproblemen die inherent zijn aan op dichtheidsratio gebaseerde correcties voor lange sequenties.

Experimentele Resultaten

De methode werd geëvalueerd op wiskundige redeneerbenchmarks (GSM8K, MATH, MATH500) en moeilijkere, vastgehouden competitie-achtige taken (AMC, AIME, OlympiadBench, Omni-Math) met Qwen2.5 en Llama-3.2 modellen.

Prestatiewinst: DISCORD presteert consequent beter dan sterke offline baselines (SFT, ToDi, Symmetrische KL) op in-domein en out-of-domein (OOD) taken. Bijvoorbeeld, bij de Qwen2.5-7B $\to$ 3B distillatie verbeterde DISCORD de MATH500-nauwkeurigheid met 4,60 punten ten opzichte van standaard SFT en met 2,60 punten ten opzichte van Symmetrische KL.
Robuustheid tegen Voorvoegsel-drift: Evaluaties met ExAccErr (distributiedivergentie) tonen aan dat terwijl de prestaties van standaard SFT significant verslechteren naarmate de voorvoegsel-lengte toeneemt (door de student gegenereerde voorvoegsels wijken af van de leraar), DISCORD stabiele prestaties behoudt, wat wijst op verminderde opstapelende fouten.
Efficiëntie versus Online Methodes: DISCORD bereikt prestaties die vergelijkbaar zijn met online student-rollout methoden (zoals GKD), maar met aanzienlijk lagere rekenkosten. In de 7B $\to$ 3B setting vereiste DISCORD slechts 3,12 GPU-uren in vergelijking met 49,56 GPU-uren voor GKD, terwijl er geen online student-tokens werden gebruikt.
Redeneerkwaliteit: Kwalitatieve analyse toont aan dat DISCORD schonere, beknoptere en logisch coherente sporen produceert. Het vermindert veelvoorkomende faalmodi zoals herhaling, voortzetting na het antwoord en meerdere verschillende eindantwoorden. Cruciaal behoudt DISCORD in "faal-herstel" gevallen de onderliggende wiskundige structuur van de oplossing van de leraar, zelfs wanneer het de oppervlakkige opmaak van de leraar niet nabootst.

Betekenis en Claims

Het artikel beweert dat lichtgewicht, distributie-correctie-bewuste training offline redeneerdistillatie aanzienlijk kan versterken zonder online interactie.

De Kloof Dichtmaken: Het werk toont aan dat het mogelijk is om de prestatiekloof tussen offline en online distillatiemethoden te verkleinen door bestaande offline data intelligent te herschalen, in plaats van nieuwe data te genereren.
Generaliseerbaarheid: Hoewel de experimenten zich richten op wiskundig redeneren, stellen de auteurs dat de methode toepasbaar is op andere generatiesituaties met een lange horizon, waaronder codegeneratie en wetenschappelijk redeneren.
Praktische Implementatie: Door de hoge rekenkosten van online sampling te vermijden, biedt DISCORD een haalbaar pad voor het implementeren van capabele redeneermodellen in hulpbronnen-beperkte omgevingen.

De auteurs blijven bescheiden, en merken op dat hoewel hun methode een verbetering is ten opzichte van eerdere offline baselines, online methoden zoals GKD nog steeds een voorsprong hebben in sommige specifieke in-domein benchmarks vanwege hun directe observatie van de rollout-distributie van de student. Echter, DISCORD biedt een superieure afweging tussen prestaties en rekenefficiëntie.