💻 computer science

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

Dit artikel introduceert DASD-4B-Thinking, een lichtgewicht open-source redeneermodel dat een state-of-the-art prestatie bereikt door kritieke beperkingen in de huidige sequentieniveau-distillatie aan te pakken via een nieuwe trainingspipeline die de teacher-student-distributies beter afstemt en exposure bias vermindert, terwijl er tegelijkertijd aanzienlijk minder trainingssamples worden gebruikt.

Oorspronkelijke auteurs: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldberoemde professor hebt (de Docent) die ongelooflijk moeilijke wiskundeproblemen kan oplossen, complexe code kan schrijven en lastige wetenschappelijke vragen kan beantwoorden. Stel je nu voor dat je een slimme maar kleine student hebt (de Student) die wil leren van de professor, maar niet over dezelfde hersenkracht of geheugen beschikt.

Het doel van dit artikel is om de kleine student te leren denken als de grote professor, ook al is de student veel kleiner. Het team bij Alibaba Cloud heeft een nieuwe manier bedacht om dit te doen, genaamd DASD-4B-Thinking.

Hier is hoe ze het deden, uitgelegd aan de hand van eenvoudige analogieën:

De Oude Manier: Gewoon het Huiswerk Overnemen

Voorheen probeerden onderzoekers de student te onderwijzen door hen de voltooide huiswerkantwoorden van de professor te geven. De student zou deze antwoorden gewoon memoriseren.

Het Probleem: Soms waren de antwoorden van de professor te perfect en zeldzaam, en soms waren ze slordig. Als de student willekeurig huiswerk zou kiezen om over te nemen, zouden ze de belangrijkste lessen kunnen missen of in de war kunnen raken door de slordige antwoorden. Ook leerde de student alleen te kopiëren wanneer de professor direct naast hen stond (kijkend naar het antwoord), maar in de echte wereld moet de student problemen alleen oplossen. Dit is als een student die alleen een essay kan schrijven als de leraar het volgende woord in diens oor fluistert; wanneer ze alleen proberen te schrijven, lopen ze vast.

De Nieuwe Manier: Een Slimmer Trainingskamp

De auteurs realiseerden zich dat ze een beter trainingsplan nodig hadden. Ze introduceerden drie belangrijke "superkrachten" om de oude problemen op te lossen:

1. De "Opwarming" en "Sprint" Strategie (Temperature-Scheduled Learning)

Stel je voor dat de professor een klas geeft.

De Oude Fout: De leraar gaf soms heel gemakkelijke, voor de hand liggende antwoorden, en andere keren wilde, verwarrende of zeldzame antwoorden. De student raakte in de war door de wilde antwoorden te proberen te leren voordat de basis werd begrepen.
De Nieuwe Oplossing: Het team creëerde een tweetrapsschema.
- Stap 1 (Opwarming): Eerst gaven ze de student de helderste, meest zelfverzekerde antwoorden van de professor (lage temperatuur). Dit hielp de student een sterke basis op te bouwen en de basispatronen snel te leren.
- Stap 2 (Sprint): Zodra de student zelfverzekerd was, introduceerden ze meer diverse en lastige antwoorden (hoge temperatuur). Dit stelde de student bloot aan een grotere variëteit aan probleemoplossende stijlen, waardoor ze flexibeler en robuuster werden.
- Resultaat: De student leerde eerst de basis, en breidde daarna hun horizon uit, in plaats van direct overweldigd te raken.

2. De "Zoek de Verschillen" Filter (Divergence-Aware Sampling)

Wanneer de professor en de student naar een probleem kijken, denken ze soms anders.

De Oude Fout: De student werd gedwongen om elk antwoord van de professor over te nemen, zelfs als de student al zelfverzekerd was over een andere (foute) manier. Dit maakte de hersenen van de student in de war.
De Nieuwe Oplossing: Het team bouwde een filter die naar de antwoorden kijkt en vraagt: "Waar denkt de professor dat dit een geweldig idee is, maar denkt de student dat het een slecht idee is?"
- Ze richtten de training op deze specifieke momenten. Dit zijn de "hoogwaardige" lessen waar de student het meest waarschijnlijk iets nieuws leert en zijn fouten corrigeert.
- Ze negeerden de antwoorden waarbij de student en de professor het al eens waren (omdat de student dat al wist) of waar de student zelfverzekerd fout zat op een manier die niet gemakkelijk te herstellen was.
- Resultaat: De student besteedde hun studietijd alleen aan de lessen die daadwerkelijk geleerd moesten worden, waardoor hun studietijd veel efficiënter werd.

3. De "Oefenronde" Drill (Mixed-Policy Distillation)

Dit lost het probleem op waarbij de student de leraar nodig heeft om het volgende woord te fluisteren.

De Oude Fout: De student oefende door de volledige antwoorden van de leraar te kopiëren. Maar tijdens de echte toets was de leraar er niet. De student begon te schrijven, liep vast, en raakte dan in paniek omdat ze nooit geoefend hadden om een zin zelfstandig af te maken.
De Nieuwe Oplossing: Ze creëerden een "oefendrill".
- Ze lieten de student proberen een probleem zelf op te lossen.
- Als de student van het pad af wrak of vastliep, stopten ze de student midden in een zin.
- Vervolgens stapte de professor in om de zin correct af te maken.
- De student leerde vervolgens van dit "half geschreven, half gecorrigeerde" antwoord.
- Resultaat: De student leerde hoe ze uit hun eigen fouten konden herstellen en de taak zonder hulp konden voltooien, wat hen veel betrouwbaarder maakte in de echte wereld.

De Verbazingwekkende Resultaten

Door dit slimme trainingskamp te gebruiken, creëerde het team een klein model (slechts 4 miljard parameters, wat zeer klein is in de AI-wereld) dat net zo goed, of zelfs beter kan denken dan veel grotere modellen (sommige met 32 miljard parameters).

Efficiëntie: Ze bereikten deze resultaten met slechts 448.000 trainingsvoorbeelden. Andere teams gebruiken vaak miljo's of zelfs tientallen miljo'nen voorbeelden om vergelijkbare resultaten te behalen. Het is alsoag een PhD behalen met een fractie van de studietijd.
Prestaties: Bij moeilijke wiskundecompetities (zoals AIME), programmeeruitdagingen en wetenschappelijke vragen, versloeg dit kleine model veel van de "reuzen" in het veld.

Samenvatting

Dit artikel laat zien dat je geen enorme hoeveelheid data of een gigantische computer nodig hebt om een slimme AI te creëren. In plaats daarvan heb je een slimmere manier van lesgeven nodig. Door de student in fasen te onderwijzen, te focussen op de juiste lessen en te oefenen met het voltooien van taken op eigen kracht, kan een kleine AI een kampioen in redeneren worden.

Het team heeft hun "leerboek" (de dataset) en de "afgestudeerde student" (het model) gedeeld met de wereld, zodat anderen kunnen leren van hun methode.

Technische Samenvatting: Distributie-gealigneerde Sequentie-distillatie voor Superieure Long-CoT Redenering

1. Probleemstelling

Het artikel behandelt de beperkingen van het huidige heersende paradigma voor het verbeteren van redeneercapaciteiten in kleine taalmodellen: Sequentie-niveau Distillatie via Supervised Fine-Tuning (SFT) op door docenten gegenereerde antwoorden. Hoewel recente werken (bijv. DeepSeek-R1 distillatie) hebben aangetoond dat SFT op hoogwaardige outputs van docenten sterke redeneerprestaties kan opleveren, betogen de auteurs dat deze aanpak fundamenteel gebaseerd is op een SFT-perspectief in plaats van op de kernprincipes van kennisdistillatie.

De auteurs identificeren drie kritieke beperkingen in de huidige praktijken:

Onvoldoende Representatie van de Docentdistributie: Huidige methoden vertrouwen vaak op willekeurige bemonstering met heuristische filtering, wat faalt in het adequaat dekken van de volledige ondersteuning van de sequentie-niveau outputdistributie van de docent. Dit leidt tot slechte modus-dekking of de inclusie van ruisachtige, laag-waarschijnlijke sequenties die moeilijk te leren zijn voor kleinere studentmodellen.
Misalignement van Leercapaciteit: Standaard SFT verhoogt de waarschijnlijkheid van grondwaarheid-tokens, maar kan misleidende gradiënten genereren. Specifiek, als een student een hoge waarschijnlijkheid toekent aan een token dat de docent een lage waarschijnlijkheid toekent, duwt SFT de student verder weg van de distributie van de docent. Bestaande methoden missen een mechanisme om doeldistributies te identificeren die beter aansluiten bij de leercapaciteit van de student.
Exposure Bias: Modellen die getraind zijn met teacher forcing (blootgesteld aan docent-prefixes) lijden onder distributieverschuivingen tijdens autoregressieve inferentie, waarbij ze moeten vertrouwen op hun eigen voorspellingen. Deze mismatch leidt tot foutaccumulatie en cumulatieve afwijkingen, met name bij lange Chain-of-Thought (CoT) redeneertaken.

2. Methodologie

De auteurs stellen DASD (Distribution-Aligned Sequence Distillation) voor, een trainingspipeline die ontworpen is om expliciet interactie tussen docent en student af te dwingen en de drie bovenstaande beperkingen aan te pakken. De pipeline bestaat uit drie kerninnovaties:

A. Temperatuur-gescheduled Leren

Om de afweging tussen leerstabiliteit en distributiede dekking aan te pakken, stellen de auteurs een tweestaps-trainingsschema voor:

Fase 1 (Lage Temperatuur): De student wordt eerst getraind op hoog-betrouwbare, laag-temperatuur samples (bijv. $T=0.6$ ). Deze samples vertonen consistente patronen en maken snelle, stabiele convergentie mogelijk.
Fase 2 (Hoge Temperatuur): De training gaat verder met hoog-temperatuur samples (bijv. $T=1.0$ ). Hoewel deze samples moeilijker te leren zijn vanwege hogere diversiteit en ruis, dekken ze een breder bereik van de output-modi van de docent.
Rationale: Dit "easy-to-hard" curriculum (of reverse temperatuur-annealing) stelt de student in staat om eerst consistente patronen te begrijpen voordat hij probeert de rijkere, meer diverse latente informatie in de volledige distributie van de docent te leren.

B. Divergentie-bewuste Bemonstering (DAS)

Om een doel-sequentieniveau-distributie te identificeren die effectief leren ondersteunt, introduceren de auteurs een distributie-decompositiekader. Ze analyseren de waarschijnlijkheidsverschillen tussen de docent ( $p_T$ ), de pre-distillatie student ( $p_S$ ) en de post-distillatie student ( $p_D$ ) over zin-niveau segmenten van de antwoorden.

Classificatie: Antwoorden worden gecategoriseerd in vier typen: Docentzinnen ( $p_T \gg p_S$ ), Studentzinnen ( $p_S \gg p_T$ ), Gedeelde zinnen (vergelijkbare waarschijnlijkheden), en Versterkte zinnen (vergelijkbare $p_T, p_S$ maar hogere $p_D$ ).
Selectiestrategie: Empirische analyse onthult dat Docentzinnen (waar de docent een hoge betrouwbaarheid toekent en de student een lage waarschijnlijkheid) het sterkst correleren met verbeterde prestaties op de testset. Deze instanties bieden duidelijke, niet-misleidende gradiënten.
Implementatie: De bemonsteringsstrategie geeft prioriteit aan voorbeelden die rijk zijn aan Docentzinnen. In tegenstelling tot logit-distillatie vereist deze methode alleen token-niveau waarschijnlijkheden van de docent en de student, wat compatibel is met modellen met verschillende tokenizers en architecturen.

C. Mixed-Policy Distillatie

Om exposure bias te mitigeren, introduceren de auteurs een lichtgewicht mixed-policy fase volgend op de initiële off-policy SFT:

Proces: Het getrainde studentmodel genereert antwoorden op een subset van trainingsvragen. Voor antwoorden die significant afwijken van de docent (bijv. afgebroken of onjuist), wordt de generatie van de student op een willekeurig punt afgebroken, en wordt de docent geprompt om de sequentie te voltooien.
Training: Alleen de continuaties van de docent die kwaliteitsfilters passeren, worden behouden voor fine-tuning. Dit creëert een hybride dataset die zowel docent-geforceerde prefixes als student-gegenereerde prefixes bevat, waardoor het model leert zijn eigen fouten te corrigeren en de distributieverschuiving tussen training en inferentie te verminderen.

3. Belangrijkste Bijdragen

DASD-4B-Thinking Model: Een volledig open-source, 4B-parameter redeneermodel dat state-of-the-art (SOTA) prestaties behaalt onder open-source modellen van vergelijkbare schaal.
Methodologische Innovaties: De voorstel van een drieledige pipeline (Temperatuur-gescheduled Leren, Divergentie-bewuste Bemonstering, en Mixed-Policy Distillatie) die sequentie-niveau distillatie herdefinieert door de focus te leggen op distributie-alignement in plaats van eenvoudige SFT.
Data-efficiëntie: Het model behaalt zijn prestaties met slechts 448K trainingssamples, een orde van grootte minder dan de meeste bestaande open-source inspanningen (die vaak miljoenen samples gebruiken).
Cross-Architectuur Validatie: De pipeline wordt gedemonstreerd als effectief over diverse modelfamilies (bijv. distilleren van gpt-oss-120b naar Qwen3-4B) en schalen (gevalideerd op een 30B MoE variant, DASD-30B-A3B-Thinking-Preview).

4. Experimentele Resultaten

Het model werd geëvalueerd op vijf uitdagende benchmarks: AIME24, AIME25, LiveCodeBench (v5/v6), en GPQA-Diamond.

Wiskundig Redeneren: DASD-4B-Thinking behaalde 88.5 op AIME24 en 83.3 op AIME25. Deze scores overtreffen aanzienlijk grotere modellen, waaronder de 32B-schaal Qwen3-32B (81.4/72.9) en GLM-Z1-32B (80.8/63.6), evenals de 8B DeepSeek-R1-0528-Qwen3-8B (86.0/76.3).
Code Generatie: Op LiveCodeBench v5 scoorde het model 69.3, waarmee het Qwen3-32B (65.7) en NVIDIA-OpenReasoning-Nemotron-7B (63.9) verslaat.
Wetenschappelijk Redeneren: Op GPQA-Diamond behaalde het 68.4, wat overeenkomt met de prestaties van de 32B Qwen3-32B en in de buurt komt van de 253B NVIDIA-Nemotron-Ultra-253B (76.0).
Ablatie-studies: De resultaten bevestigen dat elk component incrementeel bijdraagt. Lage-temperatuur training vestigt een sterke baseline, hoge-temperatuur training breidt de capaciteit uit, en mixed-policy distillatie biedt uiteindelijke robuustheid tegen exposure bias.

5. Betekenis en Claims

Het artikel claimt dat DASD-4B-Thinking aantoont dat complexe redeneercapaciteiten efficiënt kunnen worden overgedragen van grote docentmodellen naar lichte studenten via een verfijnde distillatiepipeline. De auteurs benadrukken dat hun aanpak:

Distillatie Herdefinieert: Het gaat verder dan het "SFT-perspectief" om expliciet de kern van distillatie aan te pakken—het leren van de volledige outputdistributie van de docent.
Scaling Laws Uitdaagt: Het behaalt prestaties die vergelijkbaar zijn met of beter zijn dan modellen die 8 tot 60 keer groter zijn, wat suggereert dat datakwaliteit en distillatiestrategie crucialer zijn dan louter het aantal parameters voor redeneertaken.
Reproduceerbaarheid Bevordert: Door het model, de trainingsdataset en de methodologie open-source te maken, beogen de auteurs de gemeenschap te stimuleren tot onderzoek naar efficiënte, transparante redeneermodellen.

De auteurs concluderen dat hun werk een nieuw perspectief biedt voor de ontwikkeling van compacte, hoogpresterende redeneermodellen, hoewel zij erkennen dat toekomstig werk nodig is om distributie-bewuste herweging verder te verfijnen en agentische capaciteiten te integreren.