🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

Het artikel introduceert DASH (Divergence-Adaptive Supervision Horizons), een methode die on-policy zelf-distillatie voor redeneermodellen verbetert door de supervisiegewichten op tokenniveau adaptief aan te passen op basis van de temporele evolutie van teacher-student-divergenties, waardoor de prestaties over wiskundige benchmarks worden verbeterd zonder dat er aanvullende forward passes nodig zijn.

Oorspronkelijke auteurs: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Gepubliceerd 2026-08-07

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers leren om complexe puzzels op te lossen, zoals geavanceerde wiskundige problemen of het schrijven van computercode, door telkens en telkens te oefenen. Dit vakgebied wordt Reinforcement Learning genoemd, waarbij de computer (de "student") verschillende antwoorden probeert en aan het einde een simpel "ja" of "nee" krijgt om te zien of het goed was. Het probleem is, als de student een lang, kronkelig pad neemt om daar te komen, vertelt die enkele "ja" of "nee" hen niet welke specifieke stappen goed waren en welke slecht. Het is alsof je een "B" krijgt voor een eindexamen zonder te weten welke vragen je hebt gemist. Om dit op te lossen, gebruiken onderzoekers een truc genaamd "On-Policy Self-Distillation." Denk aan dit als de student die een "geprivilegieerde docent" (die de geheime antwoordsleutel kent) vraagt om elke stap van de reis van de student te beoordelen terwijl ze bezig zijn. Dit geeft de student een dichte stroom van feedback in plaats van slechts één aan het einde. Maar hier zit de adder onder het gras: de standaardmanier om deze docent te gebruiken, behandelt elke stap van de feedback precies hetzelfde, alsof een fout gemaakt aan het begin even belangrijk is als een fout gemaakt aan het einde, ongeacht hoe de prestaties van de student veranderden tijdens het proces.

Dit artikel introduceert een nieuwe methode genaamd DASH (Divergence-Adaptive Supervision Horizons) om dit blinde vlek te verhelpen. De onderzoekers ontdekten dat de standaardaanpak te rigide is; het houdt geen rekening met het verhaal van de fouten van de student. Soms kan een kleine fout vroeg in het proces leiden tot een totale ramp later, terwijl een soortgelijke fout later onschadelijk kan zijn. DASH werkt als een slimme editor die naar de hele sequentie van feedback kijkt. Als de student afwijkt van het advies van de docent op een manier die suggereert dat er een groeiend probleem is, versterkt DASH het gewicht van die signalen om koers te corrigeren. Als de student het goed doet, tempert het de signalen af. Het artikel laat zien dat door deze aanpassingen te maken, DASH de student veel sneller en beter helpt leren dan voorheen, waarbij de scores voor wiskundig redeneren over verschillende modelgroottes worden verbeterd zonder dat er extra rekenkracht of een slimmere docent nodig is.

Het Probleen: De "One-Size-Fits-All" Beoordelaar

In de wereld van het trainen van AI om te redeneren, hebben we een studentmodel en een docentmodel. De student genereert een lange keten van gedachten (een "rollout") om een probleem op te lossen. De docent, die toegang heeft tot de juiste oplossing, kijkt naar de student en zegt: "Hé, bij dit specifieke woord had je dit andere woord moeten kiezen." Dit wordt token-level supervision genoemd.

De standaardmethode, genaamd OPSD (On-Policy Self-Distillation), verzamelt al deze kleine "je bent fout" signalen van de docent en middelt ze uit. Het is alsof een docent een rapport aan een student geeft waarbij elke fout precies even zwaar meetelt, ongeacht wanneer het gebeurde.

De auteurs realiseerden zich dat dit een beetje onzinnig is. Stel je voor dat een student een wiskundeprobleem oplost.

Scenario A: De student maakt een kleine rekenfout in stap 1, maar herstelt zichzelf en corrigeert het in stap 2. De "divergentie" (de kloof tussen student en docent) was even hoog, maar verdween daarna weer.
Scenario B: De student maakt exact dezelfde kleine fout in stap 1, maar maakt het steeds erger en erger, waardoor hij tegen stap 10 in een volledig fout antwoord vervalt.

In standaard OPSD krijgen beide scenario's exact dezelfde "straf" voor die eerste stap. Het systeem beseft niet dat in Scenario B die eerste fout het begin was van een treinramp, terwijl het in Scenario A slechts een kleine struikelpartij was. De standaardmethode behandelt de lokale fout in isolatie, waarbij het de geschiedenis van hoe de student tot dat moment presteerde en de toekomst van waar die fout toe zou leiden, negeert.

De Oplossing: DASH, de Adaptieve Coach

De auteurs stellen DASH voor om het beoordelingssysteem een geheugen en een gevoel van context te geven. In plaats van alleen de fouten te middelen, vraagt DASH: "Hoe past deze specifieke fout in het verhaal van het hele antwoord?"

Zo werkt DASH, met behulp van een eenvoudige analogie:

Stel je voor dat de student een pad bewandelt en de docent houdt een touw vast dat aan de taille van de student is bevestigd. De "divergentie" is hoe ver de student afwijkt van het ideale pad van de docent.

Het meten van de kloof: DASH kijelt naar hoe ver de student van de docent verwijderd is bij elke stap.
Het "Poort"-mechanisme: In plaats van de student elke keer met dezelfde kracht terug te trekken, gebruikt DASH een speciale "poort".
- Als de student het slechter doet dan gemiddeld (de kloof wordt groter), gaat de poort wijd open. Dit betekent dat de feedback van de docent voor toekomstige stappen een sterker signaal krijgt om de student hard terug te trekken. Het zegt: "Hé, dit is een slechte trend! We moeten extra aandacht besteden aan het corrigeren van dit pad."
- Als de student het beter doet dan gemiddeld (de kloof is klein), gaat de poort een beetje dicht. De feedback van de docent is er nog wel, maar het schreeuwt niet zo hard omdat de student al op de goede weg is.
Terugkijken: DASH gebruikt een slimme truc genaamd "backward aggregation". Het begint aan het einde van het antwoord en werkt terug naar het begin. Het vraagt: "Als ik naar het einde van dit pad kijk, hoeveel heeft deze specieveke stap bijgedragen aan de uiteindelijke puinhoop (of succes)?" Het past vervolgens het gewicht van de feedback voor die stap aan op basis van wat er daarna gebeurde.

Dit creëert een dynamisch systeem waarbij de "belangrijkheid" van een fout niet vaststaat. Een fout die leidt tot een lange reeks fouten krijgt een zwaar gewicht. Een fout die snel wordt gecorrigeerd, krijgt een lichter gewicht.

Wat Ze Vonden

De onderzoekers hebben dit idee getest op drie verschillende groottes van AI-modellen (1,7 miljard, 4 miljard en 8 miljard parameters) met behulp van drie moeilijke wiskunde-benchmarks (AIME 2024, AIME 2025 en HMMT Februari 2025).

De Resultaten: DASH versloeg de standaardmethode (OPSD) consequent op alle fronten. Voor het kleinste model (1,7B) steeg de gemiddelde nauwkeurigheid van 41,87% naar 45,07%. Voor de grotere modellen waren de winsten ook duidelijk, waarbij het 8B-model van 64,80% naar 66,40% ging.
De "Waarom": Door middel van een reeks experimenten bewezen ze dat de verbetering niet alleen kwam doordat ze meer "ruis" toevoegden of de wiskunde willekeurig veranderden. Ze testten wat er zou gebeuren als ze een vaste poort gebruikten (zoals de oude methode) versus een slimme, veranderende poort. De slimme poort (DASH) was de winnaar. Ze controleerden ook of de richting van de logica ertoe deed (bijv. moeten we grote kloven meer of minder straffen?). Ze ontdekten dat hun specifieke logica — het straffen van grote kloven door de poort wijder te openen om meer correctie toe te laten — de sleutel was.
Efficiëntie: Het beste deel is dat DASH geen super-slimme docent of extra rekenkracht nodig heeft. Het hergebruikt simpelweg de informatie die de standaardmethode al berekende, maar verwerkt dit op een slimmere manier. Het is alsof je een stapel ruwe data neemt en deze beter organiseert, in plaats van meer data te verzamelen.

De Kernboodschap

Het artikel suggereert dat wanneer we AI leren te redeneren, we niet alleen fouten moeten tellen; we moeten het verhaal van de fouten begrijpen. Door de supervisie "adaptief" te maken — door de mate waarin we naar de docent luisteren aan te passen op basis van hoe de student over de tijd presteert — kunnen we de AI veel effectiever helpen leren. DASH laat zien dat een beetje context een heel eind komt en een rigide beoordelingssysteem verandert in een flexibele, intelligente coach die weet wanneer hij streng moet zijn en wanneer hij mild moet zijn.

Technische Samenvatting: DASH - Divergence-Adaptive Supervision Horizons voor On-Policy Self-Distillation van Reasoning Modellen

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft de redeneervaardigheden van Large Language Models (LLMs) verbeterd door gebruik te maken van automatisch verifieerbare signalen (bijv. de juistheid van een antwoord). Echter, standaard RLVR vertrouwt op ijle (sparse), sequentie-niveau beloningen, wat een uitdaging creëert voor de "temporele credit assignment": het is moeilijk om de bijdrage van individuele token-niveau beslissingen aan de uiteindelijke uitkomst te onderscheiden.

Om dit te verzachten, is On-Policy Self-Distillation (OPSD) geïntroduceerd. Bij OPSD genereert een student-model een respons, terwijl hetzelfde model, geconditioneerd op geprivilegieerde informatie (zoals een referentie-oplossing), fungeert als een docent om dichte, token-niveau distributieve supervisie te bieden.

De Kernbeperking: Hoewel OPSD de ijle signalen vermindert, stelt het paper vast dat standaard ("vanilla") OPSD de temporele structuur van de rollout onderbenut. Vanilla OPSD aggregeert lokale distributieve discrepanties (divergenties) met behulp van uniforme coëfficiënten ( $1/T$ ) voor elk token, ongeacht:

De positie van het token.
De geschiedenis van discrepanties die tot dat token hebben geleid.

De auteurs stellen dat in autoregressieve generatie, dezelfde lokale divergentie-amplitude kan voorkomen in zeer verschillende temporele contexten (bijv. na een lange geschiedenis van correct redeneren versus na een reeks fouten). Omdat de lokale scalaire waarde alleen deze contexten niet kan onderscheiden, voorkomt het toewijzen van een uniforme weging dat het supervisiesignaal zich aanpast aan de gerealiseerde discrepantie-sequentie.

2. Methodologie: Divergence-Adaptive Supervision Horizons (DASH)

Om de onmogelijkheid van vanilla OPSD om te adapteren aan temporele discrepantieprofielen aan te pakken, stellen de auteurs DASH voor. De methode introduceert een mechanisme om token-niveau supervisie-gewichten dynamisch aan te passen op basis van hoe lokale divergenties tijdens de generatie evolueren.

Belangrijkste Componenten

Sequentie-Relatieve Divergentiekloven:
In plaats van de ruwe lokale divergentiewaarden ( $d_t$ ) direct te gebruiken, berekent DASH de kloof tussen het lokale distillatie-signaal en het sequentie-gemiddelde ( $\bar{r}$ ):
$g_t = r_t - \bar{r}$
waarbij $r_t$ de afgeknipte (clipped) lokale KL-divergentie is op stap $t$ .
Adaptieve Propagatie-poorten ( $\lambda_t$ ):
Deze kloven worden via een sigmoid-functie met een sensitiviteitsparameter $\kappa$ in kaart gebracht naar adaptieve propagatie-poorten:
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$

Logica: Als de lokale divergentie onder het sequentie-gemiddelde ligt ( $g_t < 0$ ), is de poort $\lambda_t$ groter, waardoor toekomstige signalen verder terug kunnen propageren. Als de divergentie boven het gemiddelde ligt ( $g_t > 0$ ), is de poort kleiner, wat de propagatie beperkt. Dit creëert een "supervisie-horizon" die zich aanpast aan de sequentie.

Backward Multi-Step Aggregatie:
DASH vervangt de uniforme aggregatie van vanilla OPSD door een backward recursie die een pad-afhankelijke geaggregeerde signaal ( $A_t$ ) construeert:
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{voor } t = T-1, \dots, 1$
Het uiteindelijke verlies is het gemiddelde van deze geaggregeerde signalen:
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

Structureel Inzicht

De auteurs leiden een fixed-horizon gradiëntdecompositie af voor de verwachte objectief, waarbij zij aantonen dat de exacte gradiënt een trajectterm bevat waarbij coëfficiënten afhankelijk zijn van toekomstige divergenties. Hoewel DASH toekomstige divergenties niet expliciet schat of score-function gradiënten gebruikt, bootst het deze orde-afhankelijke structuur na door de gerealiseerde discrepantie-sequentie te gebruiken om de gewichten van de directe distillatie-term te conditioneren.

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

Identificatie van een Temporele Kloof: De auteurs karakteriseren een beperking in vanilla OPSD waarbij het toewijzen van uniforme gewichten aan lokale divergenties de objectief invariant maakt voor verschillende temporele arrangementen van dezelfde divergentiewaarden, wat adaptatie aan de temporele structuur verhindert.
Voorstel van DASH: Een nieuwe methode die gebruik maakt van sequentie-relatieve divergentiekloven om adaptieve propagatie-poorten te construeren. Dit maakt dichte distillatie-supervisie mogelijk die de temporele evolutie van lokale discrepanties exploiteert via multi-step aggregatie.
Empirische Validatie: Uitgebreide experimenten over drie wiskundige redeneerbenchmarks (AIME 2024, AIME 2025, HMT 2025) en drie model-schalen (Qwen3-1.7B, 4B, 8B) tonen aan dat DASH consequent beter presteert dan gematchte vanilla OPSD-reruns en andere recente distillatie-baselines.

4. Experimentele Resultaten

De auteurs voerden experimenten uit met Qwen3 Instruct-modellen (1.7B, 4B, 8B) op wiskundige redeneertaken.

Prestatiewinst: DASH behaalde de hoogste scores in alle negen benchmark-model instellingen vergeleken met baselines (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD).
- Op Qwen3-1.7B verbeterde DASH de gemiddelde nauwkeurigheid van 41.87% (OPSD) naar 45.07% (+3.20 punten).
- Op Qwen3-4B verbeterde het van 63.60% naar 65.00% (+1.40 punten).
- Op Qwen3-8B verbeterde het van 64.80% naar 66.40% (+1.60 punten).
Ablatie-studies:
- Adaptief vs. Vast: Het vervangen van adaptieve poorten door vaste coëfficiënten ( $\lambda$ ) verbeterde de prestaties ten opzichte van vanilla OPSD, maar bleef inferieur aan DASH, wat bevestigt dat het adapteren aan de specifieke discrepantie-sequentie cruciaal is.
- Poortrichting: Het omkeren van de teken van de poort-functie (Inverse-gap) resulteerde in slechte prestaties, wat de specifieke ontwerp-hypothese valideert dat propagatie open moet blijven na kleine discrepanties en beperkt moet worden na grote discrepanties.
- Coëfficiëntallocatie vs. Schaal: Het ontkoppelen van het relatieve coëfficiëntprofiel van de gemiddelde schaal toonde aan dat de primaire winsten komen van de discreantie-geconditioneerde allocatie, en niet louter van een toename in de algehele supervisie-schaal.
Ontwerpkeuzes:
- Sensitiviteit ( $\kappa$ ): Een matige sensitiviteit ( $\kappa=5$ ) leverde de beste resultaten op, waarbij een balans werd gevonden tussen onvoldoende adaptatie en overdreven scherpe reacties.
- Divergentiemetriek: Forward KL-divergentie presteerde beter dan symmetrische JSD en Reverse KL.
- Vocabulaire Ondersteuning: Volledige vocabulaire-ondersteuning was optimaal; het comprimeren naar top-1 tokens veroorzaakte aanzienlijke prestatieverliezen.

5. Betekenis en Claims

Het paper claimt dat DASH een significante verbetering biedt in on-policy self-distillation door de temporele structuur van teacher-student discrepanties te benutten zonder extra computationele overhead te vereisen.

Efficiëntie: DASH hergebruikt de teacher en student distributies die al berekend worden door standaard OPSD. Het vereist geen extra teacher of student forward passes, waardoor de winsten computationeel efficiënt zijn.
Generaliseerbaarheid: De verbeteringen waren consistent over verschillende model-schalen en benchmarks, wat suggereert dat de methode niet beperkt is tot specifieke modelcapaciteiten of datasets.
Inzicht: Het werk biedt nieuwe inzichten in hoe dichte supervisie moet worden gealloceerd in langdurige (long-horizon) redeneren, waarbij men verder gaat dan uniforme weging naar sequentie-bewuste, adaptieve horizons.

De auteurs concluderen dat door het aanpassen van token-niveau gewichten aan de gerealiseerde discrepantie-sequentie, DASH effectief het probleem van de temporele credit assignment aanpakt dat inherent is aan standaard RLVR en OPSD-benaderingen.