🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

Het artikel stelt Near-Policy Distillation (NPD) voor, een asynchroon raamwerk dat on-policy kennisdistillatie versnelt door generatie te ontkoppelen van training en $\Delta$ -IFD-filtering toe te passen om policy-lag te mitigeren, wat resulteert in een 8,1-voudige snelheidswinst en superieure prestaties ten opzichte van standaard SFT en grotere modellen.

Oorspronkelijke auteurs: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Leraar-Student" Misverstand

Stel je voor dat je een student (een klein AI-model) leert opstellen schrijven door hen een meesterleraar (een gigantisch AI-model) te laten kopiëren.

De Oude Manier (Standaard Distillatie): Je geeft de student een lijst met opstellen die de leraar al heeft geschreven. De student leert ze uit het hoofd. Maar wanneer de student een toets moet maken, moet hij van nul beginnen. Omdat hij alleen de perfecte antwoorden van de leraar heeft uit het hoofd geleerd, raakt hij in de war wanneer hij zijn eigen zinnen moet genereren. Het is als een student die een script kan opzeggen, maar bevriest als er om improvisatie wordt gevraagd.
De "On-Policy" Manier (De Duure Oplossing): Om dit op te lossen, laat je de student eerst zijn eigen opstellen schrijven, waarna je ze aan de leraar toont voor correcties. Dit werkt uitstekend omdat de student leert van zijn eigen fouten. Echter, het is ongelooflijk traag. Elke keer als de student een zin schrijft, moet de leraar stoppen, het lezen, beoordelen en feedback geven voordat de student de volgende zin kan schrijven. Het is als een tutor die weigert de student een woord te laten schrijven totdat hij de vorige heeft beoordeeld.

De Oplossing: Near-Policy Distillatie (NPD)

De auteurs stellen een nieuwe methode voor genaamd Near-Policy Distillatie. Denk hierbij aan een snelheidsfabriek die de voordelen van de "On-Policy"-methode behoudt zonder de traagheid.

Hier is hoe het werkt, opgesplitst in drie delen:

1. De Asynchrone Assemblagelijn (Ontkoppeling)

In plaats van dat leraar en student in een langzaam, een-op-een gesprek werken, scheidt NPD hen.

De Taak van de Student: Het studentenmodel draait snel op een computer en genereert duizenden opstellen (antwoorden) tegelijk, zoals een fabriek die producten voortbrengt. Het wacht niet op de leraar.
De Taak van de Leraar: Zodra de student een grote stapel opstellen heeft, bekijkt het lerarenmodel ze allemaal tegelijk. Omdat de leraar niet wacht tot de student typt, kan hij ze in "pakketten" verwerken (zoals een heel hoofdstuk van een boek in één keer lezen in plaats van één pagina per keer).
Het Resultaat: Dit is 8,1 keer sneller dan de oude trage methode omdat de computer niet stilzit te wachten op feedback.

2. De "Veiligheidsfilter" (Het ∆-IFD Mechanisme)

Er is een addertje onder het gras. Omdat de student opstellen genereert voordat de leraar ze beoordeelt, kan de student een beetje "dronken" worden van zijn eigen ideeën. Hij kan beginnen met het schrijven van onzin of dingen die volledig verkeerd zijn, omdat zijn "beleid" (zijn manier van denken) is afgeweken van dat van de leraar.

Om dit op te lossen, introduceert het paper een Slimme Filter genaamd ∆-IFD.

De Analogie: Stel je voor dat de student een beginnende kok is en de leraar een chef met een Michelin-ster. De student kookt een hoop gerechten.
- Zone 1 (Degeneratie): De student koopt iets zo simpel en raar (zoals een kom met gewoon water) dat zelfs de leraar denkt dat het te makkelijk is, maar de student is in de war. De filter gooit dit weg.
- Zone 2 (Cognitieve Disconnect): De student kookt een gerecht waar hij zeer zeker van is, maar de Michelin-chef vindt het onzin. Dit is gevaarlijk omdat de student koppig verkeerd zit. De filter gooit dit weg.
- Zone 3 (De Proximale Leerzone): De student kookt iets dat net iets boven zijn vaardigheidsniveau ligt, maar de leraar is het ermee eens dat het goed en nuttig is. Dit is de enige zone waar de student van leert.

Deze filter zorgt ervoor dat de student alleen leert van "Goudelokje"-voorbeelden: niet te makkelijk, niet te moeilijk en niet gevaarlijk verkeerd. Dit houdt de training stabiel, zelfs als de student en de leraar niet in real-time met elkaar praten.

3. De "Sparse Update" (De Af en Toe Reset)

Normaal gesproken kunnen de ideeën van de student in deze snelle fabrieken na verloop van tijd te ver afdrijven van de stijl van de leraar.

De Oplossing: In plaats van de hele fabriek te stoppen om elke seconde te synchroniseren (wat traag is), stopt NPD de lijn alleen af en toe om het brein van de student te resetten zodat het overeenkomt met de huidige stijl van de leraar.
Het Resultaat: Het paper vond dat het doen van deze "reset" slechts één of twee keer tijdens het hele trainingsproces voldoende is om alles op koers te houden, wat enorme hoeveelheden tijd bespaart.

Het Grote Finale: Een Super-Student

Het paper toont aan dat deze methode niet alleen de student sneller traint; het maakt de student slimmer.

Het Resultaat: Ze namen een klein model van 1 miljard parameters (een "klein" AI) en trainden dit met deze methode.
De Vergelijking: Dit kleine model, na getraind te zijn met NPD en een beetje extra versterkingslering, scoorde 68,73% op een moeilijke redeneertoets.
De Schok: Het versloeg een veel groter, beroemd model (Qwen3-1.7B) met 1,7 miljard parameters dat 63,69% scoorde.

Samenvatting

Near-Policy Distillatie is als het opzetten van een snelle fabriek waar een student leert van de feedback van een leraar zonder in de rij te hoeven wachten. Het gebruikt een slimme filter om slechte voorbeelden weg te gooien en af en toe resets om de student op het juiste spoor te houden. Het resultaat is een klein AI-model dat sneller en goedkoper leert en uiteindelijk slimmer is dan veel grotere modellen.

Technische Samenvatting: Near-Policy Distillatie (NPD)

1. Probleemstelling

Standaard Kennisdistillatie (KD) voor autoregressieve Large Language Models (LLM's) staat voor een fundamenteel distributiefout: studenten worden getraind op door de leraar geforceerde sequenties, maar genereren tijdens inferentie autoregressieve sequenties. Hoewel on-policy methoden (bijv. GKD, DistiLLM) dit mitigeren door te trainen op door de student gegenereerde outputs (SGO's), vertrouwen ze op rekentechnisch duur RL-achtige kaders. Deze kaders vereisen synchrone inferentie van leraar en student, wat het gebruik van sequence packing verhindert en resulteert in een lage tokenbenutting en een trage trainingsdoorvoer. Omgekeerd ondersteunt standaard Supervised Fine-Tuning (SFT) sequence packing, maar faalt het om de distributieverandering tijdens inferentie te corrigeren, wat leidt tot blootstellingsbias en foutopstapeling.

2. Methodologie: Near-Policy Distillatie (NPD)

De auteurs stellen Near-Policy Distillatie (NPD) voor, een asynchroon kader dat is ontworpen om studentgeneratie te ontkoppelen van de trainingslus. Deze herformulering stelt het systeem in staat om de voordelen van distributievorming van on-policy distillatie te benaderen, terwijl het de hoge doorvoer van off-policy SFT behoudt.

Kernarchitectuur

De NPD-pijplijn bestaat uit drie asynchrone fasen:

Student-gedreven Generatie: Het huidige studentenmodel genereert antwoorden voor een promptdataset. Deze sequenties worden gegenereerd in hoog-doorvoer batches (bijv. met vLLM).
Leraarannotatie via Gepakte Parallelle Prefill: In tegenstelling tot on-policy methoden die synchrone autoregressieve decoding vereisen, klinkt NPD meerdere studentantwoorden samen tot vaste lengte sequenties. Het leraarmodel verwerkt deze via een parallelle prefill-stap om logits te genereren. Alleen de top- $k$ logits worden geregistreerd om opslag en superviekwaliteit in evenwicht te brengen.
Composiete Optimalisatie: De student wordt bijgewerkt met een standaard SFT-architectuur met een composiete verliesfunctie:
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
waarbij $L_{KD}$ een Top- $k$ KL-divergentie is die uitsluitend wordt berekend over de hoog-vertrouwensvoorspellingen van de leraar.

Aanpak van Policy-Lag: $\Delta$ -IFD en Sparse Updates

Het asynchrone karakter van NPD introduceert policy-lag, waarbij het data-generatiebeleid afwijkt van het huidige trainingsbeleid, wat potentieel ruis introduceert. NPD gaat dit tegen met twee mechanismen:

$\Delta$ -IFD-filtering: Een heuristisch steekproefselectiemechanisme gebaseerd op de Instruction-Following Difficulty (IFD)-metriek. Het berekent het differentieel moeilijkheidsgraad: $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ .
- Degeneratiezone ( $\Delta IFD < 0$ ): Steekproeven waarbij de leraar zekerder is dan de student (vaak triviale of betekenisloze patronen) worden afgewezen.
- Cognitieve disconnectiezone ( $\Delta IFD > \tau$ ): Steekproeven waarbij de student zeker is maar de leraar zeer onzeker (wat op ernstige fouten wijst) worden afgewezen.
- Proximale leerzone ( $0 \le \Delta IFD \le \tau$ ): Alleen steekproeven waarbij de leraar de basis kwaliteit bevestigt en de moeilijkheidskloof gematigd is, worden behouden. Dit zorgt ervoor dat updates binnen een "veilige proximale leerzone" blijven.
Sparse Student Updates: Om te voorkomen dat het generatiebeleid significant afwijkt, wordt het studentenmodel alleen periodiek bijgewerkt (bijv. eenmaal per 10 epoch) in plaats van continu. Dit minimaliseert de rekentechnische kosten van beleidsynchronisatie terwijl de "near-policy"-toestand behouden blijft.

Synergie met Reinforcement Learning (RL)

NPD dient als een superieure initialisatie voor daaropvolgende RL (bijv. GRPO). Door uitsluitend te trainen op hoogwaardige, gefilterde data, wordt de waarschijnlijkheidsmassa van de student geconcentreerd op een manifold van logisch correcte trajecten. Dit verkleint effectief de exploratieruimte voor de daaropvolgende RL-fase, waardoor het inefficiënte stochastische exploratie kan omzeilen en zich kan richten op fijnmazige optimalisatie.

3. Belangrijkste Bijdragen

NPD-kader: Een asynchroon distillatiekader dat generatie ontkoppelt van training, waardoor sequence packing mogelijk wordt en een 8,1 $\times$ snelheidswinst wordt bereikt ten opzichte van on-policy baselines, terwijl hun prestatievoordelen behouden blijven.
Stabilisatiemechanismen: De integratie van sparse updates en het $\Delta$ -IFD-filtermechanisme mitigeert effectief policy-lag en steekproefruis. Dit voorkomt door ruis gedomineerde gradiënten en stabiliseert empirisch de optimalisatietraject, waarbij de KL-divergentie onder de 0,10 wordt gehouden.
RL-initialisatie: De methode toont aan dat NPD-getrainde modellen een aanzienlijk beter startpunt bieden voor RL, de zoekruimte verkleinen en hogere asymptotische prestaties mogelijk maken.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met openPangu-Embedded-7B als leraar en openPangu-Embedded-1B als student, samen met vergelijkingen met Qwen2.5-Math-modellen.

Distillatieprestaties: NPD presteerde 8,09% beter dan standaard SFT en 4,83% beter dan de standaard SeqKD-benadering op een grootschalige industriële dataset (1,2 miljoen steekproeven).
Efficiëntie: In vergelijking met de state-of-the-art on-policy methode DistiLLM-2, behaalde NPD superieure nauwkeurigheid op GSM8K- en MATH-500-benchmarks met een 8,1 $\times$ reductie in trainingsduur (1,48 NPU-uren versus 12,00 NPU-uren per epoch).
RL-synergie: Wanneer gebruikt als initialisatie voor GRPO, behaalde het NPD-model een eindgemiddelde score van 68,73% over 11 benchmarks.
Vergelijking met state-of-the-art: Het uiteindelijke openPangu-Embedded-1B-RL-model (1B parameters) presteerde beter dan het aanzienlijk grotere Qwen3-1.7B (63,69%) met een score van 68,73%. Het behaalde ook leidende scores op GSM8K (87,60%) en MATH-500 (84,76%).

5. Betekenis en Claims

Het paper stelt dat NPD een schaalbaar pad biedt naar alomtegenwoordige intelligentie op apparaten door hoge prestaties AI te verzoenen met randvoorwaarden. Door effectief de exploratieruimte voor daaropvolgende RL te verkleinen en efficiënte sequence packing mogelijk te maken, toont het kader aan dat geavanceerde trainings- en afstemmingsmethodologieën impactvoller kunnen zijn dan louter het vergroten van de modelgrootte. De auteurs benadrukken dat hun aanpak de kosten verlaagt voor het trainen en implementeren van beter afgestemde kleinere modellen, waardoor LLM's met hoge capaciteiten toegankelijker worden voor real-world implementatiescenario's die lage latentie en privacybehoud vereisen.

Het werk concludeert dat hoewel NPD beperkt is door de distributie van de leraar, het vermogen om systemische fouten te filteren via $\Delta$ -IFD en training te stabiliseren door middel van sparse updates, het een robuuste oplossing maakt voor efficiënte kennisoverdracht in autoregressieve modellen.