🤖 machine learning

OPD+: Rethinking the Advantage Design for On-Policy Distillation

Dit artikel introduceert OPD+, een gecorrigeerd on-policy distillatieframework dat wiskundig bewijst welke bias wordt veroorzaakt door standaard stop-gradient operaties in advantage estimation en stelt een generieke f-divergentie-gebaseerde optimalisatiemethode voor die de prestaties op reasoning en tool-use benchmarks verbetert.

Oorspronkelijke auteurs: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge leerling probeert te onderwijzen hoe je complexe puzzels oplost door naar een meesterkok (het Teacher Model) te kijken. De leerling kijkt hoe de meester kookt, probeert de bewegingen na te doen en krijgt vervolgens feedback over hoe dicht hij bij het recept van de meester is gekomen. Dit proces wordt On-Policy Distillation (OPD) genoemd.

Lange tijd geloofden onderzoekers dat er één specifiek "recept" was voor het geven van feedback dat het beste werkte: een methode genaamd Reverse KL. Het was alsof ze zeiden: "De enige manier om te leren is om het verschil precies op déze manier te meten."

Echter, de auteurs van dit paper ontdekten een verborgen fout in de manier waarop deze feedback werd berekend. Ze ontdekten dat de manier waarop de feedback werd geleverd eigenlijk defect was, wat leidde tot verwarring en slecht leren, vooral wanneer men verschillende soorten feedbackrecepten probeerde.

Hier is de uitsplitsing van hun ontdekking met behulp van eenvoudige analogieën:

1. De kapotte feedbackloop (Het "Stop Gradient"-probleem)

In de oude methode, wanneer de leerling probeerde te leren, zei de meester: "Hier is de score van je beweging," maar bevroor vervolgens direct die score zodat deze niet kon veranderen. Ze deden dit om de stabiliteit te bewaren, zoals een leraar die naar een statische grafiek wijst en zegt: "Dit is het doel; maak je geen zorgen over hoe de grafiek is getekend."

Het paper betoogt dat dit wiskundig gezien onjuist is.

De Analogie: Stel je voor dat je leert om pijlen te schieten. De leraar zegt: "Je pijl is 5 inch naar links geland." Maar dan zegt de leraar: "Maak je geen zorgen over hoe ik die 5 inch heb berekend; beschouw het als een vaststaand feit."
Het Probleem: Die "5 inch" hangt echter af van hoe je de boog vasthoudt (de huidige staat van de leerling). Als je je greep verandert, verandert de afstand. Door de berekening te bevriezen, geeft de leraar je een leugen. Je probeert je greep aan te passen op basis van een getal dat weigert mee te veranderen met je nieuwe greep. Dit leidt tot biased estimates (bevooroordeelde schattingen)—je denkt dat je verbetert, maar je beweegt eigenlijk in de verkeerde richting.

2. De Nieuwe Oplossing: OPD+

De auteurs stellen OPD+ voor, wat in essentie "het repareren van de wiskunde" is, zodat de feedback daadwerkelijk bijwerkt terwijl de leerling leert.

De Fix: In plaats van de score te bevriezen, zegt OPD+: "Hier is de score, en hier is precies hoe die score verandert als je je hand beweegt." Het voegt een kleine correctieterm toe aan de feedback.
Het Resultaat: Het is alsof de leraar nu zegt: "Je pijl is 5 inch naar links geland. Maar onthoud dat als je je greep verstevigt, die afstand met 1 inch zal krimpen." Deze kleine correctie maakt het leerproces eerlijk en accuraat.

3. De Verrassing: Andere Recepten Werken Ook!

Jarenlang dacht iedereen dat Reverse KL de enige goede manier was om het verschil tussen de leerling en de meester te meten. Ze dachten dat andere methoden (zoals Forward KL of JSD) nutteloos waren en ervoor zouden zorgen dat de leerling zou "collapsen" (volledig stoppen met leren).

Het paper laat zien dat deze andere methoden niet echt slecht waren; ze werden alleen misbruikt vanwege de kapotte feedbackloop (het "Stop Gradient"-probleem).

De Analogie: Het is alsof iedereen dacht dat een specifiek type hamer het enige gereedschap was om een spijker in de muur te slaan. Ze probeerden een schroevendraaier, die beschadigde het hout, en concludeerden daarom dat schroevendraaiers nutteloos waren.
De Ontdekking: De auteurs hebben de manier waarop de schroevendraaier wordt vastgehouden (de wiskunde) gerepareerd. Plotseling werkte de schroevendraaier perfect! Sterker nog, in sommige gevallen (zoals de JSD-methode) werkte de schroevendraaier zelfs beter dan de hamer, waardoor de leerling moeilijkere wiskundige problemen kon oplossen en hulpmiddelen effectiever kon gebruiken dan voorheen.

4. Wat Ze Hebben Getest

Ze hebben dit getest op twee zeer moeilijke taken:

Wiskundig Redeneren: Het oplossen van hoogwaardige competitieve wiskundeproblemen (zoals AIME en HMMT).
Tool Use (Hulpmiddelen Gebruiken): Een AI leren om externe hulpmiddelen (zoals rekenmachines of zoekmachines) te gebruiken om problemen op te lossen.

De Uitkomst:

De oude methode (met de kapotte wiskunde) zorgde ervoor dat sommige leerstijlen volledig faalden (0% nauwkeurigheid).
De nieuwe methode (OPD+) heeft deze fouten hersteld.
Zelfs voor de "standaard" methode (Reverse KL) zorgde de nieuwe wiskunde ervoor dat de leerling sneller leerde en een hoger piekprestatieniveau bereikte.

Samenvatting

Het paper beweert dat de manier waarop we AI-modellen momenteel leren om elkaar te kopiëren een fundamentele wiskundige fout bevat. Door één regel code te repareren om te stoppen met het "bevriezen" van de feedback, kunnen we:

Het leerproces wiskundig eerlijk maken.
Het potentieel van verschillende leerstrategieën ontsluiten die voorheen als kapot werden beschouwd.
Betere resultaten behalen op moeilijke taken zoals wiskunde en het gebruik van hulpmiddelen, zelfs met dezelfde modellen die we al hebben.

Kortom: Bevries de feedback niet. Laat de wiskunde bijwerken, en de AI leert beter.

Technische Samenvatting: OPD+: Het heroverwegen van het Advantage-ontwerp voor On-Policy Distillatie

1. Probleemstelling

On-policy distillatie (OPD) is een techniek die wordt gebruikt om de capaciteiten van bekwame teacher-taalmodellen over te dragen naar base student-modellen door een dichte, op tokenniveau gebaseerde supervisiesignaal te optimaliseren, afgeleid van door de student gegenereerde rollouts. Hoewel bestaande OPD-implementaties (bijv. Tinker) vaak de Kullback-Leibler (KL) divergentie gebruiken als het primaire doel, hanteren zij een specifieke ontwerpkeuze: het stoppen van de gradiënt (stop-gradient) op de beloningsterm (het verschil in log-ratio tussen de student- en de teacher-likelihood).

Dit ontwerp wordt gemotiveerd door het streven naar numerieke stabiliteit, waarbij parallellen worden getrokken met target networks in Deep Q-Networks (DQN). De auteurs identificeren echter een kritiek theoretisch gebrek in deze aanpak:

Vertekende Gradiënt-schattingen: Voor algemene $f$ -divergenties hangt de beloningsfunctie af van de parameters $\theta$ van de student-policy. Het stoppen van de gradiënt op deze beloningsterm negeert de directe afhankelijkheid van de beloning van $\theta$ , wat leidt tot wiskundig incorrecte gradiënt-schattingen.
Prestatieverlies: Deze bias veroorzaakt catastrofale training-instabiliteit voor divergentiefuncties andere dan Reverse KL (bijv. Forward KL en Jensen-Shannon Divergentie), waardoor ze onder standaard OPD-instellingen onmogelijk te trainen zijn. Zelfs voor Reverse KL, hoewel de bias theoretisch verdwijnt door de score-identiteit, suggereren empirische resultaten dat het stop-gradient ontwerp nog steeds suboptimaal presteert.

2. Methodologie: Het OPD+-framework

Het paper stelt OPD+ voor, een gecorrigeerd optimalisatieframework dat het advantage-ontwerp voor on-policy distillatie opnieuw evalueert op basis van $f$ -divergentie.

2.1 Theoretische Fundering

De auteurs formuleren het OPD-doel als het minimaliseren van de $f$ -divergentie tussen de student-policy $p_\theta$ en de teacher-policy $q$ . De doelfunctie wordt gedefinieerd als:
$J_f(\theta) = \mathbb{E}_{x \sim X, y \sim p_\theta(\cdot|x)} \left[ \sum_{n=1}^{L_y} f(u_{\theta,n}) \right]$
waarbij $u_{\theta,n} = q(y_n | y_{<n}, x) / p_\theta(y_n | y_{<n}, x)$ de dichtheidsratio op tokenniveau is, en $f$ een convexe functie is met $f(1)=0$ .

2.2 De Correctie

Het paper leidt de ware gradiënt van dit doel af. Standaard OPD gebruikt een "stop-gradient" policy gradient-schatter waarbij de beloning $r = -f(u_{\theta,n})$ als vast wordt beschouwd. De auteurs tonen aan dat de ware gradiënt twee termen bevat:

De standaard score-functie term: $\mathbb{E}[r \nabla_\theta \log p_\theta]$ .
Een directe belonings-gradiënt term: $\mathbb{E}[\nabla_\theta r]$ .

Voor een algemene $f$ -divergentie verdwijnt de directe belonings-gradiënt term niet. Specifiek is $\nabla_\theta r = u_{\theta,n} f'(u_{\theta,n}) \nabla_\theta \log p_\theta$ .
Consequent is de correcte advantage-functie niet simpelweg $-f(u)$ , maar een gewogen term:
$w_f(u) = -f(u) + u f'(u)$

2.3 Speciaal geval: Reverse KL

Voor Reverse KL, $f(u) = -\log u$ . De correctieterm wordt:
$w(u) = -(-\log u) + u(-1/u) = \log u + 1$
De extra $+1$ term is een constante baseline. Omdat $\mathbb{E}[\nabla_\theta \log p_\theta] = 0$ (score-identiteit), verdwijnt deze term theoretisch in verwachting. De auteurs argumenteren echter dat in de praktijk deze constante baseline fungeert als een variantiereductie-mechanisme, wat de convergentiesnelheid en stabiliteit verbetert.

2.4 Implementatie

OPD+ vereist slechts een enkele regel code-wijziging in bestaande OPD-implementaties: het vervangen van de ruwe negatieve divergentie-beloning $-f(u)$ door de gecorrigeerde gewogen term $w_f(u)$ . Dit framework ondersteunt diverse $f$ -divergenties, inclusief Forward KL, Reverse KL en Jensen-Shannon Divergentie (JSD).

3. Belangrijkste Bijdragen

Generiek Optimalisatieframework: Het paper biedt een verenigd framework voor on-policy distillatie op basis van algemene $f$ -divergenties, waarbij de correcte gradiënt en verliesfuncties worden afgeleid die rekening houden met de afhankelijkheid van de beloning van de policy-parameters.
Theoretisch Bewijs van Bias: Het bewijst wiskundig dat de standaard stop-gradient operatie leidt tot vertekende gradiënt-schattingen voor algemene $f$ -divergenties, wat de gangbare praktijk van het behandelen van de beloning als vast invalideert.
OPD+-algoritme: De auteurs introduceren OPD+, het gecorrigeerde algoritme dat de training-instabiliteit die wordt waargenomen bij Forward KL en JSD elimineert en de prestaties verbetert, zelfs voor Reverse KL.
Empirische Validatie: Het werk daagt de heersende overtuiging uit dat Reverse KL de superieure of enige levensvatbare afstandmetriek is voor on-policy distillatie, door aan te tonen dat andere divergenties beter kunnen presteren wanneer ze correct worden geoptimaliseerd.

4. Experimentele Resultaten

De auteurs evalueerden OPD+ op de QWEN3 modelfamilie (1.7B en 8B parameters) over twee verschillende domeinen: Competitie Wiskunde (DeepMath, AIME 24/25, HMMT 25) en Agentic Tool Use.

4.1 Redding van "Onmogelijk te trainen" Divergenties

Onder het standaard stop-gradient ontwerp (OPD) vertoonden Forward KL en JSD een catastrofaal falen, met een daling naar 0% nauwkeurigheid op tool-use taken en het niet kunnen evenaren van de SFT-geïnitialiseerde baseline op wiskunde-taken.

OPD+ Correctie: Door de gecorrigeerde advantage $w(u)$ toe te passen, heeft OPD+ deze foutmodus volledig geëlimineerd.
JSD Prestaties: JSD+ stabiliseerde niet alleen, maar overtrof ook de standaard Reverse KL baseline. Op de uitdagende AIME 25 benchmark behaalde JSD+ een nauwkeurigheid van 50,42% vergeleken met de 48,54% van Reverse KL. Op de Tool Use taak bereikte JSD+ 60,29%, waarmee het de Reverse KL baseline van 59,97% overtrof.

4.2 Verbetering op Reverse KL

Zelfs binnen het domein waar Reverse KL traditioneel dominant is, leverde OPD+ strikte empirische verbeteringen op:

AIME 24: Reverse KL+ verbeterde van 64,27% naar 64,69%.
Tool Use: Reverse KL+ verbeterde van 59,97% naar 61,44%.
Convergentie: De trainingsdynamiek (Figuur 1) laat zien dat OPD+ varianten de vroege convergentie versnellen en de prestatieplateaus of degradatie voorkomen die bij standaard baselines worden gezien.

4.3 Self-Distillation (OPSD)

De methode werd ook gevalideerd in een On-Policy Self-Distillation (OPSD) setting, waarbij het model zowel als student als teacher fungeert (waarbij de teacher geconditioneerd is op geprivilegieerde grondwaarheid-oplossingen). OPD+ presteerde consistent beter dan de vanilla stop-gradient versies over alle divergentie-typen, waarbij de gecorrigeerde Reverse KL de beste prestaties liet zien onder de divergenties.

5. Betekenis en Claims

Het paper claimt dat de historische onderprestatie van alternatieve $f$ -divergenties (Forward KL, JSD) in on-policy distillatie niet een intrinsieke beperking is van de divergenties zelf, maar eerder een bijproduct van een verkeerd gespecificeerde gradiënt-coëfficiënt veroorzaakt door het stop-gradient ontwerp.

Door de advantage-functie te corrigeren zodat deze wiskundig getrouw is aan de $f$ -divergentie doelstelling, OPD+:

Breidt de Ontwerpplek uit: Het maakt het gebruik van een breder scala aan statistische afstanden voor distillatie mogelijk, waarmee men verder gaat dan de industriestandaard van Reverse KL.
Verbetert de Prestaties: Het vestigt nieuwe state-of-the-art prestatiepieken op reasoning en tool-use benchmarks.
Daagt Conventies uit: Het stelt de algemene overtuiging ter discussie dat Reverse KL inherent superieur is vanwege stabiliteit, door te suggeren dat die stabiliteit een artefact was van de optimalisatiemethode in plaats van de keuze van de divergentie.

De auteurs concluderen dat hun werk een wiskundig correcter en empirisch effectiever algoritme biedt, wat potentieel verder onderzoek kan triggeren naar het ontwerp van advantage-functies voor on-policy distillatiemethoden. Zij erkennen beperkingen met betrekking tot model-schaalanalyse en de vergelijking tussen single-token likelihood en logit-distillatie, en benoemen dit als gebieden voor toekomstig werk.