🤖 machine learning

Trust-Region Behavior Blending for On-Policy Distillation

Dit artikel stelt Trust-Region Behavior Blending (TRB) voor, een warmup-methode voor on-policy distillatie die de vroege training stabiliseert door het beleid van de student te mengen met dat van de docent binnen een KL-trust-regio voordat er wordt geëvanieerd naar pure student-rollouts, waardoor de prestaties in wiskundige redeneringstaken worden verbeterd.

Oorspronkelijke auteurs: Daniil Plyusov, Alexey Gorbatovski, Alexey Malakhov, Nikita Balagansky, Boris Shaposhnikov, Daria Korotyshova, Daniil Gavrilov

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniil Plyusov, Alexey Gorbatovski, Alexey Malakhov, Nikita Balagansky, Boris Shaposhnikov, Daria Korotyshova, Daniil Gavrilov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een student leren denken

Stel je voor dat je een jonge student (de Student AI) probeert te leren hoe hij complexe wiskundeproblemen moet oplossen door hem te laten studeren van een briljante professor (de Teacher AI).

De oude manier om dit te doen (Offline Distillation), is door de student een tekstboek te geven vol met de perfecte antwoorden van de professor. De student memoriseert deze. Maar er is een probleem: wanneer de student een echte toets maakt, moet hij zijn eigen antwoorden vanaf nul genereren. Omdat hij nooit heeft geoefend met het genereren van zijn eigen stappen, raakt hij in de war en maakt hij fouten in het begin.

Om dit op te lossen, hebben onderzoekers On-Policy Distillation (OPD) ontwikkeld. In plaats van een tekstboek te gebruiken, genereert de student zijn eigen antwoorden stap voor stap, en corrigeert de professor hem in realtime. Dit is beter omdat het overeenkomt met de omstandigheden van de echte toets.

Echter, OPD heeft een gebrek: Aan het begin is de student erg zwak. Als je hem direct zijn eigen antwoorden laat genereren, produceert hij misschien een verschrikkelijke, onzinnige eerste zin. Als de professor een verschrikkelijke zin probeert te corrigeren, is dat alsof je probeert een huis te repareren dat nog niet eens gebouwd is. Het "signaal" is te zwak om nuttig te zijn.

De Oplossing: Trust-Region Behavior Blending (TRB)

De auteurs stellen een nieuwe methode voor genaamd Trust-Region Behavior Blending (TRB). Denk hierbij aan een "Leerfiets met een Slimme Gids"-aanpak.

1. De "Trust Region" (De Veiligheidsbubbel)

Stel je voor dat de student door een veld loopt. Het Student Policy is het pad dat de student van nature wil volgen. Het Teacher Policy is het pad dat de professor zou nemen.

Als de student te ver van de koers afwijkt, maakt het advies van de professor geen zin meer. TRB creëert een "Trust Region"—een veiligheidsbubbel rond het huidige pad van de student.

De Regel: De student mag een klein beetje richting het pad van de professor stappen, maar hij mag niet te ver afwijken van zijn eigen natuurlijke stijl.
Het Doel: Vind de best mogelijke versie van het pad van de professor die nog steeds binnen de veiligheidsbubbel van de student valt.

2. De "Blending" (De Gladde Mix)

In plaats van de student te dwingen de professor perfect te kopiëren (wat te moeilijk is) of hem doelloos te laten dwalen (wat te chaotisch is), mengt (blends) TRB de twee.

Het creëert een "hybride" pad dat grotendeels lijkt op dat van de student, maar net genoeg van de wijsheid van de professor bevat om de student op een spoor te houden waar hij daadwerkelijk van kan leren.
Het is als een dansinstructeur die een beginner begeleidt: "Beweeg je voet hier (zoals ik), maar houd je evenwicht daar (zoals jij)."

3. De "Warmup" (Het weghalen van de leerfiets)

Het belangrijkste deel van TRB is dat het tijdelijk is.

De begindagen: De "Trust Region" is breed. De student krijgt veel hulp van de professor om ervoor te zorgen dat de eerste paar stappen van hoge kwaliteit zijn.
De Afbouw: Naarmate de training vordert, krimpt de "Trust Region". De professor doet een stap terug.
Het Einde: Uiteindelijk verdwijnt de regio volledig. De student loopt nu op eigen kracht, maar heeft vanaf het begin de juiste gewoontes geleerd.

Waarom dit beter werkt (De Resultaten)

Het paper testte deze methode op taken met wiskundig redeneren (zoals het oplossen van algebra- of meetkundeproblemen) met verschillende groottes van AI-modellen.

De Vergelijking: Ze vergeleken TRB met:
- Vanilla OPD: De student direct alleen laten dwalen.
- SKD: De professor af en toe het overnemen en de student dwingen specifieke woorden te zeggen.
- SFT Warmup: Een korte periode van standaard supervised learning voordat de training begint.
De Uitkomst: TRB won gemiddeld.
- Het hielp de student om met betere kwaliteit stappen te beginnen dan "Vanilla OPD".
- Het vertrouwde er niet op dat de professor de controle volledig overnam (zoals SKD), wat de student soms in de war kan brengen over wie hij eigenlijk moet zijn.
- Het werkte beter dan alleen het "opwarmen" van de temperatuur of het doen van een korte standaardles.

De Trade-off

Er is een kleine kostprijs. Omdat TRB vereist dat de professor "online" is (denkend en decoderend) op hetzelfde moment als de student tijdens de vroege fase, kost het iets meer computerkracht en tijd om de training te draaien. Echter, omdat dit alleen gebeurt tijdens de korte "warmup"-fase, is de extra kosten tijdelijk en is het eindresultaat een slimmere student.

Samenvattende Analogie

Oude Manier (Offline): Een student een kaart van een stad geven die hij nog nooit heeft bezocht. Hij memoriseert de straten, maar raakt verdwaald wanneer hij zelf moet rijden.
OPD (On-Policy): De student laten rijden, met een copiloot die hem corrigeert. Maar als de student begint te rijden in een meer, zijn de correcties van de copiloot nutteloos.
TRB: De copiloot stuurt tijdens de eerste paar minuten zachtjes aan het stuur om de auto op de weg te houden (binnen de trust region), zodat de student het gevoel van het correct rijden leert. Zodra de student stabiel is, laat de copiloot het stuur los en rijdt de student perfect op eigen kracht.

Technische Samenvatting: Trust-Region Behavior Blending voor On-Policy Distillatie

Probleemstelling

On-policy distillatie (OPD) pakt de mismatch in prefix-verdeling aan die inherent is aan offline kennisdistillatie door een studentmodel te trainen op prefixes die gesampled zijn uit zijn eigen huidige beleid (policy), terwijl het een sterker leraarmodel (teacher) matcht. Deze aanpak introduceert echter een kritieke kwetsbaarheid in de beginfase van de training: zwakke studentmodellen genereren vaak kwalitatief minderwaardige prefixes. Wanneer de trajectverdeling van de student slecht is, wordt de supervisie van de leraar toegepast op kwalitatief lage of "onbruikbare" prefixes, wat de effectiviteit van het leersignaal beperkt.

Eerdere pogingen om dit proces te stabiliseren, omvatten vaak het off-policy verplaatsen van de collectie (bijv. het injecteren van leraar-tokens of het wijzigen van doelverdelingen). Dit kan echter de doel-trainingsverdeling verstoren. Omgekeerd behouden pure student-rollouts de verdeling, maar lijden ze aan een slechte initiële kwaliteit. De kernuitdaging is het verbeteren van de kwaliteit van de vroege rollouts zonder het collectieproces permanent off-policy te verschuiven of het fundamentele per-prefix distillatie-objectief te wijzigen.

Methodologie: Trust-Region Behavior Blending (TRB)

De auteurs stellen Trust-Region Behavior Blending (TRB) voor, een warmup-methode ontworpen om het gedragsbeleid tijdens de vroege rollout-collectiefase te controleren. TRB werkt volgens het principe van het vinden van een gedragsbeleid dat zo dicht mogelijk bij de leraar ligt, maar strikt begrensd is binnen een "trust region" gecentreerd rond het huidige studentbeleid.

1. Per-Prefix Optimalisatie
Bij elk gegenereerd prefix $h$ definieert TRB een gedragsbeleid $\mu^*(\cdot | h)$ door een beperkt optimalisatieprobleem op te lossen. Het doel is om de Kullback-Leibler (KL) divergentie naar het leraarbeleid $\pi_T$ te minimaliseren, onderhevig aan een KL-divergentiebeperking ten opzichte van het studentbeleid $\pi_S$ :

$\mu^*(\cdot | h) = \arg \min_{\mu} D_{KL}(\mu \parallel \pi_T) \quad \text{onder de voorwaarde dat} \quad D_{KL}(\mu \parallel \pi_S) \le \epsilon$

Hier vertegenwoordigt $\epsilon$ de toegestane lokale afwijking van de student. Deze formulering zorgt ervoor dat de sampling-verdeling naar door de leraar ondersteunde tokens wordt getrokken, maar binnen een door de student gecentreerde trust region blijft.

2. Gesloten Vorm Oplossing
De optimalisatie levert een gesloten vorm oplossing op waarbij het gedragsbeleid een geometrische interpolatie is tussen de student- en leraarbeleid:
$\mu_\beta(a | h) = \frac{\pi_S(a | h)^{1-\beta} \pi_T(a | h)^\beta}{Z_\beta(h)}$
De coëfficiënt $\beta^*(h)$ is de grootste haalbare waarde in $[0, 1]$ waarvoor aan de KL-beperking wordt voldaan. Als de leraar al binnen de trust region valt, wordt $\mu^*$ de leraar; als $\epsilon=0$ , keert het terug naar de student.

3. Geëanneleerde Warmup
TRB wordt alleen toegepast tijdens een initiële warmup-fase. Het KL-budget $\epsilon$ wordt lineair geëanneleerd naar nul over een horizon $K$ :
$\epsilon_k = \epsilon_0 \left(1 - \frac{k}{K}\right)$
Dit staat sterke leraar-begeleiding toe aan het begin van de training om de prefix-kwaliteit te verbeteren, terwijl de rollout-collectie geleidelijk terugkeert naar pure student-sampling naarmate de student verbetert. Cruciaal is dat de per-prefix reverse-KL distillatieverlies ongewijzigd blijft; alleen het data-collectiebeleid wordt gewijzigd.

Belangrijkste Bijdragen

Een Nieuwe Warmup Strategie: TRB introduceert een methode om het vroege rollout-gedrag te controleren door een leraar-gestuurd beleid te optimaliseren onder een expliciete student-gecentreerde KL-beperking, in plaats van simpelweg tokens te injecteren of de verliesfunctie te wijzigen.
Behoud van On-Policy Eigenschappen: In tegen tegenstelling tot methoden die persistent leraar- en studentbeleid mengen of de doelverdeling wijzigen, zorgt TRB ervoor dat de training uiteindelijk terugkeert naar pure on-policy rollouts, waardoor de doelverdeling voor de hoofdtrainingsfase behouden blijft.
Theoretische Formulering: Het artikel biedt een gesloten vorm oplossing voor het gedragsbeleid dat leraar-begeleiding balanceert met student-stabiliteit, gerechtvaardigd door de monotoniciteit van de KL-divergentie met betrekking tot de interpolatiecoëfficiënt.

Experimentele Resultaten

De auteurs hebben TRB geëvalueerd in twee wiskundige redeneer-distillatie-instellingen:

Qwen3-1.7B-Base gedistilleerd van Qwen3-8B.
Qwen3-0.6B-Base gedistilleerd van Qwen3-4B.

Prestaties:

TRB behaalde de sterkste gemiddelde prestaties over alle vergeleken methoden in beide instellingen, waarbij het vanilla OPD, fixed- $\epsilon$ blending, Veto, SKD (interleaved leraar-injectie), temperature warmup en SFT warmup overtrof.
In de Qwen3-1.7B instelling behaalde TRB een gemiddelde pass@1 van 33,2%, vergeleken met 32,3% voor vanilla OPD.
In de Qwen3-0,6B instelling behaalde TRB 44,4%, vergeleken met 44,0% voor vanilla OPD.

Analyse:

Vroege Trainingsdynamiek: Trajectanalyse (Figuur 2) laat zien dat hoewel sommige methoden (zoals SKD) aanvankelijk sneller stijgen, ze niet noodzakelijkerwijs de hoogste uiteindelijke prestaties behouden. TRB biedt een "snelle start" die leidt tot superieure uiteindelijke resultaten.
Entropie en Prefix-kwaliteit: Tijdens de warmup-fase vermindert TRB de gemiddelde entropie van leraar-tokens op bezochte prefixes, wat duidt op een hogere kwaliteit van de begeleiding. Step-0 probes (Figuur 4) laten zien dat prefixes gegenereerd onder TRB een hoger succespercentage opleveren wanneer ze worden voortgezet door ofwel de leraar of de student, vergeleken met vanilla OPD prefixes. Dit suggereert dat TRB erin slaagt de vroege toestandsverdeling te verschuiven naar meer leerbare trajecten.

Betekenis en Claims

Het artikel beweert dat TRB effectief de broosheid van vroege on-policy distillatie aanpakt door de kwaliteit van de initiële dataverdeling te verbeteren zonder permanent af te wijken van het on-policy objectief.

Bescheiden Reikwijdte: De auteurs geven expliciet aan dat hun studie is afgebakend tot twee wiskundige redeneer-settings met Qwen3-Base paren en een op correctheid gebaseerd evaluatieprotocol. Zij beweren niet dat de specifieke warmup-schema's ongewijzigd overdraagbaar zijn naar andere domeinen of leraar-student verschillen.
Kosten-afweging: Het artikel erkent dat TRB de trainingskosten tijdens de warmup-fase verhoogt vanwege de vereiste voor online leraar-decoding en student-teacher co-residency. Ze merken echter op dat deze kosten tijdelijk zijn, aangezien de training na de warmup-horizon terugkeert naar het standaard, efficiëntere OPD-runtimeprofiel.
Kerninzicht: De resultaten suggereren dat leraar-gestuurd off-policy gedrag het meest voordelig is wanneer de bezochte prefixes van de student significant afwijken van de leraar. Zodra deze mismatch is opgelost, kan voortgezette off-policy begeleiding een afnemend rendement bieden, wat de strategie ondersteunt om het gedragsbeleid terug te brengen naar de student via annealing.