Technische Samenvatting: TurnOPD

Probleemstelling

On-policy distillatie (OPD) is een veelbelovend framework voor het trainen van taalagenten, waarbij een studentmodel leert van een sterkere docent door de distributie van de docent te matchen op de eigen gegenereerde trajecten van de student. Het toepassen van vanilla OPD op langdurige agent-taken (met multi-turn interacties, toolgebruik en omgevingsverschuivingen) brengt echter twee kritieke inefficiënties aan het licht die de trainingsprestaties en de benutting van middelen verslechteren:

1. Extern Mismatch (Rollout Diepte): Vanilla OPD gebruikt doorgaans vaste, volledige horizon-rollouts. De auteurs identificeren dat het reverse-KL supervisiesignaal sterk scheefgetrokken wordt naar de vroege beurten. Naarmate de training vordert en trajecten langer worden, leveren de "staart"-beurten vaak zwakke, ruisgevoelige of niet-informatieve KL-signalen. Het blijven berekenen van volledige rollouts verspilt wall-clock middelen aan deze laag-opbrengst stappen.
2. Intern Mismatch (Loss Allocatie): Standaard traject-niveau KL-objectieven normaliseren de loss op basis van token-aantallen. Omdat vroege beurten vaak meer tokens bevatten en een hogere initiële KL-divergentie hebben, domineren zij de loss-budgettering. Bijgevolg ontvangen diepere beslissingsbeurten — die cruciaal zijn voor succes op de lange termijn maar minder tokens en een lagere ruwe KL bevatten — onvoldoende supervisie. De auteurs formaliseren dit als een contaminatie-compressie-mechanisme: naarmate de student meer context genereert, wordt de volgende-token distributie steeds meer "gedwongen" door formattering of repetitieve patronen, waardoor de observeerbare KL wordt gecomprimeerd zelfs als er echte beleidsverschillen bestaan. Dit leidt tot een scenario waarin diepe beurten ondergetraind raken zodra de initiële gedragingen zijn uitgelijnd.

Methodologie: TurnOPD

Om deze mismatches aan te pakken, stellen de auteurs TurnOPD voor, een strategie voor budgettering op beurniveau die zowel de rollout-horizon als de loss-allocatie dynamisch beheert. TurnOPD bestaat uit twee adaptieve controllers:

1. Adaptieve Rollout-Diepte Budgettering

Deze controller bepaalt dynamisch de optimale rollout-lengte ($H_{ctrl}$) om verspilling van rekenkracht aan laag-signaal staart-beurten te voorkomen. Het synthetiseert twee signalen:

• Efficiëntie Proxy ($H_{eff}$): Berekent het zwaartepunt van de survivor-gewogen reverse-KL distributie. Het behandelt het KL-signaal als een distributie van distillatie-massa, waarbij de doel-diepte wordt verschoven op basis van waar betekenisvolle correctiesignalen geconcentreerd zijn.
• Coverage Lower Bound ($H_{cov}$): Zorgt ervoor dat de rollout diep genoeg is om een specifiek kwantiel (bijv. 80%) van de succesvolle trajecten te dekken. Dit voorkomt dat de controller rollouts te agressief afkapt, zodat de student nog steeds voldoende succesvolle voltooiingen observeert.
• Mechanisme: De controller werkt $H_{ctrl} = \max(H_{eff}, H_{cov})$ bij via periodieke volledige lengte probe-rollouts om statistieken te schatten, terwijl routinematige trainingsstappen een beperkte horizon gebruiken.

2. Progressieve Turn-Genormaliseerde Loss Budgettering

Deze controller pakt de interne mismatch aan door de loss-aggregatiestrategie geleidelijk te verschuiven van token-niveau naar beurt-gebalanceerde supervisie.

• Lineaire Blending: In plaats van een harde overgang, gebruikt de methode lineaire interpolatie tussen de standaard traject-niveau weging (proportioneel aan het aantal tokens, $q_{traj}$) en een uniforme beurt-niveau weging ($q_{turn}$).
• Progressie: De blending-coëfficiënt $\alpha$ neemt lineair toe met de voortgang van de training. Aanvankelijk ($\alpha \approx 0$) volgt de loss de token-massa om stabiliteit te garanderen. Naarmate de training vordert, neemt $\alpha$ toe, waardoor het gewicht verschuift naar diepere beurten om te zorgen dat zij voldoende supervisie ontvangen voor het verfijnen van complexe besluitvorming.

Belangrijkste Bijdragen

1. Diagnose op Beurniveau: Het artikel biedt een systematische analyse van OPD in langdurige scenario's, waarbij wordt aangetoond dat supervisie- en optimalisatiebudgetten niet uniform verdeeld zijn over de beurten. Het identificeert het "contaminatie-compressie" fenomeen waarbij context-geïnduceerde beperkingen de observeerbare KL in diepe beurten kunstmatig onderdrukken.
2. Formalisering van Mismatches: De auteurs formaliseren de "externe mismatch" (vaste diepte versus variërende signaalutiliteit) en de "interne mismatch" (token-gewogen loss versus beurt-niveau belang) als de grondoorzaken van de inefficiëntie van vanilla OPD.
3. TurnOPD Framework: Het voorstel van een duaal-controller systeem dat zowel de rollout-diepte als de loss-normalisatie simultaan aanpast, specifiek afgestemd op de turn-geconditioneerde aard van agent-interacties.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat TurnOPD de accuratesse-tijd frontier vooruit helpt, waarbij superieure prestaties worden behaald met aanzienlijk minder trainingstijd vergeleken met vanilla OPD en andere baselines.

Experimentele Resultaten

De auteurs evalueerden TurnOPD op drie representatieve benchmarks: ALFWorld (embodied planning), WebShop (web navigatie) en Multi-Hop Search (informatie retrieval). Ze gebruikten diverse student-teacher paren (bijv. Qwen3-1.7B/4B studenten gedistilleerd van Qwen3-8B/9B docenten).

• Accuratesse-Tijd Frontier: TurnOPD behaalde consistent de beste "Least-Time" accuratesse (de hoogste accuratesse bereikt binnen de minimale wall-clock tijd die nodig is voor enige methode om 100 stappen te voltooien).
  • Op ALFWorld-1.7B verbeterde TurnOPD de Same-Step Avg@4 van 83.0 (Vanilla OPD) naar 86.3, terwijl de wall-clock tijd werd verminderd van 4.42 uur naar 1.93 uur (een 2.29× versnelling).
  • Op WebShop verbeterde het de accuratesse terwijl de tijd werd verminderd van 1.57h naar 1.24h.
  • Op Multi-Hop Search behaalde het de beste Least-Time accuratesse, waarbij het vanilla OPD overtrof onder gedeelde tijdbudgetten.
• Ablatie Studies:
  • Adaptive Depth Alone: Verminderde de wall-time aanzienlijk (met ~55%) maar degradeerde de accuratesse licht, wat bevestigt dat het inkorten van rollouts weliswaar rekenkracht bespaart, maar het probleem van de loss-allocatie niet oplost.
  • Linear Blend Norm Alone: Verbeterde de accuratesse door loss te herverdelen naar diepe beurten, maar verminderde de wall-time niet.
  • Gecombineerd: De volledige TurnOPD-aanpak bereikte de optimale balans door zowel efficiëntie als optimalisatie-hefbomen te benutten.
• Controller Dynamiek: Analyse toonde aan dat de adaptieve controller de diagnostische signalen succesvol volgde, waarbij de rollout-diepte toenam naarmate succesvolle trajecten ontstonden, en een balans vond tussen efficiëntie en coverage-beperkingen.

Betekenis en Claims

Het artikel claimt dat TurnOPD een efficiënter en effectiever framework biedt voor het trainen van langdurige taalagenten. De primaire betekenis ligt in de verschuiving van het paradigma van supervisie van een vlakke token-positie naar een beurt-geconditioneerde beslissing binnen een evoluerend interactietraject.

De auteurs stellen dat:

• Standaard KL-supervisie en normalisatie langs volledige trajecten onvoldoende zijn voor langdurige agenten vanwege de specifieke structurele mismatches die zijn geïdentificeerd.
• TurnOPD de accuratesse-tijd frontier vooruit helpt, waardoor agenten een hoger prestatieniveau kunnen bereiken met een tot 2.29× snellere training.
• De aanpak robuust is over verschillende modelgroottes en taaltypen, wat suggereert dat beurt-bewuste budgettering een generaliseerbaar principe is voor agent-training.

Het artikel concludeert dat TurnOPD een pad opent naar beurt-bewuste en budget-adaptieve training, waarmee de specifieke uitdagingen van langdurige agent-taken worden aangepakt die vanilla sequentie-generatie objectieven niet kunnen oplossen.