Technische Samenvatting: Latent On-Policy Self-Distillation (LOPD)

1. Probleemstelling

Het artikel adresseert de uitdaging om AI-agenten in staat te stellen te leren van ervaring en deze te internaliseren in hun beleid voor zelfevolutie. Hoewel On-Policy Self-Distillation (OPSD) een veelbelovende route biedt door een "geprivilegieerde" zelf-leraar te gebruiken om dichte supervisie te geven op de eigen trajecten van een student, lijden bestaande methoden aan een fundamentele beperking: ze zijn sterk afhankelijk van door ontwerpers gespecificeerde geprivilegieerde artefactën (bijv. vaste antwoorden, redeneersporen, vaardigheden of opgehaalde trajecten).

Deze handmatig vervaardigde contexten beperken het systeem tot een specifiek informatieformaat dat door de ontwerper is gekozen. Ze stellen de leraar niet in staat om te leren welke aspecten van eerdere ervaringen daadwerkelijk nuttig zijn voor het superviseren van het huidige traject van de student, noch passen ze de representatie van die ervaring aan de specifieke taak of leerstatus aan. Het artikel stelt dat voor de schaalbaarheid van zelf evoluerende AI, noch de nuttige inhoud van de ervaring, noch de representatie daarvan, vastgelegd mag worden door menselijke heuristieken.

Onderzoeksvraag: Kan de geprivilegieerde context zelf end-to-end worden geleerd van ervaring, waardoor de zelf-leraar kan bepalen welke ervaringskennis behouden moet worden en hoe deze gecodeerd moet worden voor dichte on-policy supervisie?

2. Methodologie: Latent On-Policy Self-Distillation (LOPD)

LOPD herformuleert geprivilegieerde context niet als een vooraf gedefinieerd tekstueel artefact, maar als een leerbaar latent substraat. Het framework werkt via de volgende componenten:

A. Leerbare Latente Geprivilegieerde Context

In plaats van de leraar een vaste tekstuele artefact te voeden, construeert LOPD een continue, differentieerbare context vanuit opgehaalde ervaringen:

1. Ervaringsretrieval: Een offline ervaringenbank slaat succesvolle rollouts op (taakbeschrijving + compacte actie-resultaat trace). Voor een huidige taak haalt een dense retriever de top-$J$ relevante trajecten op.
2. Latent Composer: Een leerbaar module ($\Phi_\phi$) transformeert deze opgehaalde trajecten naar een compacte set continue latente tokens.
   • Encoder: Een bevroren backbone, uitgebreid met trainbare LoRA-parameters, codeert het taak-ervaring paar naar verborgen toestanden (hidden states).
   • Compressor: Een QFormer-achtige module met geleerde queries comprimeert deze variabel lengte toestanden naar een vast aantal ($K$) continue latente tokens per ervaring.
   • Contextvorming: Deze tokens worden samengevoegd om de geprivilegieerde context $c_\phi$ te vormen, die als speciale tokens in het inputvenster van de leraar wordt geïnjecteerd.

B. On-Policy Self-Distillation Proces

De trainingslus volgt de standaard OPSD maar met de leerbare context:

1. Student Rollout: Het studentbeleid ($\pi_S$) genereert een traject op basis van enkel de taak en de interactiegeschiedenis (geen geprivilegieerde context).
2. Leraar Evaluatie: Een bevroren leraarmodel ($\pi_T$), geïnitialiseerd vanaf dezelfde backbone, evalueert opnieuw dezelfde bezochte prefixes van het traject van de student. Cruciaal is dat de leraar geconditioneerd is op de geleerde latente context $c_\phi$ afgeleid van de opgehaalde ervaringen.
3. Distillatie Doelstelling: De student wordt geoptimaliseerd om de token-niveau distributies van de leraar te matchen met behulp van reverse KL-divergentie op de top-$M$ logits plus een 'tail bucket'. Dit moedigt de student aan om zich te concentreren op gedragingen die ondersteund worden door de verrijkte context van de leraar.

C. Privileged-Margin Constraint

Om "instorting" (collapse) te voorkomen waarbij de leraar simpelweg de student imiteert (waardoor de latente context informatiefloos wordt), introduceert LOPD een privileged-margin doelstelling:

• Outcome Alignment: Het systeem koppelt het token-niveau voordeel van de leraar aan de geverifieerde uitkomst van het traject.
• Constraint: Een duale variabele $\beta$ dwingt een marge $m$ af zodat het log-waarschijnlijkheidsvoordeel van de leraar ten opzichte van de student op succesvolle trajecten een drempelwaarde moet overschrijden.
• Effect: Dit zorgt ervoor dat de geleerde context informatief blijft en een verifieerbaar voordeel biedt, waardoor de composer wordt gestuurd naar bewijs dat succesvol gedrag ondersteunt in plaats van triviale oplossingen.

D. Inferentie

Na de training wordt alleen het studentbeleid behouden. De ervaringenbank, retriever, composer en latente context worden weggegooid. De student heeft de begeleiding geïnternaliseerd, waardoor er tijdens de inzet geen externe database of geprivilegieerde input nodig is.

3. Belangrijkste Bijdragen

1. Context Herformulering: Het artikel verschuift het paradigma van geprivilegieerde context van vooraf gedefinieerde, handmatig ontworpen tekstuele artefacten naar een end-to-end leerbaar latent substraat. Dit stelt de leraar in staat om automatisch taakrelevante supervisiesignalen te extraheren uit ruwe trajecten.
2. Voorgestelde Oplossing (LOPD): Een framework dat zowel de geprivilegieerde context (via de composer) als het studentbeleid gezamenlijk optimaliseert. Het bevat een privileged-margin constraint om te garanderen dat de geleerde context informatief blijft en om te voorkomen dat de leraar naar de student convergeert.
3. Experimentele Validatie: LOPD vertoont superieure prestaties en efficiëntie vergeleken met bestaande methoden.

4. Experimentele Resultaten

De auteurs evalueerden LOPD over drie model backbones (Qwen3-4B, Qwen3-8B, Olmo3-7B) en zeven benchmarks die agentic tool use (EnvScaler, BFCL-v3, ACEBench) en code generatie (LiveCodeBench, EvalPlus) beslaan.

• Prestaties: LOPD behaalde de beste geaggregeerde resultaten in alle tien de backbone-benchmark vergelijkingen.
  • Op EnvScaler met Qwen3-8B bereikte LOPD 66,4, waarmee het de sterkste baseline (Skill-SD met 60,2) versloeg.
  • Op ACEBench bereikte LOPD 62,7, wat aanzienlijk beter is dan OPSD (52,7) en SDPO (52,0).
  • In code generatie verbeterde LOPD de pass@1 scores op LiveCodeBench en EvalPlus, waarbij het consequent baselines zoals GRPO en Skill-SD versloeg.
• Sample Efficiëntie: LOPD overtrof GRPO en Skill-SD met minder dan 30% van hun rollout-budget, waarbij het vroeg in de training sterke prestaties bereikte (bijv. het overtreffen van 0,61 gemiddelde beloning na 320 generaties versus de geleidelijke verbetering in baselines).
• Ablatie Studies:
  • Joint Optimization: Het gezamenlijk leren van de context is noodzakelijk; het gebruik van een bevroren composer of het verwijderen van de margin constraint resulteerde in prestatievermindering, wat bevestigt dat de winst voortkomt uit het leren van de representatie, niet alleen uit het toevoegen van parameters.
  • Learnable vs. Fixed: Fixed-context methoden (zoals SDPO of OPSD) degradeerden soms de prestaties vergeleken met vanilla modellen, terwijl LOPD consequent verbeterde ten opzichte van de vanilla baseline, wat aantoont dat leerbare representaties beter adapteren aan variërende taken en leerstaten.
  • Gedrags-internalisatie: Analyse toonde aan dat LOPD-studenten meer sequentiële planningsgedragingen adopteerden (minder tool calls per stap, kortere eerste-stap responsen) zelfs zonder toegang tot de latente context, wat bewijst dat de begeleiding werd geïnternaliseerd.

5. Betekenis en Claims

Het artikel beweert dat LOPD een stap vertegenwoordigt naar een schaalbaarder en zelfgestuurd paradigma voor agent-evolutie.

• Ontwerpprincipe: De kernclaim is dat ervaringen-representaties end-to-end geoptimaliseerd moeten worden voor de beleidssystemen die ze bedoeld zijn te verbeteren, in plaats van te vertrouwen op een opeenvolging van steeds complexere, door mensen geschreven formaten.
• Schaalbaarheid: Door de "geprivilegieerde context" leerbaar te maken, vermijdt het systeem de bottleneck van het handmatig ontwerpen van artefacten voor elke nieuwe domein of taaktype.
• Internalisatie: De methode zet succesvol ruwe trajecten om in een leerbaar supervisie-substraat, waardoor de agent in staat is om te ontdekken wat voor bewijs te bewaren en hoe dit te coderen, wat ervaring-leren echt end-to-end maakt.

De auteurs benadrukken dat hoewel retrieval alleen onvoldoende is en ongecontroleerde optimalisatie kan leiden tot instorting, de combinatie van latente compositie en de privileged-margin constraint een productieve supervisie mogelijk maakt die standhoudt nadat de context is verwijderd.