Technische Samenvatting: TREK – Distilleren om te Verkennen, Versterken om te Verfijnen

1. Probleemstelling

Het artikel behandelt een specifieke foutmodus in Group Relative Policy Optimization (GRPO) wanneer deze wordt toegepast op complexe redeneertaken. Hoewel GRPO effectief is wanneer de huidige policy (student) al nuttige oplossingspaden (trajectories) samplet, stagneert het vaak bij harde prompts waar de correcte oplossingsmodi buiten de huidige on-policy support van de student liggen.

In deze moeilijke regimes samplet de student herhaaldelijk plausibele maar structureel gelijkaardige incorrecte trajecten. De schaarste ligt niet in het beloningssignaal (verifiers kunnen correcte oplossingen scoren als ze gevonden worden), maar in de exploratie-dekking van de oplossingsruimte. Standaard GRPO, een on-policy methode, kan gedrag dat het niet samplet niet versterken. Bijgevolg falen grotere rollout-groepen of scherpere relatieve voordelen er vaak in om te ontsnappen aan de smalle regio van de huidige support van de student.

Bestaande distillatie- en door docenten geïnformeerde methoden richten zich grotendeels op het verbeteren van supervisie of credit assignment voor trajecten die de student al bereikt. Ze adresseren niet direct het regime waarin de student zelden een beloningsdragend traject samplet. De kernuitdaging is: Hoe kunnen we nuttig gedrag überhaupt samplebaar maken wanneer de ongeassisteerde exploratie van de student faalt?

2. Methodologie: TREK

De auteurs stellen TREK (Teacher-Routed Exploration via Forward KL) voor, een gefaseerde procedure die distillatie herformuleert als ondersteuning voor exploratie-expansie in plaats van eenvoudige imitatie.

Kernfilosofie

TREK behandelt een docent (extern of zelf-geaugmenteerd) niet als een universeel gedragsdoel, maar als een voorstelmechanisme (proposal mechanism). De methode vertrouwt op een interface die alleen output vereist, wat betekent dat het alleen geverifieerde output-trajecten nodig heeft, geen docent-logits, verborgen toestanden of waarschijnlijkheden. Dit maakt het gebruik van black-box docenten, white-box docenten of hetzelfde model met aanvullende inferentie-context (bijv. reflectie, langere redeneerbudgetten of lessen uit fouten) mogelijk.

Het TREK-algoritme

De procedure scheidt prompt-niveau voorstelbeschikbaarheid van traject-niveau bereikbaarheid:

1. Prompt Routing (Harde Prompt Mining):

   • Voor elke prompt $x$ schat het systeem de ongeassisteerde student-passrate $p_S(x)$ in door $K$ rollouts te samplen.
   • Als $p_S(x) \leq \tau_{low}$ (wat duidt op een harde prompt waarbij de student faalt), wordt de prompt gerouteerd naar de voorstandele fase. Makkelijke prompts blijven in de standaard GRPO-stroom.

2. Voorstelgeneratie & Selectie:

   • Een voorstelbron $\pi_T$ (bijv. een sterker model of hetzelfde model met extra context) genereert kandidaat-oplossingen voor de gerouteerde harde prompts.
   • Trajecten worden gefilterd door een verifier $V$. Alleen geverifieerde successen worden behouden.
   • Bereikbaarheidsfiltering: Onder de geverifieerde trajecten rangschikt het systeem ze op basis van de huidige waarschijnlijkheid van de student (gemeten via een getrimde, op lengte genormaliseerde Negative Log-Likelihood, $d_S$).
   • De top-$r$ student-proximale geverifieerde voorstellen worden behouden. Dit zorgt ervoor dat de student niet wordt gevraagd om oplossingen te imiteren die te ver van zijn huidige capaciteiten liggen, maar zich richt op modi die hij plausibel kan bereiken.

3. Forward-KL Consolidatie (Warm-start):

   • De behouden trajecten vormen een dataset $D_{scaf}$.
   • Een korte Forward-KL update wordt toegepast: $\min KL(q_{prop} \parallel \pi_\theta)$.
   • Dit doel bestraft de student voor het toekennen van een lage waarschijnlijkheid aan de geverifieerde voorstelmodi, wat de oplossingsmodi effectief "naar binnen trekt" in de support van de student. Dit is verschillend van standaard distillatie (die vaak $KL(\pi_\theta \parallel q_{prop})$ minimaliseert of on-policy distillatie gebruikt).

4. On-Policy Verfijning:

   • Na de korte Forward-KL warm-start keren de prompts terug naar de standaard GRPO-rolloutstroom.
   • De student, die nu een uitgebreide support heeft die de geverifieerde modi omvat, kan deze samplen en ontvangt relatieve voordelen van de verifier om het beleid verder te verfijnen.

3. Belangrijkste Bijdragen

1. Identificatie van een Foutmodus: Het artikel identificeert "ontbrekende exploratie-support" als een onderscheidende bottleneck voor GRPO op harde redeneerprompts, los van beloningsschaarste.
2. Distillatie als Exploratie: Het formuleert een visie op distillatie die specifiek gericht is op het uitbreiden van de bereikbare support van de student, in plaats van alleen het verdichten van supervisie op reeds gesamplede trajecten.
3. De TREK-procedure: Een eenvoudige, gerouteerde algoritme die de moeilijkheid van de prompt ontkoppelt van de bereikbaarheid van het traject, en gebruikmaakt van een korte Forward-KL fase om geverifieerde voorstellen te consolideren voordat GRPO wordt hervat.
4. Black-Box Compatibiliteit: Door alleen geverifieerde outputs te vereisen, is de methode compatibel met externe black-box docenten, white-box docenten of zelf-context augmentatie, wat het breed toepasbaar maakt in praktische omgevingen.
5. Trainingsefficiëntie: Het toont aan dat het injecteren van geverifieerde oplossingsmodi voordat RL begint, het leren op de moeilijkste taaltypen aanzienlijk versnelt en het aantal benodigde optimalisatiestappen vermindert om een hoge prestatie te bereiken.

4. Experimentele Resultaten

De auteurs evalueerden TREK op wiskundig redeneren (AIME 2024/2025) en agentische planningstaken (ALFWorld, ScienceWorld).

Wiskundig Redeneren (Qwen3 Modellen)

• Setup: Getest op 1.7B, 8B en 14B Qwen3 modellen. Voorstellen kwamen van DeepSeek-V4 (extern) of hetzelfde Qwen3 model met zelf-context (lessen uit fouten).
• Prestaties: TREK presteerde consistent beter dan directe GRPO over alle schalen.
  • Qwen3-8B: Verbeterde AIME 2025 van 36.9% naar 40.3% en AIME 2024 van 47.9% naar 51.1% (met DeepSeek-V4 voorstellen).
  • Zelf-context Variant: Zelfs zonder externe docent verbeterde de zelf-context variant AIME 2025 naar 38.5% en AIME 2024 naar 49.6%.
• Ablatie: Het vervangen van de Forward-KL consolidatie door On-Policy Distillation (OPD) stijl supervisie resulteerde in lagere prestaties, wat bevestigt dat het Forward-KL doel superieur is voor het uitbreiden van de modus-dekking op harde prompts.

Agentische Taken (Qwen2.5-7B-Instruct)

• ALFWorld: Succespercentage steeg van 75.8% (GRPO) naar 82.8% (TREK met DeepSeek-V4) en 80.4% (zelf-context).
• ScienceWorld: Succespercentage verdubbelde bijna, stijgend van 12.5% (GRPO) naar 26.7% (TREK met DeepSeek-V4) en 23.4% (zelf-context).
• Taakmoeilijkheid Analyse: Winsten waren geconcentreerd op de moeilijkste taaltypen (bijv. "Heat & Place," "Examine in Light") waar de baseline GRPO prestatie het laagst was. Makkelijke taken vertoonden weinig tot geen verbetering, wat bevestigt dat de methode de exploratie-bottleneck aanpakt.
• Trainingsdynamiek: TREK bereikte hoge succespercentages veel eerder in de training vergeleken met GRPO. Bijvoorbeeld, op ALFWorld bereikte TREK 60% succes tegen stap 20, terwijl GRPO onder de 50% bleef en ongeveer 5x meer stappen nodig had om hetzelfde niveau te bereiken.

5. Betekenis en Claims

Het artikel claimt dat TREK een generaliseerbaar framework biedt voor het verbeteren van on-policy redeneersystemen wanneer de primaire bottleneck het onvermogen is om beloningsdragende trajecten te samplen.

• Complementariteit: TREK wordt gepresenteerd als complementair aan bestaande methoden (zoals token weighting of credit assignment verbeteringen) die opereren binnen de huidige support van de student. TREK opereert ervoor, om te zorgen dat de support aanwezig is.
• Efficiëntie: Het primaire voordeel is niet noodzakelijkerwijs het verhogen van de asymptotische limiet (aangezien GRPO uiteindelijk vergelijkbare niveaus kan bereiken met enorme rekenkracht), maar het drastisch verminderen van het trainingsbudget dat nodig is om harde oplossingsmodi te ontdekken.
• Praktische Bruikbaarheid: De afhankelijkheid van geverifieerde outputs in plaats van docent-internals maakt de methode robuust voor real-world implementaties waar black-box docenten of zelf-reflectie lussen gebruikelijk zijn, maar interne modeltoestanden ontoegankelijk zijn.

De auteurs concluderen dat dit "Distill to Explore, Reinforce to Refine" paradigma kan worden uitgebreid naar andere post-training frameworks (bijv. DAPO, GSPO) en scenario's van continue vaardigheidsverwerving, waarbij een gestructureerde manier wordt geboden om nieuwe capaciteiten te introduceren via geverifieerde voorstellen voordat deze worden gestabiliseerd door on-policy versterking.