Technische Samenvatting: Instructie-geconditioneerde Exploratie met Asymmetrische Reinforcement Learning en Zelf-distillatie

1. Probleemstelling

Reinforcement Learning (RL) post-training is een standaardmethode geworden voor het verbeteren van Large Language Models (LLMs), met name voor taken met verifieerbare uitkomsten. De auteurs stellen echter dat klassieke RL-exploratiemethoden, die vertrouwen op stochastische actie-selectie (bijv. $\epsilon$-greedy of ruisinjectie), slecht geschikt zijn voor LLM's. In LLM's zijn "acties" tokens die worden getrokken uit enorme vocabulaire die coherente sequenties moeten vormen; willekeurige token-niveau perturbaties resulteren doorgaans in incoherente tekst in plaats van nieuwe, levensvatbare trajecten.

Bovendien wijzen recente studies erop dat RL post-training de outputdistributie van het model heeft de neiging te "verscherpen", waardoor de waarschijnlijkheid van bekende correcte antwoorden toeneemt terwijl de dekking van diverse gedragingen afneemt (support shrinkage). Dit beperkt het vermogen van het model om nieuwe redeneerstrategieën te ontdekken. Bestaande exploratiemethoden opereren ofwel op token-niveau (waarbij ze falen om semantische diversiteit aan te pakken) of vertrouwen op context-bemiddeling die geen expliciete mechanismen heeft voor het overdragen van train-time gedrag naar test-time policies. De kernuitdaging is om diverse exploratie tijdens de training te induceren zonder de prestaties van de ongeconditioneerde policy die tijdens de inferentie wordt gebruikt, in gevaar te brengen.

2. Methodologie

Het paper stelt een tweeledig framework voor: Instruction-Conditioned Exploration (ICE) voor diversiteit tijdens de training en Asymmetric-RL/SD voor gedrags-transfer.

2.1 Instruction-Conditioned Exploration (ICE)

ICE is een template-gebaseerde benadering van "support compositie". In plaats van te vertrouwen op willekeurige token-perturbaties, vult ICE de taakprompt $x$ aan met een gedragsinstructie $I$ die wordt gesampled uit een vaste set $\mathcal{I} = \{I_1, \dots, I_N\}$.

• Teacher Policy: Tijdens de training genereert het model (als leraar) rollouts geconditioneerd op $x + I$. Deze instructies bieden hoogwaardige sturing (bijv. "Vraag: welke symmetrie heeft dit probleem?") om het model richting onderscheidende probleemoplossingsstrategieën te duwen.
• Composite Policy: De trainingspolicy wordt een mengeling: $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$. Dit verbredt de support van de gegenereerde tekstdistributie ten opzichte van een enkele taakprompt.
• Trade-off: Hoewel dit de dekking van strategieën vergroot, brengt het het risico met zich mee dat niet-nuttige instructies worden geïntroduceerd die de nauwkeurigheid verminderen.

2.2 Asymmetric-RL/SD

Om de door de instructie-geconditioneerde leraar geleerde gedragingen over te dragen naar de ongeconditioneerde test-time policy, introduceren de auteurs een Asymmetric-RL/SD objectief, dat Reinforcement Learning combineert met Knowledge Distillation.

• Teacher ($\pi^T_\theta$): De instructie-geconditioneerde policy.
• Student ($\pi^S_\theta$): De ongeconditioneerde policy (gebruikt tijdens test-time), die dezelfde parameters $\theta$ deelt met de leraar.
• Objective Function: Het trainingsdoel $J(\theta)$ combineert:
  1. RL Term: Een reward-maximaliserende term voor de teacher policy (met behulp van de DAPO-variant van GRPO).
  2. Distillation Term: Een forward-KL divergentie term ($J^{KL}_S$) die de student-policy richting de correcte rollouts van de leraar trekt.
• Asymmetrie: In tegenstelling tot standaard zelf-distillatie, die vaak de beloningen voor beide policies balanceert, stelt Asymmetric-RL/SD de student reward weight op $\alpha=1$ (alleen reward-maximalisatie voor de leraar) en past de KL-term alleen toe op de student, waarbij de rollouts van de leraar gefilterd worden om alleen die met correcte antwoorden te bevatten ($R=1$). Dit zorgt ervoor dat de student leert om nuttige, geverifieerde gedragingen die door de leraar zijn ontdekt te repliceren, zonder gestraft te worden voor de exploratie van incorrecte paden door de leraar.

3. Belangrijkste Bijdragen

1. Instruction-Conditioned Exploration (ICE): Een nieuwe methode om diverse rollouts te induceren tijdens RL post-training door generatie te conditioneren op een set van onderscheidende, hoog-niveau gedragsinstructies, waardoor de support van de policy tijdens de training wordt uitgebreid.
2. Asymmetric-RL/SD Objective: Een nieuw trainingsdoel dat RL op een teacher policy combineert met forward-KL zelf-distillatie naar een ongeconditioneerde student. Dit draagt de voordelen van instructie-geconditioneerde exploratie expliciet over aan de test-time policy.
3. Empirische Validatie: Een multi-seed studie over verschillende model-schalen (1.7B, 4B) en contextlengtes (4K, 8K) die de effectiviteit van de aanpak demonstreert op wiskundige redeneertaken.

4. Resultaten

De experimenten werden uitgevoerd met Qwen3-modellen op wiskundige redeneer-benchmarks (AIME, HMMT, MATH-500).

• 1.7B / 4K Setting:

  • ICE met Asymmetric-RL/SD verbeterde de held-out pass@1 met 5.0% ten opzichte van de DAPO-baseline.
  • Deze configuratie behaalde 5/5 benchmark wins met een 95% bootstrap betrouwbaarheidsinterval die nul uitsluit.
  • De verbetering ten opzichte van het gebruik van enkel RL met instructies (zonder de distillatie-term) was kleiner en minder zeker, wat suggereert dat het expliciete distillatie-signaal cruciaal is voor de transfer.
  • De convergentie van de training werd niet vertraagd door de inclusie van diverse instructies.

• 1.7B / 8K Setting:

  • Een kleinere maar persistente verbetering van 3.5% (3/5 wins) werd waargenomen, wat aangeeft dat de methode generaliseert naar langere contexten, hoewel de winst zwakker is.

• 4B / 4K Setting:

  • De methode verbetert niet ten opzichte van DAPO (resulterend in een verandering van -3.3%). De auteurs merken op dat het 4B basismodel mogelijk al voldoende capaciteit bezit, waardoor er minder "ruimte" is voor exploratieve strategieën om waarde te bieden vergeleken met het 1.7B model.

• Coverage vs. Accuracy:

  • Terwijl RL post-training doorgaans de pass@1 verhoogt maar de pass@k (dekking) verlaagt bij hoge $k$, verbeterde Asymmetric-RL/SD de pass@1 ten opzichte van DAPO terwijl een vergelijkbare dekking werd behouden.
  • Samplen met de gedragsinstructies tijdens de inferentie (zelfs voor het basismodel) herstelde een hoge dekking, wat suggereert dat de instructies zelf correcte oplossingen naar boven brengen, onafhankelijk van het RL-proces.

5. Betekenis en Claims

Het paper claimt dat instructie-geconditioneerde exploratie, gekoppeld aan een expliciet zelf-distillatie transfermechanisme, de held-out redeneercapaciteiten van kleine taalmodellen (specifiek op de 1.7B schaal) kan verbeteren boven de standaard RL-baselines zoals DAPO.

De belangrijkste implicaties die door de auteurs worden benadrukt, zijn:

• Kostenefficiëntie: De methode voegt geen inferentiekosten toe; de test-time policy is ongeconditioneerd en standaard. De winsten worden volledig behaald door een aangepast trainingsproces.
• Nut van Kleine Modellen: Het verbeteren van kleine modellen is cruciaal voor implementatie op consumentenapparaten (telefoons, laptops) waar grotere modellen onhaalbaar zijn.
• Werkingsmechanisme: De resultaten suggereren dat parameter sharing alleen onvoldoende is om de gedragingen van de leraar over te dragen; het expliciete forward-KL distillatie-signaal is noodzakelijk om de ontdekte strategieën van de leraar in de student-policy te integreren.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de winsten niet overdraagbaar waren naar het 4B model onder de geteste condities, en dat de studie beperkt is tot wiskundige redenering met binaire beloningen. Zij positioneren het werk als een stap naar het karakteriseren waar dergelijke winsten standhouden over verschillende model-schalen en contexten.