Technische Samenvatting: Rubric-Guided Self-Distillation (RGSD)

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft geleid tot significante vooruitgang in post-training voor taken met programmeerbare verifieerders (bijv. wiskunde, code). Echter, voor open-eind domeinen zoals klinisch advies, wetenschappelijke expositie en creatief schrijven, is programmeerbare verificatie niet toepasbaar. De gemeenschap heeft rubrieken (gewogen checklists van criteria) geadopteerd als een proxy voor de grondwaarheid.

Huidige op rubrieken gebaseerde trainingsmethoden, zoals Group Relative Policy Optimization (GRPO), vertrouwen op een externe Large Language Model (LLM) verifieerder om elke gegenereerde rollout te scoren tegen de rubriek. Deze aanpak introduceert drie kritieke beperkingen:

1. Computationele Overhead: Elke trainingsstap vereist dure LLM-judge calls (vaak $G \times K$ calls per prompt, waarbij $G$ het aantal rollouts is en $K$ het aantal criteria), wat zorgt voor latentie en bottlenecks in de rate-limits.
2. Verifier Bias en Reward Hacking: Het beloningssignaal erft de idiosyncrasieën en biases van de specifieke verifieerder-modellen. Policies kunnen leren om de verifieerder te "hacken" (bijv. door verbositeit te verhogen of ononderbouwde claims te maken) in plaats van daadwerkelijk aan de criteria te voldoen.
3. Slechte Credit Assignment: Rubriek-gebaseerde RL reduceert typisch een multi-criterium beoordeling tot een enkele scalaire beloning aan het einde van een traject. Dit levert een zwak leersignaal op voor het bepalen van welke beslissingen op token-niveau de rubriek-tevredenheid hebben verbeterd of verslechterd.

Methodologie: Rubric-Guided Self-Distillation (RGжде)

De auteurs stellen Rubric-Guided Self-Distillation (RGSD) voor, een verifieerder-vrije trainingsmethode die de externe LLM-judge uit de trainingslus elimineert. Het kerninzicht is empirisch: wanneer een basismodel wordt voorzien van de rubriek als geprivilegieerde context, scoren de antwoorden aanzienlijk hoger (30–45 procentpunten) dan wanneer het niet geconditioneerd is. RGSD maakt gebruik van deze "conditioning lift" om een dicht, token-niveau supervisiesignaal te creëren.

De RGSD-pipeline

RGSD instantieert twee kopieën van hetzelfde basismodel ($\theta_{base}$):

1. Student ($\pi_S$): Een trainbaar beleid dat alleen geconditioneerd is op de gebruikersprompt $q$. Het genereert een on-policy rollout $y \sim \pi_S(\cdot|q)$.
2. Teacher ($\pi_T$): Een bevroren kopie van het basismodel dat geconditioneerd is op de prompt $q$ en de rubriekset $R$. Het observeert de gegenereerde prefix van de student $y_{<t}$ en de rubriek om een doel-tokenverdeling $\pi_T(\cdot|q, R, y_{<t})$ te produceren.

Trainingsdoelstelling:
In plaats van te optimaliseren voor een scalaire beloning, wordt de student getraind om de per-token verdeling van de teacher te matchen met behulp van een geclipped Jensen–Shannon Divergence (JSD):
$$L_{RGSD}(\theta_S) = \mathbb{E}_{(q,R) \sim D, y \sim \pi_S} \left[ \frac{1}{T} \sum_{t=1}^{T} D_{\beta}^{clip} \left( \pi_S(\cdot|q, y_{<t}) \parallel \pi_T(\cdot|q, R, y_{<t}) \right) \right]$$
waarbij $\beta=0.5$ interpoleert tussen forward en reverse KL.

Belangrijke Implementatiedetails:

• Dichte Supervisie: In tegen tegenstelling tot de ijle (sparse) traject-niveau beloning van GRPO, biedt RGSD een leersignaal voor elk token in de rollout.
• Geen Verifier Calls: De trainingslus vereist nul externe judge calls; supervisie komt volledig voort uit de bevroren teacher.
• Afhandeling van Reasoning Traces: Voor reasoning modellen (bijv. Qwen3-Thinking), kan de rubriek-geconditioneerde teacher expliciet naar rubriekcriteria verwijzen in zijn interne "thinking" trace ($\dots$). Om te voorkomen dat de student leert om deze referenties te fabriceren (die hij tijdens inferentie niet kan zien), maskeert RGSD de tokens van de thinking-block tijdens de loss-berekening, en distilleert enkel de uiteindelijke respons-tokens.

Belangrijkste Bijdragen

1. Een Verifieerder-Vrij Trainingsalgoritme: RGSD is de eerste methode die rubrieken gebruikt als geprivilegieerde context voor on-policy self-distillatie, waardoor de LLM-judge volledig uit de optimalisatie-loop wordt verwijderd.
2. Competitieve Prestaties met Lagere Kosten: Over vier basismodellen (Qwen-2.5 3B/7B, Qwen3-Thinking 4B/8B) en twee domeinen (Medisch, Wetenschap) bereikt RGSD rubriek-tevredenheidsscores die vergelijkbaar zijn met de judge-gebaseerde GRPO.
   • Medisch Domein: RGSD verbetert de basisscores met +6.1pp versus GRPO's +5.9pp.
   • Wetenschappelijk Domein: RGSD verbetert met +4.9pp versus GRPO's +4.5pp.
3. Efficiëntie en Beknoptheid: RGSD vereist slechts één on-policy rollout per prompt (versus 16 voor GRPO) en nul judge calls. Bovendien bereikt RGSD op Qwen-2.5 modellen een vergelijkbare kwaliteit met aanzienlijk kortere responsen, waardoor de "verbosity drift" die bij GRPO wordt waargenomen, wordt vermeden.
4. Ablatie-inzichten:
   • Verrijkingssignaal: Het gebruik van de ruwe rubriek als context voor de teacher levert een sterker verrijkingssignaal op dan het gebruik van een zelf-gegenereerde "golden" referentie-respons.
   • Judge Sterkte: Hoewel een sterkere verifieerder (bijv. gpt-oss-120b) GRPO in specifieke settings een voorsprong kan geven op RGSD, gaat dit ten koste van het behouden van de dure per-rollout verifieerder-loop en het vaak produceren van langere, meer claim-dichte responsen.

Resultaten en Analyse

• Prestatie-pariteit: RGSD is competitief met GRPO over in-distributie (RubricHub) en out-of-distribution (HealthBench, ResearchQA) benchmarks. De auteurs interpreteren verschillen onder de 1pp als pariteit in plaats van significante winst, waarbij zij opmerken dat de variantie in de seed laag is.
• Responslengte en Feitelijkheid:
  • Op Qwen-2.5 modellen vertoont GRPO ernstige verbositeit-drift, waarbij het responsen genereert die 1.4–2.3× langer zijn dan RGSD zonder consistente scorewinsten.
  • Een audit op feitelijke claims op HealthBench laat zien dat de lengte-inflatie bij GRPO correleert met een hoger percentage ononderbouwde claims (het percentage foutieve claims stijgt van 30.5% naar 45.1%), terwijl RGSD een meer conservatieve claim-densiteit behoudt (stijging naar 35.1%).
• Conditioning Gap als Diagnostisch Instrument: De omvang van de "rubric-conditioning gap" (de prestatiewinst wanneer een basismodel de rubriek ziet) dient als een voorspeller voor de effectiviteit van RGSD. In domeinen waar het basismodel aanzienlijk profiteert van het zien van de rubriek (bijv. Medisch), herstelt RGSD een groter deel van dat potentieel.

Betekenis en Positionering

Het artikel positioneert RGSD niet als een universele vervanging voor verifieerder-gebaseerde RL, maar als een complementaire regime.

• Wanneer RGSD te gebruiken: Het is aantrekkelijk wanneer verifieerder-calls computationeel duur, operationeel moeilijk of onbetrouwbaar zijn, en wanneer het basismodel een sterke rubric-conditioning respons vertoont. Het internaliseert rubriek-kennis effectief zonder het risico op reward hacking dat geassocieerd wordt met externe judges.
• Wanneer GRPO te gebruiken: Als het primaire doel het maximaliseren van rubriekscores is en een sterke, betrouwbare verifieerder beschikbaar en betaalbaar is, kan judge-gebaseerde GRPO (mogelijk met een sterkere judge) nog steeds een hogere prestatie leveren, zij het tegen een hogere kostenpost en met langere, potentieel minder feitelijke responsen.

De auteurs concluderen dat RGSD aantoont dat rubrieken niet uitsluitend als externe beoordelingsinstrumenten hoeven te dienen; ze kunnen dienen als geprivilegieerde context voor dichte self-distillatie, wat een schaalbaar pad biedt voor post-training in open-eind domeinen.