Technische Samenvatting: Het heroverwegen van beloningssupervisie: Rubriek-geconditioneerde zelf-distillatie

Probleemstelling

De post-training van reasoning language models (LLM's) leunt momenteel zwaar op twee paradigma's, die beide lijden onder significante beperkingen in het bieden van fijnmazige feedback:

1. Reinforcement Learning met Verifieerbare Beloningen (RLVR): Methoden zoals Group Relative Policy Optimization (GRPO) comprimeren evaluatieve feedback doorgaans tot een ijle, scalaire signaal (bijv. binaire correctheid of een enkele score). Hoewel effectief voor verifieerbare taken, verhult deze aanpak waarom een traject slaagde of faalde, wat een "credit-assignment bottleneck" creëert waarbij het model geen onderscheid kan maken tussen correcte en incorrecte tussenliggende redeneerstappen.
2. On-Policy Zelf-distillatie (OPSD): Deze methoden vervangen ijle beloningen door dichte, op tokens gebaseerde begeleiding van een docentmodel (teacher model). Echter, bestaande benaderingen conditioneren de docent op een enkele geprivilegieerde referentie-traject (een specifieke gouden oplossing). Dit koppelt supervisie aan een specifiek redeneepad, wat potentieel de wijze waarop een antwoord moet worden geproduceerd te strikt dicteert en de ruimte van geldige alternatieve afleidingen negeert. Bovendien, als de student licht afwijkt van dit enkele pad, kan de docent globale revisie aanmoedigen in plaats van lokale correctie.

Daarnaast hebben rubrieken (gestructureerde evaluatiecriteria) weliswaar een rijkere, meer interpreteerbare representatie van kwaliteit dan scalaire scores, maar voorgaand werk heeft deze structuur grotendeels genegeerd tijdens optimalisatie door rubric-oordelen te aggregeren in een enkele scalaire beloning.

Methodologie: Rubriek-geconditioneerde Zelf-distillatie (RCSD)

De auteurs stellen Rubric-Conditioned Self-Distillation (RCSD) voor, een framework dat rubrieken behandelt als geprivilegieerde, gestructureerde docent-zijde supervisie voor on-policy zelf-distillatie. In plaats van rubric-feedback te comprimeren tot een scalaire waarde, conditioneert RCSD het docentmodel op criterium-niveau informatie om dichte, op tokens gebaseerde begeleiding te bieden op de eigen gesamplede trajecten van de student.

Het framework werkt via een tweestaps-pipeline:

Fase I: Leren van een Rubriek-generator

Om de hoge kosten van het verkrijgen van instantie-specifieke rubrieken aan te pakken, trainen de auteurs een toegewijde rubriek-generator.

• Docent-beleid (Teacher Policy): Ontvangt de vraag ($x$) en een referentieantwoord ($y^\star$) als geprivilegieerde input om de passende evaluatiecriteria af te leiden.
• Student-beleid (Student Policy): Observeert alleen de vraag ($x$) en leert een rubriek ($r$) te genereren die de criteria van de docent benadert.
• Doelstelling: De student wordt getraind via on-policy distillatie om de token-distributie van de docent te matchen langs het eigen gesamplede rubriek-traject van de student. Dit amorteert de generatie van instantie-specifieke criteria naar een herbruikbaar model.

Fase II: Rubriek-geconditioneerd Redeneren

De getrainde rubriek-generator wordt gebruikt om de training van het redeneermodel te begeleiden.

• Docent-beleid (Teacher Policy): Ontvangt de vraag ($x$) en de gegenereerde rubriek ($r$) als geprivilegieerde context.
• Student-beleid (Student Policy): Observeert alleen de vraag ($x$) en genereert een redeneer-traject ($\hat{y}$).
• Doelstelling: De student minimaliseert de Kullback-Leibler (KL) divergentie tussen zijn eigen distributie en de door de rubriek geconditioneerde distributie van de docent:
  $$\mathcal{L}_{reason} = \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{t=1}^{|\hat{y}|} D_{KL} \left( p_T(\cdot \mid x, r, \hat{y}_{<t}) \parallel p_S(\cdot \mid x, \hat{y}_{<t}) \right) \right]$$
• Kernontwerp: Door te conditioneren op de rubriek in plaats van op een enkel referentieantwoord, biedt de docent criterium-bewuste begeleiding. Dit stelt de optimalisatie-signaal in staat om verschillende dimensies van gedeeltelijke correctheid te onderscheiden (bijv. een correcte stap gevolgd door een lokale fout), in plaats van ze te comprimeren tot een enkele score of een enkel referentiepad. De auteurs maken gebruik van Forward KL divergentie om de student aan te moedigen de support van de door de rubriek geconditioneerde docent-distributie te dekken, waardoor diversiteit over geldige redeneepaden behouden blijft.

Belangrijkste Bijdragen

1. Nieuwe Supervisie-interface: RCSD herdefinieert rubrieken niet louter als scoring-instrumenten, maar als gestructureerde supervisie-interfaces die token-niveau leren tijdens optimalisatie vormgeven.
2. Tweestaps-pipeline: De auteurs introduceren een schaalbare methode om taakspecifieke rubrieken automatisch te leren (Fase I) en deze vervolgens te gebruiken om redeneren te begeleiden (Fase II), waardoor de afhankelijkheid van handmatige rubriek-annotatie of dure LLM-as-a-Judge beloningen tijdens de distillatie-fase wordt weggenomen.
3. Criterium-bewust On-Policy Leren: In tegenstelling tot standaard OPSD, dat conditioneert op een enkel traject, conditioneert RCSD op criteria, wat zorgt voor fijnmazige credit-assignment die specifieke lokale fouten bestraft terwijl correcte stappen behouden blijven, zelfs op de eigen gesamplede trajecten van de student.

Experimentele Resultaten

De methode werd geëvalueerd op een diverse reeks wetenschappelijke redeneer-benchmarks, inclusief verifieerbare taken (GPQA-DIAMOND, SciBench, PIQA) en niet-verifieerbare, open-ended taken (ResearchQA, RubricHub).

• Prestaties: RCSD behaalde de beste gemiddelde score (70.6) over de benchmarks. Het presteerde 4.7 punten beter dan het basis Qwen3-8B model, en overtrof GRPO met 1.0 punt en OPSD met 0.9 punten op gemiddelde basis.
• Domeinspecificiteit: De winst was het meest uitgesproken op rubriek-gebaseerde en wetenschappelijke redeneertaken (bijv. +8.2 punten op ResearchQA, +4.9 punten op RubricHub), waar scalaire beloningen vaak falen om de kwaliteit van de respons te vatten.
• Generalisatie: De methode demonstreerde robuuste generalisatie naar out-of-domain medische benchmarks (MedMCQA, PubMedQA) zonder catastrofaal vergeten, wat suggereert dat de geleerde criteria algemene redeneerstructuren vatten.
• Ablatie-studies:
  • Type Verliesfunctie: Forward KL bleek de meest effectieve doelstelling, wat de hoogste gemiddelde prestatie opleverde en een hogere student-entropie (diversiteit) behield vergeleken met Reverse KL of JS Divergentie.
  • Rubriekbron: Het gebruik van rubrieken gegenereerd door de geleerde Fase-I generator leverde resultaten op die competitief waren met het gebruik van ground-truth referentie-rubrieken, wat de schaalbaarheid van de tweestaps-aanpak valideert.
  • Robuustheid: De methode bleef effectief, zelfs met gedegradeerde rubriek-inputs (generiek, ruizig of gereduceerd), hoewel instantie-specifieke geleerde rubrieken de sterkste supervisie boden.

Betekenis en Claims

Het artikel claimt dat RCSD een verifier-vrije aanpak biedt voor post-training van open-ended redeneermodellen. Door de criterium-niveau structuur te bewaren tijdens optimalisatie en rubrieken om te zetten in dichte, op tokens gebaseerde begeleiding, adresseert de methode de credit-assignment bottleneck die inherent is aan scalaire beloningsoptimalisatie en de pad-specifieke bias van referentie-geconditioneerde distillatie.

De auteurs stellen dat RCSD bijzonder significant is voor taken waarbij hoogwaardige responsen niet volledig gevangen kunnen worden door automatische verificatie (exact-match antwoorden of unit tests) of scalaire outcome-beloningen. Door het model te laten leren wat eigenschappen een respons moet voldoen (via rubrieken) in plaats van hoe een specifiek oplossingspad nagebootst moet worden, faciliteert RCSD flexibelere en robuustere verbeteringen in redeneren. Het werk suggereert dat gestructureerde, multidimensionale feedback een superieur supervisie-signaal is voor complexe redeneertaken vergeleken met zowel ijle beloningen als single-trajectory distillatie.