Technische Samenvatting: Herstel van het Sweet Spot via Pass-Rate Geweekte Self-Distillation

1. Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker getraind met Reinforcement Learning met Verifieerbare Beloningen (RLVR) voor domeinen zoals code en wiskunde. Hoewel RLVR-methoden zoals Group Relative Policy Optimization (GRPO) succes hebben bewezen, kampen ze met een "toewijzingsbottleneck voor krediet" waarbij een enkele scalair per poging niet aangeeft waar of waarom een model faalde.

Self-Distillation Policy Optimization (SDPO) lost dit op door het model zelf als leraar te gebruiken, geconditioneerd op bevoorrechte informatie (zoals runtime-fouten of correcte oplossingen), om dichte, token-niveau supervisie te bieden. De auteurs identificeren echter een kritieke afweging:

• GRPO bezit een impliciet "bewustzijn van moeilijkheidsgraad". Zijn groepsrelatieve voordeelnormalisatie concentreert het leren natuurlijk op een "sweet spot" van vragen met gemiddelde moeilijkheidsgraad (waar de slagingskans $p \approx 0,5$), en onderdrukt het leren op vragen die te makkelijk zijn ($p \approx 1$) of te moeilijk ($p \approx 0$).
• SDPO, hoewel het superieure dichte krediettoewijzing biedt, mist dit bewustzijn van moeilijkheidsgraad. Zijn op KL gebaseerde verliesfunctie behandelt alle vragen gelijk, wat het leersignaal op de meest informatieve vragen met gemiddelde moeilijkheidsgraad verduistert en het onderdrukken van niet-informatieve groepen met volledig correcte of volledig incorrecte antwoorden faalt.

Het kernprobleem is dat SDPO de gunstige concentratie op het "sweet spot" van GRPO opoffert om dichte krediettoewijzing te verkrijgen, wat resulteert in suboptimale leerefficiëntie.

2. Methodologie: SC-SDPO

De auteurs stellen Scale-Consistent SDPO (SC-SDPO) voor, een variant die het bewustzijn van moeilijkheidsgraad en het "sweet spot" terugbrengt naar SDPO, zonder afbreuk te doen aan de dichte krediettoewijzing of externe leraren te vereisen.

Theoretische Grondslag

Het artikel breidt het leerbaarheidskader van Bae et al. [2026] uit tot genormaliseerde beloningen.

1. Rauwe versus Genormaliseerde Beloningen: Onder rauwe binaire beloningen wordt verbetering van het beleid ondergrensd door de variantie $p(1-p)$. GRPO gebruikt echter groepsrelatieve normalisatie: $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$.
2. De Schalingsfactor: De auteurs tonen aan dat deze normalisatie de variantieterm $p(1-p)$ absorbeert, waardoor de leerbaarheid van de eerste orde over vragen gelijk wordt. Bijgevolg schaalt de resterende per-vraag gradiëntgrootte in GRPO als $\sqrt{p(1-p)}$, niet als $p(1-p)$.
3. Het Ideale Doel: Om de dichte token-niveau voordelen van SDPO te combineren met de modulatie van moeilijkheidsgraad van GRPO, zou de ideale per-vraag gradiënt moeten worden geschaald met een factor van $[\hat{p}(1-\hat{p})]^{1/2}$.

Algorithmische Implementatie

SC-SDPO wijzigt de SDPO-verliesfunctie door een per-vraag scalair gewicht $\bar{w}_j$ in te voeren:
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

Belangrijke componenten van het wegingsschema:

• Gewichtsfunctie: Het niet-genormaliseerde gewicht is $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$, waarbij $\hat{p}_j$ de empirische slagingskans is voor vraag $j$ binnen een batch. De auteurs stellen $\alpha = 1/2$ op basis van de theoretische afleiding.
• Batch-Adaptieve Normalisatie: Om trainingsinstabiliteit te voorkomen naarmate de verdeling van slagingskansen tijdens het trainen verschuift, worden de gewichten genormaliseerd binnen de batch: $\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$, waarbij $S$ de set van niet-degenererende vragen is.
• Nul-Kosten Bijproduct: Omdat SDPO een on-policy algoritme is dat al meerdere rollouts per vraag bemonsterd, is de slagingskans $\hat{p}_j$ een gratis bijproduct van de bestaande trainingslus. Er zijn geen extra rollouts of offline passes vereist.

3. Belangrijkste Bijdragen

1. Theoretische Analyse: Het artikel identificeert dat de voordeelnormalisatie van GRPO de variantieterm $p(1-p)$ absorbeert, waardoor $\sqrt{p(1-p)}$ overblijft als de natuurlijke schalingsfactor voor de gradiëntgrootte. Dit corrigeert een eerdere aanname dat de schaling lineair zou moeten zijn met de variantie.
2. SC-SDPO Algoritme: Een eenvoudige, enkel-scalaire modificatie van SDPO die bewustzijn van moeilijkheidsgraad herstelt. Het weegt vragen dynamisch op basis van hun evoluerende slagingskansen, waardoor een impliciete curriculum ontstaat die de competentie van het model volgt.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat het combineren van dichte krediettoewijzing (SDPO) met gewichtgeving op basis van bewustzijn van moeilijkheidsgraad (SC-SDPO) superieure prestaties oplevert vergeleken met het gebruik van elk mechanisme afzonderlijk.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-8B en OLMo-3-7B over wetenschappelijk redeneren (Chemie, Fysica, Biologie, Materiaalkunde) en tool-use benchmarks.

• Prestatiewinst:
  • Op Qwen3-8B verbeterde SC-SDPO ($\alpha=0,5$) ten opzichte van de niet-gewogen SDPO-baseline met +3,2 (mean@16) en +4,3 (maj@16) gemiddeld.
  • Op OLMo-3-7B verbeterde het met +1,8 (mean@16) en +3,0 (maj@16).
  • SC-SDPO presteerde consequent beter dan GRPO, SDPO en andere baselines (PACED, Hard Filter, SRPO).
• Exponentanalyse: De keuze van $\alpha=0,5$ (schaal-consistent) presteerde consequent beter dan $\alpha=1$ (variantie-gebaseerd), wat de theoretische claim valideert dat $\alpha=1$ het leersignaal te sterk onderdrukt.
• Trainingsdynamiek:
  • SC-SDPO behield stabiele gradiëntnormen vergelijkbaar met de niet-gewogen SDPO-baseline, terwijl statische weging (PACED) gradiëntpieken veroorzaakte en hard filteren gradiënten te agressief onderdrukte.
  • De methode behield succesvol een hoger percentage vragen met gemiddelde moeilijkheidsgraad ("sweet spot") tijdens de vroege training, wat de vaardigheidsverwerving versnelde.
  • De antwoorden bleven langer dan de SDPO-baseline, wat suggereert dat het model werd aangemoedigd om uit te weiden over vragen met gemiddelde moeilijkheidsgraad in plaats van in te storten naar korte antwoorden.

5. Betekenis en Claims

Het artikel beweert dat SC-SDPO de fundamentele spanning tussen dichte krediettoewijzing en bewustzijn van moeilijkheidsgraad bij het post-trainen van LLMs oplost. Door de juiste schalingsfactor ($\sqrt{p(1-p)}$) af te leiden via theoretische analyse van genormaliseerde beloningen, bieden de auteurs een "eenvoudig voorschrift" dat het "sweet spot" terugbrengt naar self-distillation.

De betekenis ligt in:

• Efficiëntie: Het bereikt state-of-the-art resultaten zonder externe leraarmodellen of extra rekenkosten te vereisen (nul-kosten schatting van slagingskansen).
• Robuustheid: De batch-adaptieve normalisatie zorgt voor stabiele trainingsdynamiek en vermijdt de valkuilen van statische of bevroren wegingsschema's.
• Generaliseerbaarheid: De methode werkt over verschillende modelfamilies (Qwen en OLMo) en taaktypen (redeneren en tool-gebruik).

De auteurs blijven bescheiden wat beperkingen betreft, en merken op dat de methode afhankelijk is van binaire beloningen en discrete granulariteit van slagingskansen (afhankelijk van het aantal rollouts $G$), en dat de effectiviteit op open-ended generatietaken of aanzienlijk grotere modelgroottes verdere validatie vereist.