Self-Distilled RLVR

Titel: Self-Distilled RLVR (RLSD)

Auteurs: Chenxu Yang, Chuanyu Qin, Qingyi Si, et al. (Institute of Information Engineering, CAS & JD.COM)

---

1. Het Probleem: De Valkuil van On-Policy Self-Distillation (OPSD)

Het paper adresseert een fundamenteel probleem in het trainen van Large Language Models (LLMs) voor redeneringstaken. Er zijn twee dominante paradigma's:

1. RLVR (Reinforcement Learning with Verifiable Rewards): Methoden zoals GRPO gebruiken een omgevingsbeloning (bijv. een correcte antwoordverificatie) die slechts één scalair signaal per traject (antwoord) geeft. Dit leidt tot spaarzame signalen en een gebrek aan fijnmazige feedback voor individuele tokens.
2. OPD (On-Policy Distillation): Hierbij dient een groter "leraar"-model als leraar om dichte, token-level signalen te geven. Dit versnelt convergentie, maar vereist een extern, duur model.

Om de kosten van een extern leraar te omzeilen, is OPSD (On-Policy Self-Distillation) ontwikkeld. Hierbij fungeert hetzelfde model als zowel leraar als leerling. De "leraar" heeft echter toegang tot geprivilegieerde informatie (bijv. een geverifieerde redeneringstap of het juiste antwoord), terwijl de "leerling" alleen de vraag ziet.

De Kernproblematiek:
Het paper toont aan dat OPSD structureel faalt op de lange termijn:

• Informatielek (Privileged Information Leakage): Het model leert expliciet te verwijzen naar de onzichtbare referentieoplossing tijdens inferentie, zelfs als deze niet beschikbaar is.
• Instabiele training: De prestaties pieken vroeg en deterioreren daarna systematisch.
• Theoretische oorzaak: Er is een fundamentele informatie-asymmetrie. De leraar konditioneert op $r$ (geprivilegieerde info), de leerling niet. Het minimaliseren van de divergentie tussen beide creëert een onoplosbare mutual information gap ($I(Y_t; R | X, Y_{<t}) > 0$). De leerling kan deze gap niet oplossen en probeert in plaats daarvan correlaties tussen de input $x$ en de onzichtbare $r$ te coderen in de parameters, wat leidt tot het lekken van informatie.

---

2. Methodologie: RLSD (RLVR met Self-Distillation)

De auteurs stellen RLSD voor, een nieuw trainingsparadigma dat de sterke punten van RLVR en OPSD combineert zonder de nadelen. Het centrale inzicht is dat de signalen voor update-richting en update-magnitude verschillende eisen hebben:

• Richting: Moet betrouwbaar zijn en gebaseerd op de omgevingsbeloning (correct/incorrect).
• Magnitude: Moet dicht en fijnmazig zijn om te bepalen welke tokens binnen een traject meer of minder bijdragen.

De RLSD-Workflow:

1. Direction Anchoring (Richting): De richting van de update (beloning of straf) wordt uitsluitend bepaald door de omgevingsbeloning $R(x, y)$ (zoals in GRPO). Dit voorkomt dat het model de richting van de leerling laat bepalen door de leraar.
2. Token-Level Credit Assignment (Magnitude): De evidentieratio tussen de leraar (met $r$) en de leerling (zonder $r$) wordt gebruikt om de grootte van het credit toe te wijzen aan individuele tokens.
   • Berekening: $\Delta_t = \text{sg}(\log P_T(y_t) - \log P_S(y_t))$.
   • Gewicht: $w_t = \exp(\text{sign}(A) \cdot \Delta_t)$.
   • Als het traject correct is ($A > 0$), krijgen tokens die door de leraar worden ondersteund een hogere positieve credit.
   • Als het traject fout is ($A < 0$), krijgen tokens die door de leraar worden afgewezen een zwaardere straf.
3. Decoupling: De leraar fungeert niet als een generatief doel (geen distribution matching), maar als een magnitude evaluator. De geprivilegieerde informatie beïnvloedt alleen hoeveel credit een token krijgt, niet welke richting de update opgaat.

Dit vereist slechts één extra forward pass per respons en geen extra loss-functie of auxiliaire netwerken.

---

3. Belangrijkste Bijdragen

1. Theoretische Diagnose van OPSD:

   • Bewijs dat distribution matching onder informatie-asymmetrie leidt tot een irreducibele mutual information gap.
   • Analyse van de gradiëntstructuur: OPSD introduceert een per-sample afwijking ($\delta$) met een variantie die evenredig is aan de mutual information. Deze afwijking veroorzaakt het lekken van informatie en de instabiliteit.
   • Het formuleren van een onmogelijkheids-trilemma voor OPSD: Je kunt niet tegelijkertijd doelstabiliteit, aanhoudende verbetering en lek-vrije training bereiken met gedeelde parameters.

2. Introductie van RLSD:

   • Een nieuw paradigma dat de leraar hergebruikt als een "wingman" voor credit assignment in plaats van een leraar voor imitatie.
   • Het koppelt de update-richting aan de betrouwbare omgevingsbeloning en gebruikt de leraar alleen voor fijnmazige schaling van de update-magnitude.
   • RLSD is structureel immuun voor informatielekken omdat de gradiëntrichting volledig wordt verankerd aan de student-sampling en de omgevingsverificatie.

3. Empirische Validatie:

   • Uitgebreide experimenten op multimodale redeneringsbenchmarks.

---

4. Resultaten

De auteurs hebben RLSD getraind op Qwen3-VL-8B-Instruct en geëvalueerd op vijf benchmarks (MMMU, MathVista, MathVision, ZeroBench, WeMath).

• Prestaties: RLSD bereikte de hoogste gemiddelde nauwkeurigheid (56.18%), wat een verbetering is van 4.69% ten opzichte van de basis-LLM en 2.32% ten opzichte van standaard GRPO.
• Vergelijking met OPSD: OPSD toonde de voorspelde degradatie: prestaties piekten vroeg en daalden daarna, terwijl RLSD stabiel bleef en een hogere convergentieplafond bereikte.
• Convergentiesnelheid: RLSD bereikte na 200 trainingsstappen een prestatieniveau dat GRPO pas na 400 stappen bereikte (dubbel zoveel stappen).
• Credit Heatmaps: Visualisaties tonen aan dat RLSD correcte redeneringstokens (bijv. cruciale rekenstappen) meer credit geeft en foutieve stappen zwaarder straft, terwijl GRPO uniform verdeelt.

---

5. Significantie en Impact

Dit paper is significant omdat het een fundamentele theoretische beperking van een populair trainingsparadigma (Self-Distillation) blootlegt en een praktische oplossing biedt.

• Oplossing voor een breed probleem: Het biedt een manier om de voordelen van dichte token-level signalen (zoals bij distillatie) te benutten zonder de kosten van een extern leraar of het risico op informatielekken.
• Efficiëntie: RLSD is een "drop-in" vervanging voor GRPO die geen extra modellen vereist en slechts een minimale rekentijd toevoegt.
• Stabiliteit: Het lost het probleem van vroege pieken en late degradatie op, wat essentieel is voor het trainen van robuuste redeneringsmodellen.
• Theoretische diepgang: De analyse van de gradiëntstructuur en het "impossibility trilemma" biedt waardevolle inzichten voor toekomstig onderzoek in on-policy learning en self-improvement van LLMs.

Kortom, RLSD verenigt de betrouwbaarheid van verifieerbare beloningen met de fijnmazigheid van self-distillation, waardoor het een nieuwe staat-der-kunst benadering wordt voor het post-training van redenerende LLMs.