Self-Distilled RLVR

Titel: Self-Distilled RLVR (RLSD): Ein neues Paradigma für das Training von Reasoning-Modellen

1. Problemstellung

Das Paper adressiert die Herausforderungen beim Nachtrainieren (Post-Training) von Large Language Models (LLMs) für komplexe Reasoning-Aufgaben. Zwei etablierte Ansätze stehen sich gegenüber, haben aber jeweils gravierende Nachteile:

• Reinforcement Learning with Verifiable Rewards (RLVR), z.B. GRPO: Hier erhält das Modell nur ein spärliches, sequenzweises Signal (z.B. „richtig/falsch" vom Verifier). Dies führt zu einer ungenauen Kreditverteilung (Credit Assignment), da alle Token einer Antwort denselben Vorteil (Advantage) erhalten, unabhängig davon, ob sie entscheidend für die Lösung waren oder nur Fülltext.
• On-Policy Self-Distillation (OPSD): Hier dient das Modell selbst als Lehrer und Schüler. Der „Lehrer" erhält privilegierte Informationen (z.B. eine verifizierte Lösung oder einen korrekten Lösungsweg), die dem „Schüler" während der Inferenz nicht zur Verfügung stehen.
  • Das Problem: Das Paper zeigt, dass OPSD zu einem strukturellen Versagen führt. Da der Lehrer auf Informationen zugreift, die der Schüler nicht hat (Informationsasymmetrie), entsteht eine unvermeidbare Lücke in der gegenseitigen Information.
  • Folgen: Dies führt zu Privilegierter Informations-Leckage (Privileged Information Leakage). Das Modell lernt, sich während der Inferenz auf die unsichtbaren Referenzlösungen zu beziehen (z.B. durch Sätze wie „Da die Referenzlösung X sagt..."), obwohl es diese im Testbetrieb nicht hat. Zudem kollabiert die Leistung nach anfänglichen Gewinnen, da die Optimierung durch Rauschen in den Gradienten destabilisiert wird.

2. Methodik: RLSD (RLVR with Self-Distillation)

Die Autoren schlagen RLSD vor, ein hybrides Paradigma, das die Stärken von RLVR und Self-Distillation vereint, ohne deren Schwächen zu übernehmen. Der Kerngedanke ist die Entkopplung von Update-Richtung und Update-Magnitude:

• Update-Richtung (Direction): Wird ausschließlich durch das Umgebungs-Signal (Verifier-Reward) bestimmt. Dies garantiert, dass die Richtung des Gradienten (Belohnung oder Bestrafung) auf der tatsächlichen Korrektheit der Antwort basiert und nicht durch den Lehrer verzerrt wird.
• Update-Magnitude (Magnitude): Hier kommt die Self-Distillation ins Spiel. Das Modell berechnet für jedes Token den Unterschied zwischen seiner eigenen Wahrscheinlichkeit (ohne privilegierte Info) und der Wahrscheinlichkeit des „Lehrers" (mit privilegierten Infos).
  • Dieser Unterschied wird als Evidenz-Verhältnis (Evidence Ratio) $w_t = P_T(y_t)/P_S(y_t)$ interpretiert.
  • Dieses Verhältnis dient als Gewichtungsfaktor für den Vorteil (Advantage) jedes Tokens.
  • Mechanismus: Wenn ein Token durch die privilegierte Information stark unterstützt wird (hohe Evidenz für die korrekte Lösung), erhält es bei einer korrekten Antwort mehr „Kredit". Bei einer falschen Antwort werden die Token, die die Fehlschlüsse verursachten, stärker bestraft.
• Technische Umsetzung:
  • Es wird kein separater Lehrer-Modell benötigt (On-Policy).
  • Es wird kein zusätzlicher Distillation-Loss minimiert.
  • Die privilegierten Informationen beeinflussen nur die Stärke des Updates, nicht die Richtung.
  • Ein Clipping-Mechanismus (ähnlich wie bei PPO/GRPO) begrenzt den Einfluss des Lehrers, um Stabilität zu gewährleisten.
  • Ein Mixing-Koeffizient $\lambda$ wird über die Trainingszeit linear auf 0 reduziert, um den Übergang von feiner Token-Level-Steuerung hin zu reinem RLVR zu glätten.

3. Theoretische Analyse und Beiträge

Das Paper liefert eine fundierte theoretische Begründung für das Scheitern von OPSD und die Stabilität von RLSD:

• Theorem 1 (KL-Zerlegung): Es wird bewiesen, dass das OPSD-Ziel eine irreduzible Lücke $I(Y_t; R | X, Y_{<t})$ (gegenseitige Information zwischen Token und privilegierten Daten) enthält. Diese Lücke kann vom Schüler nie geschlossen werden und führt dazu, dass das Modell versucht, Korrelationen zwischen Eingabe und privilegierten Daten zu kodieren (Leckage).
• Gradienten-Analyse: Die Autoren zeigen, dass bei OPSD die Gradienten pro Sample eine Abweichung enthalten, deren Varianz proportional zur gegenseitigen Information ist. Diese Abweichung führt zu einer pathologischen, pfadabhängigen Akkumulation von Fehlern.
• Unmöglichkeitstrilemma: Unter geteilten Parametern (Lehrer = Schüler) können Zielstabilität, anhaltende Verbesserung und leak-freies Training nicht gleichzeitig erreicht werden.
• Lösung durch RLSD: RLSD umgeht dieses Trilemma, indem es die Verteilungsanpassung (Distribution Matching) aufgibt und stattdessen die Diskrepanz als skalaren Multiplikator für das Credit Assignment nutzt. Die Update-Richtung bleibt an den externen Verifier gebunden, was Leckage strukturell unmöglich macht.

4. Experimentelle Ergebnisse

Die Methode wurde auf dem Qwen3-VL-8B-Instruct Modell getestet und auf fünf multimodalen Reasoning-Benchmarks evaluiert (MMMU, MathVista, MathVision, ZeroBench, WeMath).

• Leistungssteigerung: RLSD erreicht die höchste durchschnittliche Genauigkeit (56,18 %) und übertrifft das Basis-Modell um 4,69 % sowie den Standard-GRPO-Ansatz um 2,32 %.
• Konvergenz: Im Vergleich zu OPSD, das nach 10–20 Schritten ein Maximum erreicht und dann abfällt, zeigt RLSD eine stabile Konvergenz und erreicht ein höheres Leistungsoberdeck.
• Effizienz: RLSD konvergiert schneller als GRPO (erreicht bei 200 Schritten Ergebnisse, die GRPO erst nach 400 Schritten erreicht).
• Token-Level Credit Assignment: Visualisierungen zeigen, dass RLSD korrekt Token identifiziert, die für die Lösung entscheidend sind (z.B. Rechenoperationen), und diese stärker belohnt/bestraft als generische Füllwörter.
• Ressourcen: Der zusätzliche Rechenaufwand ist minimal (ein zusätzlicher Forward-Pass pro Antwort), da kein separates Lehrer-Modell trainiert werden muss.

5. Bedeutung und Fazit

Das Paper ist ein signifikanter Beitrag zur Forschung im Bereich des Reasoning in LLMs:

1. Theoretische Klarheit: Es liefert den ersten formalen Beweis dafür, warum On-Policy Self-Distillation unter Informationsasymmetrie scheitert, und widerlegt die Annahme, dass Self-Distillation per se stabil ist.
2. Praktische Innovation: RLSD bietet einen „Drop-in"-Ersatz für Standard-RLVR-Pipelines (wie GRPO), der die Vorteile von dichten Token-Level-Signalen nutzt, ohne die Stabilität zu gefährden oder teure externe Lehrer-Modelle zu benötigen.
3. Paradigmenwechsel: Es verschiebt den Fokus von „Imitation des Lehrers" (Distribution Matching) hin zu „Präziser Kreditverteilung" (Credit Assignment), wobei die Richtung der Optimierung strikt an verifizierbare Umgebungsziele gebunden bleibt.

Zusammenfassend stellt RLSD einen robusten, effizienten und theoretisch fundierten Weg dar, um die Reasoning-Fähigkeiten von LLMs durch die intelligente Kombination von Umgebungs-Rewards und internen Selbst-Distillation-Signalen zu verbessern.