Technische Zusammenfassung: Wiederherstellung des Sweet Spot durch pass-raten-gewichtete Selbst-Distillation

1. Problemstellung

Large Language Models (LLMs) werden zunehmend mit Reinforcement Learning using Verifiable Rewards (RLVR) für Domänen wie Code und Mathematik trainiert. Obwohl RLVR-Methoden wie Group Relative Policy Optimization (GRPO) erfolgreich waren, leiden sie unter einem „Credit-Assignment-Bottleneck", bei dem eine einzelne skalare Belohnung pro Versuch nicht anzeigt, wo oder warum ein Modell versagt hat.

Self-Distillation Policy Optimization (SDPO) adressiert dies, indem es das Modell selbst als Lehrer nutzt, konditioniert auf privilegierte Informationen (z. B. Laufzeitfehler oder korrekte Lösungen), um eine dichte, token-level-Supervision bereitzustellen. Die Autoren identifizieren jedoch einen kritischen Zielkonflikt:

• GRPO besitzt ein implizites „Difficulty Awareness". Seine gruppenrelative Vorteil-Normalisierung konzentriert das Lernen natürlich auf einen „Sweet Spot" von Fragen mittlerer Schwierigkeit (wo die Pass-Rate $p \approx 0,5$ ist) und unterdrückt das Lernen bei Fragen, die zu einfach ($p \approx 1$) oder zu schwer ($p \approx 0$) sind.
• SDPO bietet zwar eine überlegene dichte Credit Assignment, fehlt es jedoch an diesem Difficulty Awareness. Sein auf KL-Divergenz basierender Verlust behandelt alle Fragen gleich, verwässert das Lernsignal bei den informativsten Proben mittlerer Schwierigkeit und unterdrückt nicht die uninformativen Gruppen, die entweder vollständig korrekt oder vollständig inkorrekt sind.

Das Kernproblem besteht darin, dass SDPO die vorteilhafte „Sweet Spot"-Konzentration von GRPO opfert, um eine dichte Credit Assignment zu gewinnen, was zu einer suboptimalen Lerneffizienz führt.

2. Methodik: SC-SDPO

Die Autoren schlagen Scale-Consistent SDPO (SC-SDPO) vor, eine Variante, die den difficulty-aware „Sweet Spot" in SDPO wiederherstellt, ohne dessen dichte Credit Assignment zu opfern oder externe Lehrer zu benötigen.

Theoretische Grundlage

Der Artikel erweitert das Learnability-Framework von Bae et al. [2026] auf normalisierte Belohnungen.

1. Roh- vs. normalisierte Belohnungen: Unter rohen binären Belohnungen ist die Policy-Verbesserung durch die Varianz $p(1-p)$ nach unten begrenzt. GRPO verwendet jedoch eine gruppenrelative Normalisierung: $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$.
2. Der Skalierungsfaktor: Die Autoren zeigen, dass diese Normalisierung den Varianzterm $p(1-p)$ absorbiert und die Learnability erster Ordnung über die Fragen hinweg ausgleicht. Folglich skaliert die verbleibende Gradientenstärke pro Frage in GRPO mit $\sqrt{p(1-p)}$ und nicht mit $p(1-p)$.
3. Das ideale Ziel: Um die dichten Token-Level-Vorteile von SDPO mit der Difficulty-Modulation von GRPO zu kombinieren, sollte die ideale Gradientenstärke pro Frage mit einem Faktor von $[\hat{p}(1-\hat{p})]^{1/2}$ skaliert werden.

Algorithmische Implementierung

SC-SDPO modifiziert die SDPO-Verlustfunktion durch Einführung eines skalaren Gewichts pro Frage $\bar{w}_j$:
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

Wesentliche Komponenten des Gewichtungsschemas:

• Gewichtungsfunktion: Das unnormalisierte Gewicht ist $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$, wobei $\hat{p}_j$ die empirische Pass-Rate für Frage $j$ innerhalb eines Batches ist. Die Autoren setzen $\alpha = 1/2$ basierend auf der theoretischen Herleitung.
• Batch-adaptive Normalisierung: Um Trainingsinstabilität zu verhindern, wenn sich die Verteilung der Pass-Raten während des Trainings verschiebt, werden die Gewichte innerhalb des Batches normalisiert: $\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$, wobei $S$ die Menge der nicht-degenerierten Fragen ist.
• Zero-Cost-Nebenprodukt: Da SDPO ein on-policy-Algorithmus ist, der bereits mehrere Rollouts pro Frage sampelt, ist die Pass-Rate $\hat{p}_j$ ein kostenloses Nebenprodukt des bestehenden Trainingsloops. Es sind keine zusätzlichen Rollouts oder Offline-Passes erforderlich.

3. Hauptbeiträge

1. Theoretische Analyse: Der Artikel identifiziert, dass die Vorteil-Normalisierung von GRPO den Varianzterm $p(1-p)$ absorbiert und $\sqrt{p(1-p)}$ als natürlichen Skalierungsfaktor für die Gradientenstärke hinterlässt. Dies korrigiert die frühere Annahme, dass die Skalierung linear mit der Varianz sein sollte.
2. SC-SDPO-Algorithmus: Eine einfache, skalare Modifikation von SDPO, die das Difficulty Awareness wiederherstellt. Sie gewichtet Fragen dynamisch basierend auf ihren sich entwickelnden Pass-Raten und erstellt ein implizites Curriculum, das die Modellkompetenz verfolgt.
3. Empirische Validierung: Umfassende Experimente zeigen, dass die Kombination aus dichter Credit Assignment (SDPO) und difficulty-aware Gewichtung (SC-SDPO) eine überlegene Leistung erzielt im Vergleich zur Verwendung eines der beiden Mechanismen allein.

4. Experimentelle Ergebnisse

Experimente wurden mit Qwen3-8B und OLMo-3-7B über wissenschaftliches Reasoning (Chemie, Physik, Biologie, Materialwissenschaft) und Tool-Use-Benchmarks durchgeführt.

• Leistungssteigerungen:
  • Bei Qwen3-8B verbesserte sich SC-SDPO ($\alpha=0,5$) gegenüber der ungewichteten SDPO-Baseline um +3,2 (mean@16) und +4,3 (maj@16) im Durchschnitt.
  • Bei OLMo-3-7B verbesserte es sich um +1,8 (mean@16) und +3,0 (maj@16).
  • SC-SDPO schnitt konsistent besser ab als GRPO, SDPO und andere Baselines (PACED, Hard Filter, SRPO).
• Exponent-Analyse: Die Wahl von $\alpha=0,5$ (scale-consistent) schnitt konsistent besser ab als $\alpha=1$ (variance-based) und validiert die theoretische Behauptung, dass $\alpha=1$ das Lernsignal zu stark unterdrückt.
• Trainingsdynamik:
  • SC-SDPO behielt stabile Gradientennormen bei, ähnlich der ungewichteten SDPO-Baseline, während statische Gewichtung (PACED) zu Gradientenspitzen führte und Hard Filtering die Gradienten zu aggressiv unterdrückte.
  • Die Methode behielt erfolgreich einen höheren Anteil an Proben mittlerer Schwierigkeit („Sweet Spot") während des frühen Trainings bei und beschleunigte so den Kompetenzerwerb.
  • Die Antwortlängen blieben höher als bei der SDPO-Baseline, was darauf hindeutet, dass das Modell ermutigt wurde, bei Fragen mittlerer Schwierigkeit ausführlicher zu werden, anstatt auf kurze Antworten zu kollabieren.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass SC-SDPO die fundamentale Spannung zwischen dichter Credit Assignment und Difficulty Awareness beim Post-Training von LLMs auflöst. Durch die Herleitung des korrekten Skalierungsfaktors ($\sqrt{p(1-p)}$) mittels theoretischer Analyse normalisierter Belohnungen bieten die Autoren eine „einfache Vorschrift", die den „Sweet Spot" in die Selbst-Distillation zurückbringt.

Die Bedeutung liegt in:

• Effizienz: Es erzielt State-of-the-Art-Ergebnisse ohne externe Lehrermodelle oder zusätzlichen Rechenaufwand (kostenlose Pass-Rate-Schätzung).
• Robustheit: Die batch-adaptive Normalisierung gewährleistet stabile Trainingsdynamik und vermeidet die Fallstricke statischer oder eingefrorener Gewichtungsschemata.
• Generalisierbarkeit: Die Methode funktioniert über verschiedene Modellfamilien (Qwen und OLMo) und Aufgabentypen (Reasoning und Tool Use) hinweg.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und stellen fest, dass die Methode auf binären Belohnungen und einer diskreten Pass-Rate-Granularität (abhängig von der Anzahl der Rollouts $G$) beruht und ihre Wirksamkeit bei offenen Generierungsaufgaben oder deutlich größeren Modellskalen weiterer Validierung bedarf.