GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

Technische Zusammenfassung: Die Gruppen-Standardabweichungs-Identität im RLVR-Training

Problemstellung
In Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) beinhaltet das Training von Sprachmodellen für logisches Denken oft das Sampling mehrerer Kandidatnantworten ($G$) für einen einzelnen Prompt und die Verwendung eines automatischen Verifizierers, um binäre Belohnungen zuzuweisen (1 für korrekt, 0 für inkorrekt). Drei prominente Methoden zur Verarbeitung dieser Belohnungen – Group Relative Policy Optimization (GRPO), GRPO Done Right (Dr. GRPO) und Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) – scheinen unterschiedliche Heuristiken anzuwenden. GRPO normalisiert die Vorteile durch die Standardabweichung der Gruppe; Dr. GRPO entfernt diese Normalisierung; DAPO verwirft Gruppen, in denen sich alle Antworten einig sind (Standardabweichung Null). Die Arbeit adressiert das Fehlen eines einheitlichen theoretischen Verständnisses dieser Methoden und stellt die Frage, ob es sich um separate Korrekturen oder Variationen eines einzigen zugrunde liegenden Mechanismus handelt.

Methodik und Kern-Identität
Die Arbeit isoliert das Trainings-Update für einen einzelnen Prompt mit einer endlichen Gruppengröße $G$ und binären Belohnungen. Sie leitet eine exakte mathematische Identität für das Policy-Gradient-Update pro Prompt ab, die unabhängig von der verwendeten Baseline ist.

Sei $k$ die Anzahl der korrekten Antworten in einer Gruppe der Größe $G$. Die Gruppen-Belohnungs-Standardabweichung ist $\sigma = \sqrt{k(G-k)/G}$. Die Arbeit beweist die Gruppen-Standardabweichungs-Identität:
$$g = \sigma (\bar{s}_+ - \bar{s}_-)$$
wobei $\bar{s}_+$ und $\bar{s}_-$ die mittleren Scores der korrekten bzw. inkorrekten Rollouts sind.

Diese Identität zeigt, dass die Größenordnung des Trainings-Updates exakt der Gruppen-Belohnungs-Standardabweichung entspricht. Das Update verschwindet, wenn die Gruppe einstimmig ist ($k=0$ oder $k=G$, also $\sigma=0$), und erreicht seinen Höhepunkt, wenn die Gruppe gleichmäßig gespalten ist ($k=G/2$).

Vereinheitlichung der Methoden
Die Arbeit zeigt, dass GRPO, Dr. GRPO und DAPO keine unterschiedlichen Algorithmen sind, sondern drei verschiedene Operationen, die auf diese einzige skalare Größe ($\sigma$) angewendet werden:

1. GRPO: Teilt den Vorteil durch $\sigma$. Dies skaliert das Update mit $\sigma$ und optimiert effektiv ein varianzstabilisiertes Ziel ($2\arcsin\sqrt{p}$).
2. Dr. GRPO: Entfernt die Division durch $\sigma$. Dies führt zu einem Update, das proportional zu $\sigma^2$ ist und die rohe Erfolgsrate ($p$) optimiert.
3. DAPO: Verwirft Gruppen, bei denen $\sigma = 0$ gilt. Dies filtert „stumme“ Gruppen heraus, die keinen Kontrast zwischen richtigen und falschen Antworten bieten.

Wesentliche Beiträge
Die Arbeit liefert fünf spezifische theoretische und empirische Beiträge:

1. Die exakte endliche-Gruppen-Identität: Die Arbeit etabliert, dass das GRPO-Update exakt die kontrastive Score-Richtung ist, skaliert durch $\sigma$, gültig für jede endliche $G$ und jede Policy-Dimension, ohne sich auf asymptotische Grenzwerte zu verlassen.
2. Das Gruppengrößen-Gesetz: Sie leitet eine geschlossene Beziehung her, die bestimmt, wie viele Samples ($G$) erforderlich sind, um eine Zieltreue ($\phi$) des Large-Group-Gradienten zu erreichen. Die erforderliche Gruppengröße skaliert mit dem Quadrat des Schwierigkeitsgewichts: $G \gtrsim 1/(8\epsilon p(1-p))$. Dies impliziert, dass schwierige Prompts (niedriges $p$) signifikant größere Gruppengrößen benötigen, um ein stabiles Lernsignal zu erzeugen, als Prompts mittlerer Schwierigkeit.
3. Die Silent-Group-Rate: Die Arbeit quantifiziert die Wahrscheinlichkeit, dass eine Gruppe „stumm“ ist (keinen Gradienten liefert) als $P = p^G + (1-p)^G$. Dies erklärt den Mechanismus hinter dem dynamischen Sampling von DAPO, welches diese spezifischen Gruppen über-samplat und verwirft.
4. Exakte Charakterisierung des Schwierigkeits-Bias: Die Arbeit beweist, dass der in GRPO beobachtete „Schwierigkeits-Bias“ (wo leichte und schwere Prompts übergewichtet werden) eine direkte Folge der Division durch $1/\sigma$ ist. Diese Division entspricht der Ableitung der Arcsinus-Transformation ($\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$), was extremen Schwierigkeiten ein höheres marginales Gewicht zuweist. Das Entfernen der Division (Dr. GRPO) kehrt das Ziel zur rohen Erfolgsrate mit flacher Schwierigkeitsgewichtung zurück.
5. Empirische Validierung:
   • Big-Math-Datensatz: Auf einem Datensatz von 215.608 Problemen zeigt die Arbeit, dass die Standardisierung von GRPO das Gradienten-Budget verschiebt und fast doppelt so viel Anteil an Prompts mit extremer Schwierigkeit zuweist (13,9 % $\to$ 24,7 %) im Vergleich zu Dr. GRPO. Sie bestätigt auch, dass bei einer Standard-Gruppengröße von $G=8$ die 44 % der Prompts stumme Gruppen ergeben, was der theoretischen Vorhersage entspricht.
   • Kontrolliertes Training: Ein reproduzierbares Experiment mit 6.000 Bernoulli-Logit-Prompts bestätigt, dass die geschlossenen Vorhersagen für Silent-Group-Raten und Gradientenmasse-Verteilung die tatsächlichen Trainingsdynamiken mit hoher Präzision verfolgen ($R^2 = 0,999$ für stumme Gruppen).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass das, was oft als kosmetischer Normalisierungsschritt betrachtet wird, tatsächlich der „Regler“ ist, der bestimmt, wo und wie stark gelernt wird.

• Signal vs. Rauschen: Die Gruppen-Standardabweichung ist nicht bloß ein Normalisierer; sie ist die Größe des Lernsignals selbst. Ein Prompt lehrt nur, wenn seine gesampelten Antworten uneinig sind.
• Vereinheitlichte Sicht: Die drei Methoden sind als Operationen auf eine einzige Zahl vereinigt. GRPO wählt, das Signal durch das Ausmaß der Uneinigkeit zu verstärken; Dr. GRPO wählt, das Ausmaß der Uneinigkeit zu ignorieren; DAPO wählt, die Fälle zu ignorieren, in denen keine Uneinigkeit besteht.
• Praktische Implikationen: Die Ergebnisse legen nahe, dass die Verwendung einer einheitlichen Gruppengröße suboptimal ist, da sie schwierige Prompts unterversorgt (die ein größeres $G$ benötigen, um die Stille zu vermeiden) und mittlere Prompts überversorgt. Die Arbeit argumentiert, dass das Verständnis der exakten endlichen-Gruppen-Buchhaltung es Praktikern ermöglicht, fundierte Entscheidungen über Gruppengröße und Zielformulierung basierend auf der Schwierigkeitsverteilung ihrer Daten zu treffen, anstatt sich auf asymptotische Approximationen oder heuristisches Tuning zu verlassen.

Die Arbeit schließt mit dem Ergebnis, dass diese Resultate keine neuen Algorithmen erfordern, sondern aus der exakten Buchhaltung einer einzigen gesampelten Gruppe folgen, was einen geschlossenen Rahmen für die Analyse von Reward-Shaping in RLVR bietet.