GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

技術要約：RLVRトレーニングにおけるグループ標準偏差の恒等式

問題提起
検証可能な報酬（Verifiable Rewards）を伴う強化学習（RLVR）において、言語モデルに推論を学習させる際、単一のプロンプトに対して複数の候補回答（$G$）をサンプリングし、自動検証器を用いてバイナリ報酬（正解なら1、不正解なら0）を割り当てることがよくあります。これらの報酬を処理するための3つの主要な手法—Group Relative Policy Optimization (GRPO)、GRPO Done Right (Dr. GRPO)、および Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO)—は、それぞれ異なるヒューリスティックを採用しているように見えます。GRPOはグループの報酬標準偏差によってアドバンテージを正規化し、Dr. GRPOはこの正規化を除去し、DAPOは全回答が一致したグループ（標準偏差がゼロのグループ）を破棄します。本論文は、これらの手法に対する統一的な理論的理解の欠如に着目し、これらが独立した修正策なのか、あるいは単一の根底にあるメカニズムのバリエーションなのかを検証します。

手法と中核となる恒等式
本論文は、有限のグループサイズ $G$ とバイナリ報酬を持つ単一のプロンプトに対するトレーニング更新を分離します。そして、ベースラインの使用に依存しない、プロンプトごとの方策勾配更新に関する厳密な数学的恒等式を導出します。

$k$ をグループ内の正解回答数、$G$ をグループサイズとします。グループ報酬の標準偏差は $\sigma = \sqrt{k(G-k)/G}$ です。本論文は、以下のグループ標準偏差の恒等式を証明します：
$$g = \sigma (\bar{s}_+ - \bar{s}_-)$$
ここで、$\bar{s}_+$ と $\bar{s}_-$ はそれぞれ正解および不正解のロールアウトの平均スコアです。

この恒等式は、トレーニング更新の大きさが、まさにグループの報酬標準偏差と一致することを示しています。更新は、グループが満場一致の場合（$k=0$ または $k=G$ であり、$\sigma=0$）、消失します。そして、グループが半分に分かれたとき（$k=G/2$）にピークに達します。

手法の統一
本論文は、GRPO、Dr. GRPO、およびDAPOが、この単一のスカラー量（$\sigma$）に対して適用される3つの異なる操作であることを示しています。

1. GRPO: アドバンテージを $\sigma$ で割ります。これにより、更新を $\sigma$ によってスケーリングし、実質的に分散安定化目的関数（$2\arcsin\sqrt{p}$）を最適化します。
2. Dr. GRPO: $\sigma$ による除算を取り除きます。これにより、更新は $\sigma^2$ に比例し、生の成功率（$p$）を最適化します。
3. DAPO: $\sigma = 0$ となるグループを破棄します。これにより、正解と不正解の対比が存在しない「沈黙した」グループをフィルタリングします。

主な貢献
本論文は、5つの具体的な理論的および経験的貢献を提供しています。

1. 厳密な有限グループの恒等式: 本論文は、漸近限界に依存することなく、任意の有限の $G$ および任意のポリシー次元に対して有効な、GRPOの更新が正確に $\sigma$ によってスケーリングされた対比スコアの方向であることを確立しました。
2. グループサイズの法則: 大規模グループの勾配の目標忠実度（$\phi$）を達成するために必要なサンプル数（$G$）を決定する閉形式の関係を導出しました。必要なグループサイズは難易度の重みの平方に比例します：$G \gtrsim 1/(8\epsilon p(1-p))$。これは、難しいプロンプト（低い $p$）は、中程度の難易度のプロンプトと比較して、安定した学習信号を生み出すために大幅に大きなグループサイズを必要とすることを意味します。
3. 沈黙グループ率: グループが「沈黙」（勾配を提供しない）状態になる確率を $P = p^G + (1-p)^G$ として定量化しました。これは、DAPOのダイナミックサンプリングのメカニズム、すなわち特定のグループをオーバーサンプリングして破棄するという仕組みを説明しています。
4. 難易度バイアスの正確な特性化: 本論文は、GRPOで見られる「難易度バイアス」（容易なプロンプトと困難なプロンプトが過剰に重み付けされる現象）が、$1/\sigma$ による除算の直接的な帰結であることを証明しています。この除算は、アークサイン変換の微分（$\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$）に対応しており、極端な難易度に高い限界重みを割り当てます。この除算を取り除くこと（Dr. GRPO）により、目的関数は平坦な難易度重み付けを持つ生の成功率へと回帰します。
5. 経験的検証:
   • Big-Mathデータセット: 215,608の問題を含むデータセットにおいて、GRPOの標準化が勾配予算をシフトさせ、Dr. GRPOと比較して極端な難易度のプロンプトへの割り当てをほぼ倍増させる（13.9% $\to$ 24.7%）ことを示しました。また、標準的なグループサイズ（$G=8$）において、44%のプロンプトが沈黙グループを生じていることを確認し、これは理論的予測と一致しています。
   • 制御されたトレーニング実行: 6,000個のベルヌーイ・ロジット・プロンプトを用いた再現可能な実験により、沈黙グループ率と勾配質量の分布に関する閉形式の予測が、実際のトレーニングダイナミクスを非常に高い精度（沈黙グループについて $R^2 = 0.999$）で追跡していることを確認しました。

意義と主張
本論文は、しばしば化粧的な正規化ステップと見なされているものが、実際には「どこで、どのように強く学習が行われるか」を決定する「ダイヤル」であることを主張しています。

• 信号 vs ノイズ: グループ標準偏差は単なる正規化因子ではありません。それは学習信号そのものの大きさです。サンプリングされた回答が不一致を示すときにのみ、プロンプトは学習を行います。
• 統一的視点: 3つの手法は、一つの数に対する操作として統一されます。GRPOは不一致のレベルによって信号を増幅することを選択し、Dr. GRPOは不一致のレベルを無視することを選択し、DAPOは不一致が存在しないケースを無視することを選択します。
• 実用的な含意: これらの知見は、一律のグループサイズを使用することは最適ではないことを示唆しています。なぜなら、一律のサイズでは、難しいプロンプト（沈黙を避けるために大きな $G$ を必要とする）への供給が不足し、中程度のプロンプトへの供給が過剰になるためです。本論文は、厳密な有限グループの会計を行うことで、実務者が漸近近似やヒューリスティックなチューニングに頼るのではなく、データの特定の難易度分布に基づいてグループサイズや目的関数の定式化について情報に基づいた選択ができるようになると論じています。

本論文は、これらの結果は新しいアルゴリズムを必要とするものではなく、サンプリングされた単一のグループの厳密な会計から導かれるものであり、RLVRにおける報酬整形を分析するための閉形式のフレームワークを提供するものであると結論付けています。