技術的サマリー：ノイズ補正 GRPO：ノイズのある報酬から不偏勾配へ

1. 問題定義

本論文は、数学やプログラミングといった厳密な領域において大規模言語モデル（LLM）の整合性を取るためにますます用いられている、検証可能報酬からの強化学習（RLVR）における重要な脆弱性に取り組んでいる。RLVR は、主観的な人間のフィードバックをコード実行や完全一致チェックなどの自動化された客観的シグナルに置き換えるが、これらの検証器は不完全である。これらには、以下のような体系的なノイズが含まれる：

• 偽陽性（False Positives）： 「LLM による判定者」システムにおける説得力のある表現やバイアスにより、誤った解答を受け入れてしまうこと。
• 偽陰性（False Negatives）： 書式の変動やパーサーの制限により、数学的に同等の解答を拒絶してしまうこと。

著者らは、観測された報酬 $\tilde{r}$ が、クエリに依存するベルヌーイノイズチャネルによって汚染された、潜在的真の報酬 $r^*$ のノイズのある観測値であるというシナリオを形式化した。核心的な問題は、標準的なグループ相対方策最適化（GRPO）およびその変種である Dr.GRPO が、これらのノイズのある報酬に直接適用された場合、以下の問題に陥ることである：

1. シグナルの減衰： 学習シグナル（アドバンテージ）が、ノイズ保持係数 $(1 - \rho_+ - \rho_-)$ によって乗法的に縮小される。
2. 最適でない収束： 理論的解析により、補正なしでは方策が、クリーンな報酬で達成可能な最適方策よりも厳密に劣る固定点に収束することが証明されている。
3. 分散の不一致： GRPO において、標準偏差による標準化がノイズと不適切に相互作用し、性能をさらに低下させる「難易度バイアス」を導入する。

2. 手法

提案される解決策は、報酬の汚染を明示的にモデル化し、教師あり学習におけるノイズのあるラベルを用いた学習から着想を得たバイアス除去メカニズムを適用するノイズ補正 GRPO/Dr.GRPO フレームワークである。

A. 理論的モデリング

著者らは、観測された報酬 $\tilde{r}$ を、真の報酬 $r^*$ と、以下の特性を持つノイズチャネルの関数としてモデル化する：

• $\rho_+(q)$：偽陽性率（$r^*=0$ のときに 1 を観測する確率）。
• $\rho_-(q)$：偽陰性率（$r^*=1$ のときに 0 を観測する確率）。

彼らは、ノイズのあるアドバンテージの期待値が因子 $(1 - \rho_+ - \rho_-)$ によって減衰することを導き出し、ノイズのない場合に比べて勾配シグナルが弱まり、収束の天井が低くなることを示した。

B. 補正メカニズム

不偏勾配を回復させるため、本手法は 2 段階の補正戦略を採用する：

1. 平均バイアス除去（Natarajan 補正）：
   観測された報酬を、真の報酬 $r^*$ の不偏推定量 $\hat{r}$ へ変換する：
   $$\hat{r} = \begin{cases} \frac{1 - \rho_+}{1 - \rho_+ - \rho_-} & \text{if } \tilde{r} = 1 \\ \frac{-\rho_+}{1 - \rho_+ - \rho_-} & \text{if } \tilde{r} = 0 \end{cases}$$
   このステップは、平均報酬シグナルのバイアスを補正する。

2. 分散/正規化調整：
   著者らは、単純な線形再パラメータ化では GRPO に対して不十分であることを示した。なぜなら、標準化（標準偏差で割る操作）がノイズと相互作用するからである。

   • Dr.GRPO の場合： Dr.GRPO は分散除算を除去するため、平均バイアス除去のみを適用すれば、クリーンな集団勾配を回復するのに十分である。
   • GRPO の場合： 本手法は、標準偏差正規化 $\sigma_k(q)$ を推定量 $M_k(q)$ に置き換える一般化された目的関数を導入する。著者らは、バイアス除去済み報酬の分散を計算し、確率的補正プロセス自体によって導入される追加分散を差し引くことで、クリーンな報酬の真の分散を推定することを提案する。

C. 実用的実装（アルゴリズム 1）

実用的なアルゴリズムは 2 つの段階で動作する：

1. ノイズ率の推定： 保持された小さなデータサブセットを用いて、グローバルな反転率（$\rho_+, \rho_-$）を推定する。これは、報酬モデルの出力を既知の真値と比較すること（例えば、正解を人工的に汚染するか、検証済みデータセットを使用する）によって行われる。
2. ロバストなトレーニング： メインのトレーニングループ中、推定された率を用いて、アドバンテージを計算し方策を更新する前に、バイアス除去済み報酬 $\hat{r}$ と調整済み正規化項 $M_k(q)$ を計算する。

3. 主要な貢献

1. GRPO におけるノイズの形式的解析： 本論文は、報酬の汚染が学習シグナルを減衰させ、厳密に劣る固定点（$p^*_{noisy} < p^*_{noiseless}$）での収束をもたらすことを証明する厳密な理論的検討を提供する。また、ノイズがグループ相対アドバンテージ計算とどのように相互作用するかを示すことで、ノイズ下での勾配ダイナミクスを特徴づける。
2. 原理的なノイズ補正： 著者らは、RLVR 文脈に適応したラベルノイズ補正理論を用いたノイズ除去アルゴリズムを提案する。閉形式の更新規則と単調改善の境界を提供し、補正されたアルゴリズムがクリーンな目的関数の不偏勾配を回復することを保証する。
3. サンプル複雑性の保証： 本論文は、反転率の推定誤差に関する明示的な境界を導出し、バランスの取れた較正セットが使用される限り、有限データから推定された率であっても補正が有効であることを示す。
4. 実証的検証： 本手法は、さまざまなモデル規模（Qwen、Llama）を用いて、数学（GSM8K、MATH）およびコード（APPS）生成タスクで検証された。

4. 実験結果

著者らは、2 つの条件下で自らの手法を評価した：

• 合成ノイズ（完全な仮定妥当性）：

  • 真の報酬は、既知の反転率で人工的に汚染された。
  • 結果： ノイズ補正モデルは、標準的な GRPO/Dr.GRPO ベースラインを一貫して上回った。いくつかのケース（例えば、軽度のノイズ下の Llama-3.2-1B）では、補正モデルはノイズのないベースラインの性能さえも上回り、潜在的な正則化の利益を示唆した。
  • アブレーション： 実験により、クリッピングのみ（一般的な安定化技術）では体系的なバイアスを補正できないことが確認された。平均バイアス除去と分散調整の両方が必要である。

• 現実的な推定（未知のノイズ）：

  • 事前学習済み報酬モデル（例：AceMath-7B-RM、RM-Mistral-7B）が使用され、保持された較正セットから反転率が推定された。
  • 数学タスク（GSM8K）： 本手法は有意な精度向上をもたらした。例えば、AceMath-7B-RM によって導かれた Llama-3.2-1B は、52.52% から 59.21% へ向上し（+6.7 ポイント）、Qwen3-0.6B は異なる報酬モデル全体で 2 ポイント以上の向上を示した。
  • コードタスク（APPS）： コード報酬モデルの偽陽性率が極めて高い（$\rho_+ \approx 0.53$）にもかかわらず、補正は一貫した、ただし穏やかな利益をもたらした（例えば、Qwen3-0.6B は 9.01% から 10.50% へ向上）。

5. 意義と主張

本論文は、教師あり学習におけるラベルノイズ補正と現代の RLHF/RLVR の間のギャップを埋めると主張している。その主な意義は以下の点にある：

• 理論的洞察： グループベースの手法は本質的にある程度のノイズを軽減することを示しつつ、クリーンな最適解に到達するためには特定の補正メカニズムが必要であることを実証した。
• 実用性： 不完全でノイズのある報酬モデルであっても RL トレーニングを効果的に進められる、シンプルでプラグイン可能なアルゴリズムを提供し、完全にキュレーションされた検証データセットへの依存を軽減する。
• スケーラビリティ： 小さな較正セットからノイズ率を推定することで、報酬モデルが本質的に欠陥を持つ現実世界の展開において、スケーラブルで自動化されたフィードバックループを可能にする。

著者らは将来の含意については控えめであり、手法が性能を向上させるものの、その生産パイプラインにおける有用性を完全に特徴づけるためには、より大規模なモデルと広範なドメインを用いた大規模研究が必要であると指摘している。また、クエリ依存の反転率推定やノイズ感知正則化スケジュールなど、将来の研究方向も特定している。