技術要約：RLVRのための摂動パラメータ・ポリシー最適化（3PO）

問題提起

検証可能な報酬を伴う強化学習（RLVR）は、人間のデモンストレーションに依存することなく、大規模言語モデル（LLM）の推論能力を向上させるための主要なポストトレーニング・パラダイムである。しかし、現在のRLVRアルゴリズム、特にグループ相対ポリシー最適化（GRPO）は、探索と利用（exploration-exploitation）のトレードオフに関連する重大な課題に直面している。

主な制限は、アクション空間の探索にある。標準的な手法は、トークン生成時のソフトマックス温度（temperature）を調整することで探索を制御する。論文で示されているように、温度スケーリングはトークン分布の分散のみを変更し、トークンの相対的な順序を維持する。これにより、モデルは解空間の同じ「形状」内の軌跡の探索に限定され、初期確率が低いものの高報酬な新しいパスを発見することに失敗することが多い。その結果、以下の事態を招く：

1. 早期のエントロピー崩壊： ポリシーが過度に決定的になり、均質なロールアウトを生成するようになる。
2. ゼロ・アドバンテージ・グループ： GRPOにおいて、あるプロンプトに対する$G$個のロールアウトすべてが同じ報酬（例：すべて正解またはすべて不正解）を受け取った場合、アドバンテージ信号がゼロになり、学習が停滞する。
3. 退化： 高温でのアクション空間探索は、有効な代替解ではなく、形式の崩れた、あるいは誤った出力（例：トークンの繰り返し）を導きやすい。

エントロピー正則化やアドバンテージ・シェイピングのような既存の解決策は、学習を安定させることを目的としているが、ジェネレーターのパラメータを根本的に変更して深い探索を可能にするものではない。

手法：摂動パラメータ・ポリシー最適化（3PO）

著者らは、探索の軸をアクション空間（トークン）から**パラメータ空間（重み）へとシフトさせる手法のファミリーである摂動パラメータ・ポリシー最適化（3PO）**を提案している。単にトークンの順序を入れ替えるのではなく、3POはロールアウト生成フェーズ中に、近似事後分布から異なるポリシーをサンプリングする。

コアメカニズム

この手法は、変分学習、具体的にはIVON（Iterative Variational Online Newton）オプティマイザを利用して、ニューラルネットワークのパラメータ$\theta$に関する分布を学習する。

• 事後分布サンプリング： 各学習ステップにおいて、モデルパラメータは学習されたノイズを加えることで摂動される：$\hat{\theta} = m + \sigma \odot z$、ここで$z \sim \mathcal{N}(0, I)$である。
• ノイズ制御： 分散$\sigma$は、対角ヘシアン$h$およびスケーリング因子$\lambda$（有効サンプルサイズ、ESS）に反比例する。$\lambda$が小さいほどノイズが増加して探索を促進し、$\lambda$が大きいほどノイズが減少し、利用に集中する。
• 直交性： このアプローチは、異なる軸で動作するため、既存のアクション空間技術（温度スケーリング、エントロピー正則化など）と互換性がある。

3POの3つのバリアント

論文では、GRPOフレームワークにパラメータノイズを統合するための3つの戦略を紹介している。

1. B3PO (Batched Noising):

   • 勾配ステップごとに単一の重み摂動$\hat{\theta}$をサンプリングする。
   • この単一の摂動モデルが、バッチ内のすべてのロールアウトを生成する。
   • 制限： 標準的なGRPOと同様に、サンプリングされた単一のポリシーが劣悪な場合、バッチ全体に多様性が欠ける可能性がある。

2. M3PO (Multiple Monte-Carlo Samples):

   • 事後分布から$M$個の異なる重み摂動をサンプリングする。
   • 各摂動に対してロールアウトを生成し、単一の重み更新を行う前に、すべての$M$サンプルにわたってGRPO損失を累積する。
   • トレードオフ： 計算コストを等しく保つために、摂動あたりのグループサイズ$G$が減少する（$G/M$）。これは、個々のアドバンテージグループ内の多様性を制限する可能性がある。

3. C3PO (Chunked Noising):

   • バッチあたり$N$個の異なる重み摂動をサンプリングする。
   • $G$個のロールアウトの総グループは、これら$N$個のモデルに分割される（例：モデルあたりのロールアウトは$G/N$）。
   • アドバンテージは、$N$個の異なるポリシーからの軌跡を含むフルグループの$G$個の応答に対して計算される。
   • 目的： アドバンテージ計算が複数の異なるパラメータ構成を活用することを保証することで、グループの多様性を最大化し、ゼロ・アドバンテージ問題を直接解決する。

主な貢献

1. LLMのためのパラメータ空間探索： 論文は、モデルの重みを摂動すること（単にトークン確率を変えるのではなく）が、RLVRにおける効果的なメカニズムであることを確立しており、これによりモデルはアクション空間のノイズでは到達できない解空間の異なる領域を探索できる。
2. 3POフレームワーク： B3PO、M3PO、およびC3POを導入し、特にグループの多様性を最大化するために最も効果的な戦略としてC3POに焦点を当てている。
3. 実証的検証： 数学的推論（AIME、MATH-500、AMC）およびコード生成（LiveCodeBench）のタスクにおけるOLMo-3-1025-7BおよびQwen2.5-Math-7Bを用いた包括的な実験。
4. ゼロ・アドバンテージ・グループの分析： パラメータ空間の探索が、アクション空間のベースラインと比較して、ゼロ・アドバンテージ・グループの頻度を大幅に減少させ、形式の崩れたロールアウトを抑制することを実証した。

実験結果

• パフォーマンス向上： 3POのバリアントは、標準的なGRPOおよびアクション空間のベースライン（エントロピー正則化、Polaris、KLCov）を一貫して上回った。
  • C3POは、両方のモデルファミリーにおいて最高の平均パフォーマンスを達成した。
  • 向上は、事前学習済みRLモデルの能力が低く、無効なロールアウトを生成しやすい難易度の高いベンチマーク（例：AIME 2024–26、LiveCodeBench）で最も顕著であった。
  • Qwen2.5-Mathにおいて、C3POは標準的なGRPOに対して平均Pass@1を約**1.5%向上させ、AIMEタスクでは最大5.83%**の具体的な利得を示した。
• 探索の質：
  • デッド・グループの救済： 3POメソッド、特にC3POとM3POは、GRPOが一つも正解を生成できなかった場面でも、アクション空間のベースラインよりも多くのゼロ・アドバンテージ・グループを「救済」（少なくとも一つの正しいロールアウトを生成）した。
  • 退化の抑制： 温度ベースの手法（Polaris）がしばしば形式の崩れた出力を生成し、エントロピー正則化が正しくないが形式は整った出力を生成するのに対し、3POは高い多様性を維持しながら、形式の崩れた、あるいは誤ったロールアウトをより少なく生成した。
• ハイパーパラメータの感度：
  • ESSスケーリング因子$\lambda$が極めて重要である。$\lambda = 10^9$が堅牢なデフォルトであることがわかった。$\lambda = 10^8$（ノイズが多すぎる）は学習の崩壊を引き起こし、$\lambda = 10^{10}$（ノイズが少なすぎる）はパフォーマンスの停滞を招いた。
  • C3POは、$N \ge 2$の摂動によって恩恵を受け、$N=4$が強い結果を示した。
  • M3POは、「等価計算量」の制約を取り除くことで恩恵を受ける。複数のサンプルに対してフルサイズのグループを使用することを許可すると、パフォーマンスは大幅に向上する。

重要性と主張

本論文は、パラメータ空間の探索が、アクション空間の手法にはない、RLVRのための必要かつ補完的な制御レバーを提供すると断じている。重みの近似事後分布を学習することで、モデルは現在のポリシーとは構造的に異なるトークン分布の有望な変更を探索するために、適応的にノイズを注入できる。

著者らは以下の通り主張している：

1. 多様性が鍵である： 成功の主な要因は、GRPOグループ内の多様性の向上であり、これがゼロ・アドバンテージ・グループによる停滞を防ぐ。
2. 効率性： 3POは、標準的なGRPOとほぼ同一のFLOPsコスト（特にC3PO）でこれらの改善を達成しており、実用的なドロップイン・リプレースメント（そのまま置き換え可能な手法）である。
3. 汎用性： 本手法は特定のSFTフェーズからの学習されたノイズ事前分布を必要としない。ヘシアンを定数値で初期化することで、オフザシェルフのチェックポイントに対して効果的に機能する。

結論として、パラメータ空間の探索には古典的な強化学習の歴史があるが、変分学習（3PO）を介したLLMへの適用は、特に複雑な推論やコーディングタスクにおいて、RLVRの性能を制限している探索のボトルネックに対する堅牢な解決策を提供すると述べている。