技術的サマリー：POISE（内部状態値推定を伴う方策最適化）

問題定義

検証可能な報酬を伴う強化学習（RLVR）は、数学的推論などの複雑なタスクにおける大規模推論モデル（LRM）の改善の中核的な推進要因である。しかし、安定かつ効率的な RLVR は、方策勾配の分散を低減するために、正確な基準値（ベースライン）推定に大きく依存している。既存のアプローチは、以下の理由から大きな計算コストを要する：

• PPO（近傍方策最適化）： 各更新において生成された完全なシーケンスを処理する、LLM スケールのクリティックモデルを個別に訓練する必要がある。これにより、メモリ消費量と最適化の複雑さが約 2 倍になる。
• GRPO（グループ相対方策最適化）： 個別のクリティックを回避し、プロンプトごとにサンプリングされたロールアウト群の平均報酬から基準値を推定する。これは「パラメータをサンプルと交換する」手法であり、安定した基準値を維持するためにプロンプトごとに複数のロールアウトを必要とする。固定された計算予算の下では、これはバッチ内のプロンプトの多様性を低下させ、勾配分散を膨張させる。さらに、すべてのロールアウトが同一の報酬（ゼロのアドバンテージ）を受け取る「退化的」なプロンプトに対して、多大な計算が無駄に消費される。

この研究が取り組む核心的な問いは以下の通りである：方策訓練中に既に実行されている計算から効果的な基準値を抽出し、追加のリソースを不要にすることは可能か？

手法：POISE

著者らは、POISE（内部状態値推定を伴う方策最適化）を提案する。これは、方策モデル自身の内部表現を活用して、ほぼゼロのコストで値関数 $V^\pi(x)$ を推定する手法である。

1. 内部状態値推定

個別のクリティックを訓練する代わりに、POISE は軽量なプローブを訓練し、フォワードパス中に収集された方策モデルの隠れ状態とトークン統計から、直接検証可能な期待報酬を予測する。

• 入力特徴量： プローブは 3 つの相補的な信号を利用する：
  1. プロンプトレベルの特徴量： 最終的なプロンプトトークンからの隠れ状態。プロンプトの表現と予測される難易度を捉える。
  2. 軌道レベルの特徴量： 推論軌道の終端からの隠れ状態。プロンプト単独には存在しない、価値に関連する情報を露呈させる。
  3. トークンレベルのエントロピー統計量： 軽量な不確実性特徴量。
• 訓練目的： プローブはプロンプトレベルの値 $V^\pi(x)$ を予測するように訓練される。評価対象の特定のロールアウトに関する情報がターゲットに漏洩するのを防ぐため、著者らは留め置き法（leave-one-out）モンテカルロターゲットを使用する。$K$ 個のサンプリングされたロールアウトを持つプロンプト $x$ において、ロールアウト $i$ のターゲットは、他の $K-1$ 個のロールアウトの平均報酬となる。

2. 不偏性を確保するためのクロスロールアウト構築

重要な理論的課題は、方策勾配の不偏性を維持するために、基準値が行動（サンプリングされた応答）と条件付き独立であることを保証することである。基準値が評価するのと同じロールアウトに依存する場合、バイアスが導入される。

• 解決策： POISE はクロスロールアウト構築を採用する。各プロンプトに対して、2 つの独立したロールアウト $y^{(1)}$ と $y^{(2)}$ がサンプリングされる。
  • $y^{(1)}$ の基準値は、$y^{(2)}$ の内部状態を用いて予測される。
  • $y^{(2)}$ の基準値は、$y^{(1)}$ の内部状態を用いて予測される。
• これにより、特定のロールアウトの更新に使用される基準値が独立したサンプルから導出され、条件 $E[b(x) \nabla \log \pi(y|x)] = 0$ が満たされる。

3. 方策最適化への統合

POISE は、この推定器を PPO スタイルの最適化ループに統合する：

• オンライン訓練： 値推定器は、最近の軌道のスライディングバッファ上で方策と共同で訓練される。特徴量は方策更新のために既に必要とされるフォワードパスから抽出されるため、計算オーバーヘッドはほぼゼロである。
• アドバンテージ計算： アドバンテージは $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$ として計算される。ここで、$b^{(i)}(x)$ はクロスロールアウト基準値である。
• 効率性： 基準値を推定するために大規模なグループ（例：8 つのロールアウト）を必要とする GRPO と異なり、POISE はロールアウトのペアのみを必要とする。これにより、固定された計算予算を、バッチあたりのより多くの異なるプロンプトに割り当てることが可能となり、理論的には勾配分散を低減する。

主要な貢献

1. 新規な基準値推定： 方策モデルの内部状態から基準値を導出する手法を導入し、個別の LLM スケールのクリティックや大規模なロールアウト群の必要性を排除した。
2. 理論的な不偏性： 軌道条件付き特徴量を利用しながら、不偏な方策勾配に必要な条件付き独立を保証するクロスロールアウトアーキテクチャを提案した。
3. 計算効率性： 軽量なプローブ（線形回帰）が、個別のクリティックと同等かそれ以上の値推定性能を達成しつつ、はるかに少ない計算を必要とすることを示した。
4. 一般化性： 内部状態信号が、異なるドメイン（数学、コーディング、ツール呼び出し、指示追従）およびモデルスケールにわたって一般化することを示した。

実験結果

この手法は、オリンピックレベルの数学的推論ベンチマーク（AMC、AIME、HMMT、BRUMO）において、Qwen3-4B および DeepSeek-R1-Distill-Qwen-1.5B で評価された。

• 性能： POISE は、最先端の GRPO ベースのアルゴリズムであるDAPOと同等の性能を達成した。
  • Qwen3-4B において、POISE は平均 Avg@32 スコアで0.500を達成し、DAPO の0.508とほぼ同等であった。ただし、AMC23 や HMMT25 などの特定のベンチマークでは DAPO を上回った。
  • DeepSeek-R1-Distill-Qwen-1.5B において、POISE は平均スコアを DAPO の0.296から0.303に向上させた。
• 訓練効率： POISE は大幅に少ないウォールクロック時間を必要とした。DeepSeek-R1-Distill-Qwen-1.5B において、同等の性能に到達するのに、単一の B200 GPU 上で POISE は18 時間を要したのに対し、DAPO は24 時間を要した。Qwen3-4B においては、それぞれ36 時間対49 時間であった。
• 安定性： POISE における勾配ノルムは DAPO よりも一貫して低く、これは分散の低減とより安定した最適化を示している。
• 値推定の質： 内部状態プローブは、実証的報酬とのピアソン相関で0.870を達成し、同一タスクにおいて個別に訓練された LLM スケールのクリティック（0.676）を上回った。
• 一般化： 推定器は、コーディング、ツール呼び出し、指示追従タスクにわたって高い性能を維持し、これらのドメインにおいて個別のクリティックを上回ることが多かった。

意義と主張

本論文は、POISE が大規模推論モデルのための安定かつスケーラブルな RLVR への計算効率的な道筋を提供すると主張している。モデル自身の内部表現を活用することで、この手法は以下の点を実現する：

• 個別のクリティックモデルの訓練に伴うメモリおよび計算オーバーヘッドを排除する。
• グループ相対基準値（GRPO）のサンプリング非効率性を除去し、固定された予算内でより高いプロンプト多様性を可能にする。
• ゼロのアドバンテージをもたらす退化的なプロンプトに対する計算の浪費を回避する。
• 以前は主に診断ツールとして使用されていた内部状態が、強化学習のための実用的かつ高忠実度の最適化信号として機能し得ることを示す。

著者らは、POISE がグループ相対基準値や補助的な値モデルを必要とせずに、より安定かつ効率的な方策最適化を可能にし、リソース制約下での大規模推論モデルの訓練に対する実用的な代替手段となり得ると結論付けている。