技術概要：AGPO – 二重統計フィードバックを備えた適応型グループ方策最適化

1. 問題提起

強化学習（RL）は、Proximal Policy Optimization（PPO）や Group Relative Policy Optimization（GRPO）などのアルゴリズムを通じて、大規模言語モデル（LLM）の推論能力を向上させる上で有効であることが実証されています。しかし、既存のアプローチは、通常、2 つの重要なコンポーネントに対して固定されたハイパーパラメータに依存しています：

1. クリッピング半径（$\epsilon$）： 方策更新におけるトラストリージョンのサイズは静的であり、トレーニングバッチの進化に伴う不確実性を無視しています。
2. デコーディング温度（$\tau$）： 軌道生成に使用されるサンプリング温度は固定されており、変化する報酬ランドスケープに適応できません。

著者らは、これらの固定設定が、人間からのフィードバックによる強化学習（RLHF）において、以下の 3 つの反復的な課題を生み出していると主張しています：

• 過剰なチューニング： トラストリージョンおよびデコーディングのハイパーパラメータを設定するために、多大な手作業が必要となります。
• 探索と利用のミスマッチ： 単一の設定では、初期段階での探索と後期段階での安定性を同時に支えることができません。
• 脆い収束： 固定されたパラメータは、報酬の分散、回答の不一致、KL ドリフトの変動により、初期段階での更新不足や、後期段階での不安定な方策のジャンプを引き起こす可能性があります。

2. 手法：AGPO

著者らは、Adaptive Group Policy Optimization（AGPO）を提案します。これは、GRPO の軽量かつクリティックフリーな改良版です。AGPO は、固定されたハイパーパラメータを、共有プローブ由来の統計状態によって駆動される 2 つの適応型コントローラに置き換えます。

コアアーキテクチャ：1 つのプローブ、2 つのコントローラ

AGPO は、単一のプロンプトに対してサンプリングされた $G$ 個のロールアウト群上で動作します。主要な方策更新の前に、プローブフェーズが基底温度（$\tau_{base}$）で実行され、グループレベルの統計情報を抽出します。これらの統計情報が 2 つの異なるコントローラを駆動します：

A. 適応型クリッピング（更新量の制御）

固定された $\epsilon$ の代わりに、AGPO は探索と安定性のバランスを取る式を用いて、適応型クリッピング半径（$\epsilon_{adaptive}$）を計算します：
$$\epsilon_{adaptive} = \text{clip}\left( \epsilon_{base} \frac{H(\pi_{old}) (1 + \delta E_{probe})}{1 + \alpha \hat{\sigma} + \zeta |\tilde{\kappa}_3(r)| + \gamma \hat{D}^{step}_{KL}}, \epsilon_{min}, \epsilon_{max} \right)$$

• 拡張シグナル（$\epsilon$ の増加）： 高い方策エントロピー（$H(\pi)$）と高いプローブ投票エントロピー（$E_{probe}$）は、認識的不確実性または探索不足を示し、より大きなトラストリージョンを促します。
• 収縮シグナル（$\epsilon$ の減少）： 高い報酬分散（$\hat{\sigma}$）、報酬の歪度（$|\tilde{\kappa}_3(r)|$）、およびステップごとの KL ドリフト（$\hat{D}^{step}_{KL}$）は、最適化リスクを示し、不安定なジャンプを防ぐためにより狭いトラストリージョンを促します。
• メカニズム： これにより、アルゴリズムはバッチが不確実な場合は大きなステップを、報酬シグナルがノイズまみれである場合や方策が急激にドリフトしている場合は小さなステップを踏むことを可能にします。

B. 双方向適応型温度サンプリング（ATS）

AGPO は、ロールアウト収集中の軌道の多様性を制御するために、**Adaptive Temperature Sampling（ATS）**を導入します。

1. 不確実性の推定： 報酬分散、プローブの不一致、および歪度から不確実性スコア $U_t$ を計算します。
2. 中心化： このスコアを、指数移動平均（EMA）を通じて維持される実行中のベースライン（$\bar{U}_t$）に対して中心化します。
3. 温度調整： サンプリング温度 $\tau_t$ を $\tau_{base}$ に対して調整します：
   $$\tau_t = \text{clip}\left( \tau_{base} (1 + \lambda \tilde{U}_t), \tau_{min}, \tau_{max} \right)$$
   • 加熱： 現在のバッチがベースラインよりも不確実な場合（$\tilde{U}_t > 0$）、$\tau_t$ が増加して探索を促進します。
   • 冷却： バッチがより確実な場合（$\tilde{U}_t < 0$）、$\tau_t$ が減少して利用を促進します。

トレーニング手順

トレーニングループは、プローブ–トレーニング構造に従います：

1. $\tau_{base}$ でプローブ群をサンプリングします。
2. グループ統計を計算し、コントローラ状態（$\epsilon_{adaptive}$ および $\tau_t$）を更新します。
3. 新しい $\tau_t$ を使用してトレーニング用ロールアウトを再サンプリングします。
4. 適応型 $\epsilon_{adaptive}$ を用いた GRPO 代理目的関数で方策を更新します。
5. 測定されたステップごとの KL ドリフトを次のステップに引き継ぎます。

3. 主な貢献

1. 適応型クリッピング： 報酬分散、歪度、プローブの不一致、方策エントロピー、および KL ドリフトに基づいてトラストリージョンを動的に調整する統計認識型の $\epsilon$。固定されたクリッピング半径の必要性を排除します。
2. 共有プローブ二重制御： 単一のプローブフェーズが、更新量（クリッピング）と探索戦略（温度）の両方を駆動するという新規設計。バリュークリティックを必要とせずに、より優れた探索/安定性のトレードオフを達成します。
3. 一貫した性能向上： 等しい生成トークン予算の下で、9 つの英語および中国語の数学/STEM ベンチマークにおいて改善が実証され、異なるモデルファミリー（Llama-3-8B、Gemma-2-9B）への成功した転移が確認されました。

4. 実証結果

著者らは、AGPO を Qwen2.5-14B、Llama-3-8B、Gemma-2-9B 上で評価し、9 つのベンチマーク（GSM8K、MATH、OCW、SAT、MMLUSTEM、CodeContests、CMATH、GaokaoMath-Cloze、GaokaoMath-QA）で検証しました。

• 性能： Qwen2.5-14B において、AGPO は GSM8K で67.3%、MATH で**40.5%**を達成しました。
  • これは、標準的な PPO に対して**+8.3 パーセントポイント（pp）の向上、および最も強力なアブレーション（適応型クリッピングのみを備えた AGPO）に対して+1.4 pp**の向上を表します。
  • AGPO は、すべての 9 つのベンチマークにおいて、すべてのベースライン（PPO、Adaptive-KL PPO、DPO、固定クリップ GRPO）を上回りました。
• 効率性： AGPO は GRPO と比較して無視できる程度のオーバーヘッド（スループットの約 3% 低下）しか生じませんでしたが、PPO と比較して目標精度（GSM8K で 65%）に到達するまでのスループットは約 1.5 倍、ウォールクロック時間は約 1.6 倍速かったです。
• クロスモデル転移： gains は Llama-3-8B および Gemma-2-9B においても一貫しており、この手法が単一のモデルファミリーに固有ではないことを確認しました。
• アブレーション研究：
  • 適応型クリッピングと ATS の両方が正の寄与をしました。いずれかを除去すると性能が低下しました。
  • ロバスト性： 標準偏差の代わりに頑健な分散推定量（MAD、IQR）を使用した場合、特に二値または重い尾部を持つ報酬において、手法は安定したままでした。
  • シグナルの重要性： 1 つずつ除外するアブレーションにより、4 つのシグナル（分散、歪度、プローブエントロピー、ステップ KL）のすべてが、精度とトレーニング安定性の両方に寄与することが確認されました。

5. 意義と限界

意義：
本論文は、AGPO を RLHF の「チューニング依存性」を軽減する重要なステップとして位置づけています。観測可能なグループレベルの統計情報を用いて、更新量と探索の両方の制御を自動化することで、AGPO は計算効率が良く、ロバストなクリティックフリーの代替案を提供します。著者らは、このアプローチが、探索と安定性のバランスが重要な推論ベンチマークを対象としていることを強調しています。

限界：
著者らは控えめに、AGPO は十分に安定したグループレベルの統計情報に依存していると指摘しています。この手法は、以下のシナリオにおいて課題に直面する可能性があります：

• 報酬の誤指定。
• 報酬ハッキング。
• 極めてスパースな、または敵対的なノイズを含む報酬。

論文は、現在の実装は効果的であるものの、これらの極端な報酬条件への対処は、将来の研究における未解決の方向性であると結論付けています。