技術的サマリー：一般化されたアドバンテージ群化方策最適化（GAGPO）

問題定義

強化学習（RL）は、特に多ターン対話における事後学習用大規模言語モデル（LLM）エージェントの主要なパラダイムとなっている。しかし、重要なボトルネックが残されている：多ターン環境におけるクレジット割り当てである。これらの設定では、エージェントは通常、エピソードの終了時にのみ、スパースな軌道レベルの報酬を受け取る。これにより、どの特定の中間行動が成功または失敗に至ったかを特定することが困難となる。

既存の解決策はトレードオフに直面している：

1. クリティックベースの手法：補助的な価値推定器や報酬処理モデルを導入し、より密なステップレベルのフィードバックを提供する。効果的である一方、これらは大幅な学習の複雑さと推定誤差を追加する。
2. クリティックフリーの手法：軌道相対的またはモンテカルロスタイルの群化最適化（例：GRPO、GiGPO）に依存する。アーキテクチャ的には単純であるが、しばしば高分散な信号と弱く伝播する教師信号をもたらし、トークン生成ではなく、エージェントの実際の意思決定境界（環境ステップ）にクレジット割り当てを整合させることに失敗する。

核心的な課題は、学習されたクリティックや特殊な探索手順に依存することなく、多ターンエージェント学習において時間的に伝播し、ステップに整合したクレジット割り当てを達成することである。

手法：GAGPO

著者は、正確でステップに整合した時間的クレジット割り当てを可能にするクリティックフリーの RL 手法である**一般化されたアドバンテージ群化方策最適化（GAGPO）**を提案する。GAGPO は 3 つの主要な段階で動作する：

1. ロールアウト群化と状態集約

標準的なトークンレベルの更新とは異なり、GAGPO は各環境ステップをクレジット割り当ての基本単位として扱う。単一のエージェント行動（トークンのシーケンス）内のすべてのトークンは、単一のステップレベルアドバンテージを共有する。

• 群化された価値プロキシ：この手法は、サンプリングされた軌道全体で同じ環境状態 $s$ のすべての出現を群化することにより、非パラメトリックな価値プロキシを構築する。状態 $s$ に対して、群 $G(s)$ は状態が一致するすべてのステップ $(i, t)$ を収集する。
• 価値推定：価値プロキシ $\bar{V}(s)$ は、$G(s)$ 内のすべてのステップの割引報酬の平均として計算される：
  $$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$$
  この集約は収集されたロールアウトから完全に実行され、追加の学習コストや学習されたクリティックを必要としない。

2. ステップレベルの時間的クレジット割り当て

GAGPO は、学習された価値関数の代わりに非パラメトリックプロキシ $\bar{V}$ を使用して、一般化アドバンテージ推定（GAE）を模倣しつつ、時間的アドバンテージを再帰的に計算する。

• TD 残差：ステップ $(i, t)$ に対して、時間的差分残差は以下の通りである：
  $$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$$
  （ここで $\bar{V}$ は終端状態に対して 0 である）。
• 再帰的伝播：ステップレベルのアドバンテージ $\hat{A}^{(i)}_t$ は、バイアス - 分散トレードオフパラメータ $\lambda$ を用いて再帰的に計算される：
  $$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$$
  これにより、結果の教師信号が時間的に後方へ伝播し、遅延報酬に基づいて中間意思決定にクレジットを割り当てることを可能にする。

3. 群正規化 PPO 更新

安定性と局所最適化を確保するために：

• 群正規化：異質なタスクを混合するバッチ全体で正規化する代わりに、アドバンテージは各ロールアウト群 $B$ 内で標準化される：
  $$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$$
• シーケンスレベルの重要度比：行動 $a_t$ が複数のトークンで構成されるため、GAGPO は個々のトークンの対数比を独立してクリップするのではなく、個々のトークンの対数比を平均化することで、完全な行動シーケンスに対する単一の重要度比を計算する。これにより、単一の行動内での「勾配の引き裂き」を防ぐ。
• 目的関数：最終的な目的関数は、これらの群正規化され、シーケンスに整合したアドバンテージを使用したクリップされた PPO 損失である。

主要な貢献

1. クリティックフリーな時間的伝播：GAGPO は、学習されたクリティックなしで TD/GAE スタイルの時間的アドバンテージを計算する手法を導入し、ロールアウトデータから導出された非パラメトリックな群化価値プロキシを利用する。
2. ステップに整合したクレジット割り当て：最適化の単位をトークンから環境ステップへとシフトさせ、クレジットがエージェントの実際の意思決定境界に割り当てられることを保証する。
3. 安定した最適化ダイナミクス：時間的再帰と群ごとの正規化およびシーケンスレベルの重要度比を組み合わせることで、GAGPO は多ターン軌道から直接、安定した低分散の最適化信号を抽出する。
4. 実証的な優位性：この手法は、複雑な多ターンベンチマークにおいて、強力な RL ベースライン（PPO、RLOO、GRPO、GiGPO）に対して一貫した改善を示す。

実験結果

著者は、ALFWorld（具象化された家事タスク）とWebShop（オンラインショッピング）において、Qwen2.5-1.5B-InstructおよびQwen2.5-7B-Instructバックボーンを使用して GAGPO を評価した。

• 性能向上：GAGPO はすべてのベースラインを一貫して上回った。
  • ALFWorld（7B モデル）では、全体スコアが95.6に達し、最も強力なベースライン（88.8 の GiGPO）を6.8 ポイント上回った。
  • WebShop（7B モデル）では、スコアを86.3から90.3へ、成功率を**66.4%から77.5%**へ向上させた。
• 学習ダイナミクス：最初の 120 学習ステップの分析により、GAGPO は初期段階でより速く学習し、GiGPO や GRPO と比較して学習全体を通じて性能差を維持することが明らかになった。
• 相互作用効率：GAGPO エージェントは、平均してより少ない相互作用ステップ（より短いエピソード長さ）でタスクの成功を達成した。
• 最適化の安定性：
  • 勾配ノルム：GAGPO は、GiGPO に見られる大振幅の揺らぎと比較して、より滑らかで変動の少ない勾配ダイナミクスを示した。
  • アドバンテージ分散：GAGPO におけるステップレベルアドバンテージの分布は、GiGPO に比べて著しく集中しており（四分位範囲が小さく、極端な値が少ない）、低分散の学習信号を示している。

意義と主張

本論文は、GAGPO が多ターンエージェント RL に対するシンプルかつ極めて効果的なフレームワークを提供すると主張している。その主な意義は、以下の点を示していることにある：

1. クレジットがトークンレベルではなく環境ステップレベルで割り当てられれば、クリティックフリーの手法を対話型 LLM エージェントに効果的に拡張できる。
2. 非パラメトリックプロキシを介したスパース報酬の時間的伝播は、補助的価値モデルの学習というオーバーヘッドなしにクレジット割り当て問題を克服するのに十分である。
3. 群ごとの正規化とシーケンスレベルの整合は、多ターン方策の最適化を安定させ、モンテカルロスタイルの群化更新に伴う高分散と不安定性を防ぐために重要である。

著者は、GAGPO がステップに整合し、時間的に一貫した安定した学習信号を提供し、LLM エージェントが探索と相互作用を通じてより効率的に改善することを可能にすると結論付けている。また、正確な状態一致への依存（決定論的テキスト環境では機能するが、確率的または連続的な設定では近似が必要となる可能性がある）や、評価範囲が特定のベンチマークとモデルサイズに限定されていることなどの限界にも言及している。