技術要約：PlanPO – マルチターン・エージェンティックLLMのためのグループ計画学習型方策最適化

問題提起

マルチターン・エージェンティック大規模言語モデル（LLM）の領域において、グループ相対方策最適化（GRPO）は、検証可能な結果報酬を用いてエージェントを訓練するための標準的なパラダイムとして台頭しています。しかし、GRPOが**成功したロールアウトの異質性（successful rollout heterogeneity）**を扱う方法には、決定的な限界が存在します。

既存のバリアントは通常、タスクを正常に完了したすべての軌跡に対して、その相互作用の効率性に関わらず、同一の結果報酬を割り当てます。これにより、「アドバンテージの崩壊（advantage collapse）」が生じます。具体的には以下の通りです：

1. 冗長な成功（冗長な状態遷移、ループ、または行き止まりを含む軌跡）が、最適な成功と同等に扱われる。
2. 成功した応答内における冗長または論理的に不備のある推論が、簡潔で一貫性のある推論と同じ評価を受ける。
3. 成功した軌跡間の差別化が欠如しているため、エージェントが汎用的な計画能力を学習することが妨げられ、単に特定の高品質なパターンを模倣するだけになってしまう。

これに対処しようとする現在の解決策の多くは、価値モデル（クリティック）やプロセス報酬モデル（PRM）に依存していますが、これらは推定バイアス、プロキシエラー、および大幅なメモリオーバーヘッドを導入します。また、他の手法は、異なるタスク設定に対する汎用性に欠ける、労働集約的な手動設計や経験的なヒューリスティックに依存しています。

手法：PlanPO

著者らは、自然に利用可能な長さのプロファイルを利用して粗から密へのアドバンテージ信号（coarse-to-fine advantage signals）を構築する、シンプルかつ効果的な強化学習手法であるGroup Planning-aware Policy Optimization (PlanPO) を提案します。核心となる革新は、標準的な長さの最小化という落とし穴を回避するために、成功した軌跡に対して厳密に長さの正規化を条件付けることにあります。

1. 成功条件付き長さ正規化

PlanPOは標準的なグループ相対フレームワーク内で動作しますが、タスクの目標を達成していること（$R(\tau) = 1$）を条件とした、2つの異なるレベルのアドバンテージ計算を導入します。

• 軌跡レベルのアドバンテージ ($A^E$):
  同一タスクに対してサンプリングされた$N$個の軌跡のグループにおいて、PlanPOは軌跡の長さ（相互作用のターン数、$T_i$）に対してのみ、成功した軌跡の出力報酬を正規化します。
  $$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$$
  アドバンテージ $A^E$ は、これらの長さ正規化された報酬のグループ相対正規化（平均と分散）を通じて計算されます。この信号は、エージェントが成功したロールアウトの中から、より短く直接的な相互作用パスを見つけ出すことを促します。

• 応答レベルのアドテージ ($A^S$):
  ターンレベルでは、同一タスクに対して生成されたすべての成功した応答を単一のグループにフラット化します。各ターンの応答トークン長（$L_{i,t}$）によって出力報酬を正規化します。
  $$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$$
  アドバンテージ $A^S$ は、このアクティブな応答グループ内で計算されます。これにより、きめ細かな教師信号を提供し、成功した相互作用内での簡潔かつ一貫した推論トレースを促進します。

2. 粗から密への方策最適化

軌跡 $\tau^i$ 内のトークン $a_{i,t}$ に対する最終的なアドバンテージは、軌跡レベルと応答レベルのアドバンテージの加重結合です：
$$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$$

• 加重減衰: 係数 $\alpha(k)$ は訓練中に線形に減衰します。この設計は、初期には軌跡レベルの計画信号（粗）を優先し、徐々に応答レベルの信号（密）によって洗練させていくことを目的としています。
• バイアス・分散のトレードオフ: 理論的分析（定理1）は、$\alpha(k)$ がバイアスと分散のトレードオフをバランスさせることを示しています。大きな $\alpha$ はターンレベルの洗練を維持しますがサンプリングの分散を増加させ、小さな $\alpha$ は分散を抑えますが収縮バイアス（shrinkage bias）を招きます。

方策は、参照方策に対するKLダイバージェンス・ペナルティを含む、クリップされたグループ相対目的関数を用いて最適化されます。

主な貢献

1. ボトルネックの特定: 本論文は、成功したロールアウトの異質性（成功した軌跡における冗長なターンや冗長な推論）が、ロールアウトの品質を隠蔽し、方策学習を制限する、グループ相対最適化における重要なボトルネックであることを特定しました。
2. PlanPOの提案: 成功条件付き長さ正規化アドバンテージを構築する新しい手法を提案します。一般的な長さベースの報酬シェーピングとは異なり、PlanPOは成功したロールアウトのグループ内に対してのみ長さ正規化を適用するため、エージェントが単に長さを最小化するのではなく、計画を意識した行動を学習することを保証します。
3. 実証的検証: 広範な実験により、PlanPOが追加の訓練コストをほとんどかけることなく、複数のベンチマークにおいて強力なベースライン（GRPO、GiGPO、P를含む）を一貫して上回ることを示しました。

実験結果

著者らは、Qwen2.5-1.5B-Instruct および Qwen2.5-7B-Instruct を用い、3つの困難なマルチターン・ベンチマーク（ALFWorld、WebShop、SciWorld）でPlanPOを評価しました。

• 性能向上:

  • 平均して、PlanPOはベンチマーク全体でGRPOを**27.2%**上回りました。
  • ALFWorld（1.5Bモデル）において、PlanPOは91.3%の総合成功率を達成し、GRPOに対して+18.5ポイントの改善を示しました。
  • ALFWorldの分布外（OOD）タスクにおいて、PlanPOは87.1%の成功率を達成し、GRPOを+17.0ポイント、GiGPOを**+4.7ポイント**上回り、高い汎用性を示しました。
  • SciWorldにおいて、PlanPO-7Bは68.46の総合スコアを獲得し、従来の最良のRLベースライン（ScalingInter-7Bの57.00）を大幅に上回りました。

• 効率性と挙動:

  • 相互作用の効率: PlanPOエージェントは、平均相互作用ターン数を26.1（GRPO）から13.8に減少させました。
  • 応答の簡潔性: 平均応答トークン長は、95.1（GRPO）から56.3へと減少しました。
  • コスト: 長さの正規化とアドバンテージ計算は、LLMのフォワード/バックプロパゲーション・パスと比較して非常に軽量であるため、本手法による追加の訓練コストは無視できる程度です。

• アブレーション研究:

  • 軌跡レベル（$A^E$）または応答レベル（$A^S$）のいずれかのアドバンテージを除去すると、性能が著しく低下しました。
  • 無条件の長さシェーピング（成功条件なし）は性能の崩壊を引き起こし、長さの最小化単体では有害であることを確認しました。
  • 成功条件付きの長さシェーピング単体では不十分であり、グループ相対最適化との組み合わせが不可欠であることが示されました。

意義と主張

本論文は、PlanPOが、エージェンティックRLにおけるアドバンテージ崩壊の問題に対する、シンプルでスケーラブルかつタスク汎用的なソリューションを提供することを主張しています。成功したロールアウト内の固有の異質性（具体的には相互作用および応答の長さ）を教師信号として活用することで、PlanPOはエージェントが特定の高品質な行動パターンに過学習するのではなく、汎用的な計画能力を学習することを可能にします。

著者らは、このアプローチが高価な価値モデル、手動の報酬エンジニアリング、または複雑なヒューリスティックを必要としないことを強調しています。代わりに、成功したグループ内の「自然に利用可能でありながら十分に活用されていない」信号である長さのプロファイルを利用して、エージェントをより直接的で効率的、かつ一貫性のある相互作用へと導きます。結果は、成功したロールアウトの異質性が、計画を意識したエージェンティックLLMを訓練するための、実行可能かつ強力な信号であることを示唆しています。