技術サマリー：GROW – 状態 - 行動モデルを用いた GRPO の調整とオープンワールド VLM エージェント

1. 問題定義

ビジョン - ランゲージモデル（VLM）エージェントは、マルチターン視覚知覚と行動実行を必要とするオープンワールドタスク（例：Minecraft）において潜在能力を示しています。専門家によるデモンストレーションを用いた教師あり微調整（SFT）は支配的なトレーニングパラダイムですが、データ収集コストが高く、スケーラビリティに限界があるという欠点があります。さらに、SFT はしばしば性能において強化学習（RL）手法に後れを取ります。

グループ相対方策最適化（GRPO）は、サンプリングされた出力のグループ間で優位性を計算することで、個別の価値モデルを不要にする基盤モデル向けの効果的な RL アルゴリズムとして登場しました。しかし、標準的な GRPO をオープンワールドタスクに直接適用することには重大な課題が存在します。

• コンテキスト長: 標準的な GRPO は、完全な相互作用トラジェクトリを単一のトレーニングサンプルとして扱います。オープンワールド環境では、これらのトラジェクトリが過度なコンテキスト長を蓄積し、トークン制限を超えることがよくあります。
• ノイズ: 完全なトラジェクトリには、大量の無関係な情報とノイズが含まれており、方策勾配推定の質を低下させます。
• 理論的不整合: 標準的な GRPO は、グループ化されたサンプルが同一のプロンプトに対する異なる応答であると仮定します。オープンワールドタスクでは、トラジェクトリを分解すると、グループ化されたサンプルが異なる局所状態に条件付けられるため、この仮定に反することになります。

2. 手法：GROW フレームワーク

著者らは、GRPO をオープンワールド設定に適応させるために、トラジェクトリを細粒度の状態 - 行動サンプルに分解するフレームワークであるGROW（GRPO for Open-World VLM agents）を提案します。

2.1 トラジェクトリの分解

完全なトラジェクトリを最適化する代わりに、GROW は収集されたロールアウトトラジェクトリ $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ を個々の状態 - 行動対に分解します。

• 報酬の伝播: これらの環境における報酬はスパースであり、タスク完了時のみ検証可能であるため（成功の場合 $R(\tau)=1$、それ以外は $0$）、割引係数$\gamma$ を用いて報酬をトラジェクトリに沿って後方へ伝播させます。
  $$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$$
  これにより、成功した結果に近い状態 - 行動サンプルほど、より強い学習シグナルを受け取ることが保証されます。

2.2 状態 - 行動優位性の計算

$G$ 個の並列環境からなるロールアウトグループ内において、GROW は完全なトラジェクトリではなく、分解された状態 - 行動サンプルに対して相対的な優位性を計算します。

• 優位性 $A_{i,t}$ は、グループ内の割引報酬 $r_{i,t}$ を正規化することで計算されます。
  $$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$$
  ここで、$\mu$ と $\sigma$ はグループ内の報酬セットの平均と標準偏差です。
• 学習目的関数は、標準的な PPO 風のクリップされた目的関数に従いますが、これら状態 - 行動単位に対して動作します。
  $$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$$

2.3 サロゲート分析

著者らは、GROW におけるグループ化されたサンプルが同一のプロンプトではなく、異なる局所状態（$s_{i,t}$）に条件付けられているという理論的懸念に対処します。単純化された仮定（均一なトラジェクトリ長 $H$ と一貫した相互作用ステップ）の下で、目的関数が 2 つの項に分解されることを示すサロゲート分析を導出します。

1. $J_{traj}$: トラジェクトリ報酬 $R(\tau_i)$ をグループ平均 $S$ と比較することで、トラジェクトリレベルの相対的選好性を維持します。
2. $J_{step}$: 時間的割引効果を捉え、成功したトラジェクトリ内でのクレジット割り当てを精緻化し、最終的な成功に直接関連する意思決定を強調します。
   この分析は、同一プロンプト仮定からの逸脱にもかかわらず、目的関数が有効かつ効果的な相対方策最適化シグナルを保持することを結論付けています。

3. 主要な貢献

1. フレームワークの提案: 状態 - 行動サンプルに対するコールドスタート学習と、トラジェクトリ分解による GRPO ベースの方策改良を組み合わせた RL フレームワークである GROW の導入。
2. 理論的正当性: 合理的な扱いやすさの近似が成り立つ限り、グループ化されたサンプルが異なる局所状態に条件付けられていても、相対方策最適化が有効であることを示すサロゲート分析の提供。
3. 実証的検証: 800 以上のMinecraftタスクにおける広範なテストにより、このフレームワークが成功率と実行効率の両方で最先端（SOTA）の性能を達成することを示しました。

4. 実験結果

実験は、3 つのカテゴリ（身体化タスク：移動/採掘、GUI タスク：クラフト/精錬、戦闘タスク）を網羅する MCU ベンチマークを用いたMinecraft（Java Edition）で行われました。ベースモデルは Qwen2-VL-7B-Instruct です。

• 性能向上: GROW はすべてのカテゴリで SOTA 結果を達成しました。
  • 身体化: 成功率（ASR）が 50.4%（以前の最高値）から**59.6%**に向上。
  • GUI: ASR が 39.1% から**68.4%**に向上。
  • 戦闘: ASR が 39.2% から**49.0%**に向上。
• 効率性: タスク完了に必要な平均ステップ数が大幅に削減されました（例：身体化タスクでは 263 ステップから 128 ステップへ）。
• 汎化能力: GROW は未見のタスク（RL-unseen）に対して強力な汎化を示し、トレーニングセットへの過学習なしに初期化された方策よりも成功率を大幅に向上させました。
• アブレーション研究:
  • PPO との比較: GROW は成功率と収束速度の両面で PPO を上回りました。
  • 割引係数（$\gamma$）: $\gamma=0.995$ が、長期的なクレジット割り当てと局所的な効率性の間で最良のバランスをもたらしました。
• 行動分析: 診断タスクにより、GROW が安定したターゲット固定、能動的なターゲット再取得（失われたターゲットの探索）、およびノイズに強い GUI 操作といった特定のスキルを向上させたことが明らかになりました。

5. 意義と主張

本論文は、高度な RL アルゴリズム（GRPO）とオープンワールド環境の特定の制約（長く、ノイズの多いトラジェクトリ）の間のギャップを効果的に埋めることで、GROW がオープンワールド VLM エージェントにおける新たな SOTA を確立したと主張しています。

• 中核的な成果: このフレームワークは、完全なトラジェクトリ RL に内在する過度なコンテキスト蓄積とノイズの問題を軽減しつつ、GRPO の核心的な相対最適化シグナルを維持することに成功しました。
• スキル獲得: 結果は、GROW が単なるトラジェクトリの記憶ではなく、再利用可能な相互作用戦略（能動的な探索、堅牢な GUI 処理など）を育成することを示唆しています。
• スケーラビリティ: トラジェクトリを分解することで、この手法は価値推定が高コストで不安定な複雑なマルチターン環境における VLM エージェントのトレーニングのためのスケーラブルな道筋を提供します。

著者らは、非常に長い視野を持つタスクに対するメモリモジュールの欠如や、特定のシミュレーター（Minecraft）への依存といった限界を指摘しており、今後の研究として履歴の要約や多様なオープンワールド環境への展開を探求することが示唆されています。