技術要約: CrossHA – 強化学習による、異なるレベルのアージェンティックなアクションを習得するための単一モデルの学習

1. 問題提起

エージェンティックAIのパラダイムは、事前学習済みの大規模言語モデル（LLM）や視覚言語モデル（VLM）を中心とした設計されたワークフローから、ポストトレーニングを通じて開発されるネイティブなエージェンティックモデルへと移行しています。しかし、既存のエージェントは通常、静的で定義済みの行動空間（例：APIのみ、GUIイベントのみ、あるいはロボットコマンドのみ）に限定されています。この硬直性は、以下の2つの根本的な限界を生み出します。

1. 脆弱性: 特定の行動ポリシーや変換レイヤーは、動的な環境（例：CAPTCHAによってブロックされたAPI関数、あるいは精度を欠くロボットポリシー）において失敗することがよくあります。
2. 非柔軟性: タスクに対して行動空間を手動で割り当てることは、適応性を制限します。決定的なのは、最適な行動空間はタスク間で変化するだけでなく、単一のタスク内においてもステップレベルで変化する場合があることです。例えば、「ディープリサーチ」エージェントは、情報収集のために検索APIを効率的に使用できますが、CAPTCHAを回避するために精密なGUIレベルの操作を必要とする場合があります。

現在のアプローチは、多くの場合、分離された行動空間間の遷移をオーケストレートしたり、異種混合の軌跡をマージしたりするために、複雑で脆弱なパイプラインに依存していますが、選択メカニズム自体を明示的に最適化することはありません。文脈に基づいて、各ステップにおいて最も効果的なインターフェース（高レベルのAPIから低レベルのプリミティブまで）を自律的に選択できる統一されたモデルが不足しています。

2. 手法: CrossHA フレームワーク

これらの限界に対処するため、著者らは、複数の異種混合な行動空間を習得し、各ステップに対して適切なインターフェースを自律的に選択するように訓練された統一エージェンティックモデルである CrossHA を提案します。このモデルは、コールドスタートによる教師あり微調整（SFT）と、マルチターン・グループ相対方策最適化（GRPO）アルゴリズムを統合した、包括的な3段階のパイプラインを通じて訓練されます。

2.1. 問題定式化

このタスクは、複合的な行動空間 $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ を持つマルコフ決定過程（MDP）としてモデル化されます。ここで、各部分空間 $\mathcal{A}_x$ は、異なるクラスの行動（例：低レベルの運動制御 vs 高レベルの運動プリミティブ）に対応します。目的は、異なる行動粒度に関連する計算的または運用的なコストをペナルティとして課しながら、期待報酬を最大化することです。
$$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$$

2.2. 訓練パイプライン

訓練プロセスは、以下の3つの進行的なステージで構成されます。

• ステージ1: 混合空間教師あり微調整 (SFT)
  モデルは、複数の行動部分空間からの軌跡を含むバランスの取れたデータセットで初期化されます。目標は、多様なモダリティにわたって有効な行動をデコードおよび生成できる、堅牢なベースモデル ($M_{mix}$) を構築することです。この段階では、モデルは構文と意味論を学習しますが、まだ最適な行動空間を自律的に選択することはありません。

• ステージ2: シングルターン強化学習 (STRL)
  このステージは、モデルが即時的なタスクコンテキストに対して適切な行動空間を自律的に選択できるようにします。

  • ウォームアップ: 多様性を高めたSFTフェーズにより、すべての空間にわたる候補となるアクションを生成し、実行に成功したものをフィルタリングして、グラウンドトゥルース（正解）のアノテーションを作成します。
  • 最適化: モデルは グループ相対方策最適化 (GRPO) を用いて微調整されます。PPOとは異なり、GRPOは学習された価値関数ではなく、サンプリングされた出力のグループの相対的なパフォーマンスに基づいてアドバンテージを推定します。報酬は行動空間に依存しません。パースされた生の行動がグラウンドトゥルースと一致していれば、その表面形式に関わらずクレジットが付与されます。これにより、モデルは与えられた入力に対して最も信頼性の高い行動空間を選択することを学習します。

• ステージ3: マルチターン強化学策習 (MTRL)
  長期的な推論と軌跡の効率性を最適化するために、モデルはMTRLを行います。

  • 初期化: 自己学習ステップにより、STRLモデルの好みに基づいてデータセットを再ラベル付けし、適切な行動空間選択のための強力な事前分布 ($M_{cs2}$) を作成します。
  • 軌跡の最適化: モデルは、バイナリのエピソード報酬（成功/失敗）とトークン長に対するペナルティを組み合わせたキュレーション済みタスクセットで微調整されます。これにより、エージェントはタスクの成功と実行効率のバランスを取ることを学習し、可能な場合は簡潔な高レベルアクションを優先し、必要な場合には微細なアトミックアクションへと切り替えることを学習します。

3. 主な貢献

1. CrossHA モデル: 異種混合な行動空間を習得し、人間が定義したヒューリスティックに頼ることなく、コンテキストに適したインターフェースを自律的に選択できる統一されたエージェンティックモデル。
2. 包括的なRLパイプライン: マルチターンGRPOを利用した訓練フレームワークの導入。これにより、エージェントはタスクの成功と実行効率の両方を最大化するために、単一の軌跡内で適応的なアクションの切り替えを学習できます。
3. 最先端の性能: 長期推論タスクにおいて、静的なベースラインと比較して優れた汎化性能と堅牢性を実証。

4. 実験結果

著者らは、オープンワールドの Minecraft 環境（バージョン 1.16.5）において、以下のカテゴリに分類された800以上の手動設計タスクを含む OpenHA ベンチマークスイートを用いて、CrossHAを評価しました。

• Mine Blocks: ナビゲーションと物理的相互作用。
• Craft Items: 複雑なGUIインタラクション。
• Kill Entities: 生存と戦闘。

主な知見:

• パフォーマンス: CrossHAはすべてのカテゴリにおいて最先端の性能を達成しました。特に、「Mine Blocks」では94.7%の完了タスク率（FT）、「Craft Items」では83.3%に達し、固定アクションのベースラインを大幅に上回りました。
• 汎化性能: わずか30のタスク（各カテゴリ10タスクずつ）のみで訓練されたにもかかわらず、CrossHAは800以上の評価タスクに対して正常に汎化しました。
• アブレーション研究:
  • 混合行動空間: CrossHAは、MTRLにおいて単一空間のベースライン（例：GroundingHA, MotionHA）よりも速く収束し、より高い漸近的性能に到達しました。これは、データ効率の向上を示しています。
  • STRLの必要性: STRLステージを含めることで、特に分布外（OOD）タスクにおいて、訓練効率と最終的な性能が大幅に向上しました。
  • 堅牢性: 単一空間のエージェントは、分布内（ID）タスクでは高い性能を示しましたが、分布外（OOD）タスクでは急激に低下しました。一方、CrossHAはより小さな汎化ギャップを維持しており、動的な行動空間の選択がオーバーフィッティングを軽減することを示唆しています。

5. 重要性と主張

本論文は、CrossHAが真の汎用エージェントへの重要な一歩であることを主張しています。行動空間の選択を、強化学習によって最適化される学習可能なコンポーネントとして扱うことで、モデルは静的な設計の硬直性を克服しています。結果は、適応的な行動空間の選択が、静的なベースラインと比較して優れた汎化性能と堅牢性をもたらすことを示しています。

著者らは、モデルがトレードオフを動的にバランスさせることを学習していると強調しています。つまり、適用可能な場合は効率のために高レベルのアクションを優先し、精密な制御が必要な場合には微細なアトミックアクションを採用するという点です。この能力により、エージェントは手動の介入なしに、マルチモーダルな相互作用を必要とする複雑なシナリオに対処できます。

著者らが述べている今後の課題には、マルチターンRLの効率向上や、安全性やレイテンシといった課題が存在する実世界のロボティクス設定へのフレームワークの拡張が含まれます。