技術要約：身体性エージェントのための階層的ポストトレーニング (HiRoC)

問題提起

Vision-Language-Action (VLA) モデルは、視覚的知覚、言語理解、および行動生成を統合することにより、ロボット操作において有望な成果を示しています。しかし、既存のポストトレーニング手法の多くは、VLAモデルを**フラットなポリシー（平坦な方策）**として扱い、グローバルなタスク指示を低レベルの行動に直接マッピングしています。このアプローチは、現実世界のシナリオにおいて以下のような重大な限界に直面します。

1. 明示的なタスク進行の欠如: フラットなポリシーは、実行中を通じて同じグローバルな指示を維持するため、複雑で長期的なタスクにおける段階的な構造を明示的にモデル化することができません。
2. 誤差の累積: 中間的な意味論的アンカー（サブゴール）がないため、実行時の微細な偏差が時間の経過とともに蓄積され、意思決定の劣化やタスクの失敗を招きます。
3. 非効率的な階層学習: 階層的なアプローチ自体は存在するものの、それらは多くの場合、オフラインのデモンストレーションからの教師あり学習に依存しており、オンラインの相互作用を通じて実行能力を向上させることが困難です。さらに、既存のオンライン強化学習（RL）手法も、階層的なプランナー・エグゼキュータ構造ではなく、依然としてフラットなポリシーを最適化しています。

核心となる課題は、高レベルのプランニングと低レベルの実行を効果的に分離しつつ、両モジュールが分布の不一致（distribution misalignment）に陥ることなく効率的に連携できるポストトレーニング・フレームワークを構築することにあります。

手法：HiRoC フレームワーク

著者らは、タスク分解、プランナーとエグゼキュータの整合、およびオンライン強化学習を統合した階層的ポストトレーニング・フレームワークである Hierarchical Robotic Control (HiRoC) を提案します。このフレームワークは、高レベルのプランナー (Planner) と低レベルのエグゼキュータ (Executor) という2つの主要なモジュールで構成されています。

1. 教師ありファインチューニング (SFT) によるプランナーの訓練

プランナーは、現在の観測に基づいて、グローバルなタスク指示を実行可能な中間的なサブゴールへと分解する役割を担います。

• データ準備: 著者らは、既存のマルチモーダル・データセット（例：VLA-OS由来）を再構成し、軌跡に直近の次なるサブゴールが付与された、クリーンで一貫性のあるデータセット ($D_{plan}$) を作成しました。
• 最適化: プランナー（Qwen2.5-VLのようなVLMバックボーンに基づく）は、現在のマルチモーダルな状態 ($s_t$) と過去のサブゴール・トークンに条件付けられた、次のサブゴール・トークン列を予測するようにSFTを通じて訓練されます。
• 凍結: 一度訓練されると、プランナーはタスク分解能力を保持し、分布シフトを防ぐために、その後のRLチューニング中には凍結されます。

2. SFT および RL チューニングによるエグゼキュータの訓練

エグゼキュータは、プランナーから提供される現在のサブゴールに条件付けられて、低レベルの行動を生成します。

• 分布の不一致 (DM) への対処: 重要な課題は、事前学習済みのVLAはグローバルな目標に対して最適化されており、中間的なサブゴールに対しては最適化されていないことです。プランナーと事前学習済みエグゼキュータを直接結合すると、分布の不一致による「コールドスタート」が発生します。
  • 解決策: 著者らは、軌跡データをサブゴール条件付きのサンプル ($s_i, l_i, a_i$) として再構成し、エグゼキュータに対してサブゴール条件付きSFTを実施します。これにより、RLを開始する前に、エグゼキュータのポリシーをプランナーの出力に整合させます。
• オンライン強化学習 (RL): エグゼクータは、凍結されたプランナーに導かれ、環境とのオンライン相互作用を通じてさらに最適化されます。
  • 階層的 GRPO: 著者らは、グローバルおよびローカルの両方の学習信号を取り入れた Group Relative Policy Optimization (GRPO) 目的関数を導入しました。
    • グローバル・アドバンテージ ($A_{task}$): フル・トラジェトリーの累積報酬から導出されます。
    • ローカル・アドバンテージ ($A_{sub}$): ロールアウト中に記録された中間的なサブゴールに対する進捗から導出されます。
  • 重み付き統合: 最終的なアドバンテージ信号 ($\hat{A}_i$) は、グローバル・アドバンテージとローカル・アドバンテージの加重和となります。重み ($w_t, w_s$) は、軌跡あただらの平均サブゴール数と軌跡の長さに基づいて適応的にバランス調整され、異なる複雑さを持つタスクに対して適切な監督が行われるように設計されています。
  • ポリシー更新: エグゼキュータは、アクション・トークンの確率比を最適化しつつ、ポリシーの偏差を制限するPPOスタイルのクリップされたアクター目的関数を用いて更新されます。

主な貢献

1. HiRoC フレームワーク: 高レベルのタスクプランニングと低レベルの行動実行を明示的に分離し、構造化された推論と堅牢な長期的な操作を可能にする、階層的ポストトレーニング・フレームワークの提案。
2. 協調的訓練戦略:
   • 分布の整合: プランナーが生成したサブゴールとエグゼキュータの実行との間のギャップを埋め、コールドスタート問題を軽減する、サブゴール条件付きSFTステージ。
   • 階層的 RL 目的関数: タスクレベル（グローバル）とサブゴールレベル（ローカル）の両方の学習信号を共同で活用し、ポリシー最適化に対してより構造化されたガイダンスを提供する、新しいGRPO定式化。
3. 実証的検証: 多様なロボット操作ベンチマークにおいて、一貫した性能向上を示す広範な実験。

実験結果

著者らは、LIBERO ベンチマーク（Goal, Spatial, Object, および Long スイート）および汎用性に関する LIBERO-Plus スイートを用いてHiRoCを評価しました。

• 全体的な性能: HiRoCは、フラットなVLAポリシー（OpenVLA）、他のRLベースの手法（VLA-RL, TGRPO）、およびワールドモデルベースのアプローチを含む強力なベースラインを上回り、SOTA（State-of-the-Art）の性能を達成しました。
  • LIBERO-Long スイートにおいて、HiRoCは 98% の成功率を達成し、ベースラインを大幅に上回り、複雑なタスクに対する階層的制御の有効性を証明しました。
  • 本手法は、ベンチマーク全体でベースラインと比較して平均 10.06% の改善を示しました。
• 汎用性 (ゼロショット): 7種類の摂動を導入したLIBERO-Plusにおいて、HiRoCはSFTベースのモデルやワールドモデルよりも優れた汎用性を示しました。これは、目標を管理可能なサブゴールに分解する能力に起因します。
• アブレーション研究:
  • プランナーを除去した場合（w/o Plan）、性能が著しく低下し、明示的なタスク分解の必要性が確認されました。
  • 分布の不一致（DM）の事前学習を除去した場合、深刻なコールドスタートが発生し、最終的な性能が低下しました。
  • ローカルGRPOを除去した場合（w/o L）、グローバルGRPOが主たるものである一方、ローカルのサブゴール信号が補完的な改善を提供するものであることが示されました。
• 実世界への転移: 物理ロボットプラットフォームを用いたシム・トゥ・リアル（sim-to-real）実験において、追加のファインチューニングなしで訓練済みポリシーの展開に成功し、本フレームワークの実用的な適用可能性を検証しました。

意義と主張

本論文は、HiRoCが、長期的なマルチステージのロボットタスクを扱う際のフラットなVLAポリシーの根本的な限界に対処することを主張しています。プランナーとエグゼクテナの階層を通じてタスクの進行を明示的にモデル化し、ターゲットを絞ったSFTと階層的RLを通じて分布の不一致問題を解決することで、HiRoCはエージェントが堅牢で自己修正可能な操作を行うことを可能にします。

著者らは、現在の研究は階層的ポストトレーニングに焦点を当てているものの、将来的には、エンドツーエンドの訓練や、物理システムにおける不確実性を扱うためのより堅牢な分解メカニズムの探索が含まれることを強調しています。本研究は、汎用的なロボット操作を進展させるために、階層的なタスク分解と強化学習ベースのポリシー最適化を組み合わせることの重要性を浮き彫りにしています。