技術要約：行動整合型表現によるクロスエンボディメント転移

問題提起

近年のロボット操作における進歩は、多様なロボットのエンボディメント（形態）にわたる大規模な模倣学習によって推進されてきました。しかし、ある一連のロボットで訓練されたポリシーが、未知の新しいロボットプラットフォームへと汎化する「クロスエンボディメント転移」を実現することは、依然として困難な課題として残っています。

主な障害は、異なるエンボディメント間における観測空間（例：カメラのポーズ、視覚入力）および行動空間（例：関節構成、エンドエフェクタのキネマティクス）の著しい差異です。先行研究では、観測の明示的な整合（例：カメラポーズの正規化やインペインティングによる）や行動空間の整合を試みてきましたが、これらの手法は多大な手作業を必要としたり、訓練時にデプロイ時のロボットに関する特定の知識を必要としたり、あるいはスケーラビリティに欠けたりすることが多いです。その結果、性能がターゲットとなるエンボディメント固有のデータのみで訓練した場合を大きく上回ることが困難になっています。

本研究では、**行動整合型表現（behavior-aligned representations）**を用いて、不均質なデータセットを暗黙的に整合させるフレームワークを提案します。核心となる仮説は、生の観測や行動はロボット間で異なっても、タスクの「行動」を記述する中間表現（例：「左に動く」、「[x,y]にある物体を掴む」）は、エンボディメントを横断して不変であるというものです。Vision-Language-Action (VLA) モデルに対し、これらの表現と行動を同時に予測するように学習させることで、ポリシーは統一された推論空間を活用できるようになります。

フレームワークと定式化

このアプローチは、言語条件付き模倣学習の設定として定式化されています。ポリシー $\pi_\theta$ は、観測 $o$ と言語指示 $l$ をアクション $a$ へとマッピングするように訓練されます。

1. 行動整合型表現 ($z$): 著者らは、データセットから計算可能であり、最適な行動を予測するために有用であり、かつエンボディメント間で不変な表現の集合 $z = (z^{(1)}, \dots, z^{(K)})$ を定義します。
2. 訓練目的関数: モデルは、サンプリングされた表現のサブセット $\tilde{z}$ に続いてアクションを自己回帰的に予測するように訓練されます。総損失は、行動クローニング損失（アクション予測）と、表現の予測に関する補助損失の組み合わせとなります：
   $$\mathcal{L}_{total} = \mathbb{E}[\ell(\pi_\theta(\cdot | o, l, \tilde{z}), a) + \sum \lambda_k \ell_{rep}^{(k)}(\pi_\theta(\cdot | o, l), z^{(k)})]$$
   推論時には、モデルはアクションを直接予測するか、あるいは予測された表現を条件として与えるように構成できます。

研究された具体的な表現

本論文では、3種類の具体的な行動整合型表現を評価しています：

• バウンディングボックス: 操作可能な物体の2Dオブジェクトバウンディングボックス（Grounding DINOを用いて抽出）。
• 言語モーション: プロプリオセプション（固有感覚）の状態変化から導出された、直近の動きに関するテキスト記述（例：「左下へ移動」）。
• エンドエフェクタ（EE）トレース: 画像フレーム内におけるロボットのエンドエフェクタの将来的な2D位置のシーケンス。

ベンチマーク: RoboCasa-X

これらの仮説を厳密に評価するために、著者らはRoboCasaを拡張したシミュレーションベースのベンチマークであるRoboCasa-Xを導入しました。

• ソースデータ: 多様なソースロボット（IIWA, Kinova3, UR5e）と異なるグリッパーを含む多様なデータによる事前学習。
• ターゲットデータ: 限られたターゲットデモンストレーション（各タスク50回）を用いた、3つのターゲットロボット（Panda, Jaco, Panda-OG）への転移評価。
• タスク: レイアウト、テクスチャ、物体のポーズが大きく異なる4つの操作タスク（例：「シンクの反対側にある物を持ち上げて置く」、「シンクの蛇口をひねる」）。

主な貢献

1. 表現による暗黙的な整合: 本論文は、行動整合型表現が、観測空間や行動空間を明示的に整合させる必要なく、クロスエンボディメントデータを統一するためのスケーラブルで暗黙的な手法となることを示しています。
2. 表現の経験的分析: 広範なアブレーション研究を通じて、著者らはエンドエフェクタ・トレースがクロスエンボディメント転移において最もインパクトのある表現であり、次いで言語モーション、バウンディングボックスの順であることを特定しました。
3. スケーリング則: これらの表現の有用性は、事前のクロスエンボディメント・データセットのサイズに応じてスケールすることが明らかになりました。より大きなデータセット（例：3,000デモンストレーション）の方が、表現の整合による恩恵を大きく受けます。
4. アクションフリー転移: 本フレームワークは、アクションフリー（行動ラベルのない）データセットからの転移を可能にします。著者らは、表現のみを予測する（アクションラベルなし）データで事前学習を行うことで、アクションデータを用いてファインチューニングした際のダウンストリーム性能が向上することを示しており、これは表現が有用な内部状態を誘導していることを示唆しています。
5. Sim-to-Realの検証: このアプローチは実世界のロボットでも検証されており、表現がシム・トゥ・リアル（Sim-to-Real）のギャップを埋めると同時に、クロスエンボディメント転移も処理できることが示されています。

実験結果

シミュレーション結果 (RoboCasa-X)

• 性能向上: 行動整合型表現を使用することで、表現を用いないベースラインと比較して成功率が一貫して向上しました。
  • エンドエフェクタ・トレース: 個別の要素の中で最大のブーストを提供しました。
  • 結合された表現: 「Joint Reps」（任意の表現のサブセットを予測するように単一のモデルを訓練する手法）を用いることで、ほとんどのタスクとターゲットロボット（Panda, Jaco）において、一般的に最も高い全体成功率を達成しました。
  • 例外: 訓練時に見られなかったユニークなグリッパーを持つPanda-OGターゲットについては、エンドエフェクタ・トレース単独が結合表現を上回りました。これは、最適な表現の選択が特定のエンボディメント間の差異に依存することを示唆しています。
• スケーリング: 表現は、事前のデモンストレーションを900から3,000へとスケールさせた際に+19%の改善をもたらしましたが、単一エンボディメントのデータではその恩恵は小さくなりました。
• 推論: 推論中に表現を予測することは、直接的なアクション予測に対してわずかな利点しか提供せず、主な恩恵は訓練中に学習される（暗黙的な整合）という仮説を支持しています。
• アクションフリー・データ: アクションフリー・データ（表現のみを予測）での事前学習は、ゼロからの訓練と比較して14%、表現なしでフルアクションデータを用いた場合と比較して11%性能を向上させました。

実世界の結果

• Sim-to-Real転移: 著者らは、RoboCasa-X (XP-3K) で事前学習されたモデルを、2つの実機ロボット（Franka Research 3 (FR3) および ViperX 300 S）に適応させました。
• 大幅な改善: 視覚的観測や行動空間（制御周波数やブロッキング動作の違いなど）に大きなドメインギャップがあるにもかかわらず、「Joint Reps」アプローチは、表現を用いないベースラインと比較してタスク完了の進捗を**28%**向上させました。
• 比較: 表現はシミュレーションよりも実世界の環境においてより有益であり、これはドメインギャップが大きいために暗黙的な整合がより重要になったためと考えられます。

重要性と主張

本論文は、行動整合型表現が、スケーラブルなクロスエンボディメント学習を可能にするための極めて重要なメカニズムであることを主張しています。ロボットのハードウェアに依存しない、行動の共通言語（トレース、ボックス、言語）を提供することで、これらの表現は、エンボディメントの不一致によって本来であれば利用不可能な、大規模で不均質なデータセットを活用することを可能にします。

著者らは、本研究をクロスエンボディメント学習における「ポジティブな転移」を理解するためのステップとして位置付けています。現在の設定では（シミュレーションにおける一貫したカメラ分布のように）大幅な整合が行われていますが、本フレームワークは、より構造化されていない、より不整合な環境での転移を探求するための出発点を提供します。本研究は、異なるレベルの不整合が特定の表現の有効性にどのように影響するかを調査し、物体中心の操作を超えた、より広範な行動整合信号を探索する必要があることを示唆しています。