Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

技術概要：解離型クロスエンボディメント動画編集による身体性ギャップの架橋

問題定義
本論文は、人間の動画からのロボット把持操作の学習における重要な「身体性ギャップ（embodiment gap）」に対処する。インターネット規模の人間動画は、ロボット工学におけるデータボトルネックに対するスケーラブルな解決策を提供するが、人間のデモンストレーターとロボット学習者の間には著しい分布シフトが存在する。このギャップには、外観や視点といった視覚的な違いに加え、より重要なのは、異なる運動学、自由度、物理的アフォーダンスに起因する形態的および動的な違いが含まれる。既存のアプローチは、タスク関連情報が人間固有の運動学的バイアスと結合した**絡み合った表現（entangled representations）**を生み出すため、適応性が制限されるという点でしばしば失敗する。また、人間をインペインティングしロボットモデルをオーバーレイするなどの手続き型パイプラインに依存する他の手法は、しばしば下流のポリシー学習に適さない非現実的な動画プランをもたらす。

手法
著者は、タスクと*身体性（embodiment）*の解離された表現を明示的に学習するクロスエンボディメント動画編集のための生成フレームワークを提案する。中核となるアーキテクチャは、以下の 3 つの主要コンポーネントで構成される。

1. 凍結された生成バックボーン: 本フレームワークは、事前学習済みで凍結された動画拡散モデル（VACE、潜在拡散トランスフォーマー）を生成バックボーンとして利用する。これにより、モデルの完全な再学習を必要とせず、高品質で時間的に一貫した動画合成のための強力な事前知識を活用できる。
2. 解離型エンコーダ:
   • タスクエンコーダ（$E_{\theta_{task}}$）: 学習可能なエンコーダであり、ソース人間動画からのマルチモーダル入力（テキスト目標記述 $T$、手動作系列 $M_s$、物体軌道 $O_s$）を処理する。これは身体性不変のタスク埋め込み（$z_{task}$）を出力する。
   • 身体性エンコーダ（$E_{\theta_{emb}}$）: 学習可能なエンコーダであり、ターゲットエージェントのエンドエフェクタの静止画像（$C_s$）を処理して、身体性固有の埋め込み（$z_{emb}$）を生成する。
3. パラメータ効率型アダプタ: 軽量で学習可能なアダプタ（$A_\psi$）は、解離された潜在コードを凍結された拡散トランスフォーマーに注入する。これにより、元のバックボーン重みを変更することなく、複数の特徴レベルで生成を誘導することが可能になる。

学習目的
タスク表現と身体性表現が真に直交していることを保証するため、著者は標準的なフローマッチング（LFM）再構成損失に加えて、二重の対照学習目的を採用する。

• 解離（相互情報の最小化）: CLUB 推定器を用いて、$z_{task}$と$z_{emb}$間の相互情報を最小化する。これは、自然にペアリングされたサンプルの対数尤度とランダムにペアリングされたサンプルの対数尤度を対比させることで達成され、2 つの潜在空間を独立させる。
• 空間内一貫性（類似性の最大化）: InfoNCE 損失をタスク空間と身体性空間にそれぞれ適用する。これにより、同じ意味クラス（例：同じタスクの異なる動画、または同じロボットの異なる画像）の埋め込みを近づけ、異なるクラスを遠ざけ、堅牢で判別性の高い表現を確保する。
• 再構成: モデルは、自身の解離された埋め込みを条件としてノイズからソース動画を再構成するように学習され、フローマッチングを通じてパラメータを最適化する。

主要な貢献

1. 生成解離フレームワーク: 本論文は、デモンストレーション動画をタスクと身体性のための直交する潜在空間に明示的に因数分解する新規フレームワークを導入し、動画からの学習（LfV）における分布シフトに直接対処する。
2. 二重対照目的: 著者は、タスク空間と身体性空間間の相互情報を最小化（独立性の確保）し、空間内一貫性を最大化（安定性の確保）する学習戦略を提案する。これには、ペアリングされたクロスエンボディメントデータは不要である。
3. パラメータ効率型適応: 凍結された動画拡散モデルに学習可能なエンコーダと軽量アダプタを付加することで、最小限のパラメータ更新で高忠実度の合成を実現する。
4. スケーラブルなデータ解決策: このアプローチは、単一の人間デモンストレーションから一貫性のあるロボット固有の実行動画の合成を可能にし、インターネット規模の人間データをロボット模倣学習に活用するためのスケーラブルな道筋を提供する。

実験結果
本フレームワークは、PH2D データセットから派生したデータを用いて、クロスエンボディメント動画編集タスク（把持、注ぎ込みなど）で評価された。

• 定量的性能: 提案手法は、動画忠実度指標（FVD、LPIPS、PSNR、SSIM）において、ベースライン（VACE および Phantom）を上回った。特に、VBench スイート内の動的および時間的品質指標（審美的品質、時間的スタイル、動作の滑らかさ、全体的な一貫性）で最高スコアを達成し、汎用モデルが動的な妥当性に苦慮したのに対し、優れた性能を示した。
• 定性的分析: 視覚的比較により、ベースラインは誤った形態を幻覚化（VACE）したり、非写実的なオーバーレイを生成（Phantom）したりするのに対し、提案手法は形態的に正確かつ時間的一貫性のある動画を生成することが示された。
• 解離の検証: t-SNE 可視化と特徴相関ヒートマップにより、二重の対照目的がタスク特徴と身体性特徴を明確に重なりのないクラスターに分離することに成功したことが確認された。
• 下流検証: Unitree H1 型ヒューマノイドロボットを用いた視覚的行動クローン（BC）実験において、生成されたロボット動画で学習されたポリシーは、HAT ベースラインで整列されたデータで学習されたポリシーと比較して、低い検証誤差を達成した。これは、生成された動画がロボットの物理的身体性とより整合性の取れた運動学的監督を提供することを示唆している。

意義と主張
本論文は、明示的に解離された表現を学習することで、LfV における分布シフトという根本的な課題を解決すると主張している。この手法は、ペアリングされた人間 - ロボットデータを必要とせず、人間のスキルを多様なロボット形態のための「高密度な視覚プラン」へ変換することを可能にする。著者は、この研究をロボット工学のデータボトルネックに対するスケーラブルな解決策として位置づけ、インターネット規模の人間動画を用いて汎用身体性エージェントを訓練することを可能にする。その意義は、人間の観察とロボットの実行の間のギャップを架橋し、下流のポリシー学習に直接情報を提供できる、物理的に妥当でロボット中心の視覚的デモンストレーションを生成できる点にある。