技術要約：VLK – 再構成されたシーンにおける合成的な相互作用からのヒューマノイド・ロコ・マニピュレーションの学習

問題提起

知覚ベースのヒューマノイド・ロコ・マニピュレーション（loco-manipulation）には、高次元のエゴセントリック（一人称視点）な視覚観測と自然言語の指示を、協調的な全身キネマティクス挙動へとマッピングすることが求められる。この能力をスケールアップさせる上での根本的なボトルネックは、以下の完全なタプルを含む大規模かつ同期されたデータセットの欠如である：(1) エゴセントリックな視覚観測、(2) タスク指示、および (3) ロボットと互換性のある全身キネマティクス軌跡。

• 実世界でのテレオペレーションは高品質なデータを提供するが、多様なシーンや物体に対してスケールさせることが困難でコストが高い。
• 人間のモーションキャプチャは豊かなキネマティクス参照を提供するが、対応するロボットのエゴセントリックな視界を欠いている。
• エゴセントリックビデオデータセットは視覚的な経験を提供するが、ペアとなるロボットのキネマティクスや行動を欠いている。

その結果、スケーラブルなポリシー学習に必要な「視覚・言語・キネマティクス（VLK）」の教師あり学習を完全に提供できる既存のソースは存在しない。

手法

著者らは、メトリックスケールで再構成された屋内シーン内で、ペアとなるVLKの教師あり情報を合成的に生成するパイプラインを提案している。このシステムは、データの不足を克服するために、ワールドアセットの生成、挙動の合成、および視覚レンダリングを分離している。

1. 合成データ生成パイプライン

このパイプラインは、人間の介入なしに48,000個のペアとなる軌跡を生成するために、3つのステージで動作する。

• シーン再構成とアノテーション： フォトリアルな詳細度とメトリックスケールを維持するために、3D Gaussian Splatting (3DGS) を用いてiPhone 14 Proのスキャンから屋内環境を再構成する。モーション合成の制約を定義するために、セマンティックな3Dバウンディングボックスと歩行可能領域のアノテーションを行う。
• ロボット運動合成： アノテーションされたシーンの制約を用いて、2つのタスクファミリーに対してUnitree G1の軌跡を合成する。
  • 物体指向ナビゲーション： BONES-SEEDからの動きで学習。
  • 物体インタラクション： OMOMOのシーケンスをOmniRetargetを用いてG1の形態にリターゲティングして学習。
  • 条件付き拡散モデルを用い、タスク指示、初期状態、物体の幾何形状、および目的の手首接触ラベルを条件として、結合されたG1-物体軌跡を生成する。
• エゴセントリック視点のレンダリング： 合成されたG1の軌跡を、再構成された3DGSシーン内のIsaac Sim内で再生する。物理的なロボットに校正された仮想のZED 2iカメラが、ペアとなるRGB観測をレンダリングする。シム・トゥ・リアル（sim-to-real）の視覚的ギャップに対する堅牢性を高めるため、ドメインランダム化（照明、カメラの外因性パラメータ、焦点距離）を適用する。

2. 視覚・言語・キネマティクス (VLK) ポリシー

コアとなる学習コンポーネントは、短期間の全身キネマティクス軌跡を予測するポリシーである。

• 入力： 現在のエゴセントリックRGB画像 ($o_t$)、タスク指示 ($\ell$)、および現在のロボットのキネマティクス状態 ($x_t$)。
• 出力： 長さ $H=30$（30 Hzで1秒間）の将来の軌跡 ($\hat{x}_{t+1:t+H}$) と、二値の手首・物体接触ラベル。
• アーキテクチャと学習： ポリシーは事前学習済みの $\pi_0.5$ モデルから初期化され、$x_0$ 予測目的関数を用いたフローマッチング形式で微調整される。補助的な損失として、足の接地、軌跡の一貫性、順キネマティクスの精度、および足のスライディング抑制が適用される。
• 状態表現： キネマティクス状態には、ルートの平面変位、ヨー、高さ、6Dルート姿勢、関節角（不連続性を避けるためにsine/cosineでエンコード）、および接触ラベルが含まれる。

3. 全身トラッキングとデプロイメント

• 実行： VLKポリシーの予測は、SceneBotに基づく接触を考慮した全身トラッカーの高レベルな参照として機能する。トラッカーは、予測されたキネマティクスを、物理的なUnitree G1に対する関節レベルのPDターゲットに変換する。
• リアルタイムシステム： デプロイメントには、推論バックエンドとしてTritonを用いたリアルタイムVLAシステムを使用する。RTX 5090上で、エンドツーエンドのレイテンシは31 msで安定している。モーションブラーを処理し連続性を確保するため、シャープネスに基づくフレーム選択とオーバーラップするアクションチャンクを採用している。

主な貢献

1. VLK教師あり情報の生成： 再構成された3DGSシーン内で、ペアとなる軌跡（エゴセントリック画像、言語、キネマティクス）を合成する新しいパイプラインを構築し、ヒューマノイド・ロコ・マニピュレーションにおけるデータボトルネックに対処した。
2. 分離されたデータ合成： 特権的なシーン情報（例：物体のポーズ、衝突幾何学）を活用して挙動生成を容易にし、その後で観測をレンダリングすることで、人間のデモンストレーションなしに大規模なスケーリングを可能にする手法。
3. Sim-to-Real転送： 合成された再構成シーンのみで学習されたポリシーが、実世界の環境において物理的なUnitree G1上で知覚ベースのロコ・マニピュレーションを正常に実行できることを実証した。
4. 接触を考慮したトラッキング： 予測された二値接触ラベルを全身トラッキングループに統合し、物体操作中の安定性を高めた。

実験結果

システムは、家具の配置が異なる2つの環境（ラボとアパートメント）において、Unitree G1を用いて評価された。

• 実世界での成功率：
  • ナビゲーション： 「Walk To（〜へ歩く）」および「Turn Around（旋回する）」タスクにおいて、ほぼ完璧な成功（20回中19〜20回）を達成。
  • 床面操作： 床からの箱のピックアップおよび配置において高い成功率（20回中16〜20回）を達成。
  • 表面操作： 物体を表面に置くタスクでは、リターゲティングされたインタラクションデータの支持面高さのカバー範囲が限定的であったため、成功率は低くなった（20回中8〜15回）。
• シミュレーション vs 実世界： システムはMuJoCoシミュレーション（IsaacSimによるレンダリングを使用）において高い成功率を達成し、実世界へのデプロイ前のクローズドループ性能を検証した。
• データ量の切捨て実験（Ablation）： パフォーマンスは合成データ量に応じてスケールする。ナビゲーションは限定的なデータでも堅牢であるが、操作タスク（特に「Pick Surface」）は、全データセット使用時には10%のデータ量での成功率0%から46%へと大幅に改善した。
• ドメインランダム化： 視覚的なドメインランダム化は、sim-to-real転送において極めて重要であった。これを削除すると、視覚的な摂動下での歩行成功率は90%から41%に低下した。

意義と主張

本論文は、再構成されたシーン内でのロボット互換の相互作用を合成することが、sim-to-realの知覚ベースのヒューマノイド・ロコ・マニピュレーションのための効果的な教師あり情報を生成することを主張している。

著者らは、本研究を、ヒューマノイドのポリシー学習を阻んできたデータボトルネックに対する解決策として位置づけている。3DGSによるリアルなワールドアセット生成と、挙動実行のための全身トラッキングという部分的な解決策を結びつけることで、彼らは「Real-to-Sim-to-Real」の実行可能なパイプラインを提示している。結果は、再構成された環境における合成的な相互作用の生成が、特にナビゲーションや大型物体の運搬を伴うタスクにおいて、知覚条件付きのヒューマノイド制御に向けた有望な道であることを示唆している。

認められている限界事項：
現在のシステムはOMOMOデータセットのカバー範囲に依存しており、小物の把持（例：カップ、道具）よりも、両手による箱状の物体の運搬に適している。また、接触を考慮したトラッカーは大型物体の操作を安定させるが、精密な物体把持には対処していない。これらを小物の操作に拡張するには、より豊かなインタラクションデータと専門化された低レベルコントローラが必要となる。