技術サマリー：HOI における Real2Sim 単眼動画からの物理的に妥当な HOI 再構築に向けた取り組み

1. 問題定義

単眼動画から 4 次元の人間 - 物体相互作用（HOI）を復元することは、スケーラブルな 3D コンテンツ作成、具現化 AI、シミュレーションベースの学習にとって重要なステップである。近年の手法（VisTracker、CARI4D、THO など）は、時間的に一貫した人間と物体の軌跡の再構築において進展を遂げているが、根本的な「相互作用のギャップ」に悩まされている。これらの手法は通常、曖昧な 3 次元空間において人間と物体を独立した実体として扱うため、視覚的には妥当だが物理的に不安定な出力を生み出す。具体的には、既存のパイプラインは、ヒューマノイド - 物体シミュレーションのための参照運動として使用される際、安定した接触、機能的な操作、または動的な妥当性を保持することに失敗することが多い。核心的な課題は、現在の再構築アプローチが、人間と物体の軌跡を一貫した相互作用に結びつける進化する機能的関係を明示的に復元していない点にあり、これが物理的なロールアウト用の「教師軌跡」として不適切であることである。

2. 手法：HA-HOI

著者らは、野外の単眼動画から物理的に妥当な 4 次元 HOI アニメーションを再構築するためのフレームワークであるHA-HOI（Human-Anchored HOI）を提案する。核心的な洞察は、ほとんどの HOI シナリオにおいて人間が能動的エージェントであり、物体の運動は人間の動作に条件付けられているという点である。したがって、このフレームワークは人間優先・物体追従の定式化を採用し、人体を単なる再構築対象の一つではなく、相互作用の組織化座標系として扱う。

パイプラインは 4 つの明確な段階で構成される：

3.1 人間中心の相互作用アンカー

人間と物体のトラックを独立して再構築するのではなく、システムはまず相互作用のアンカーとして時間的に一貫した人間の運動を確立する。

• 人間の復元: システムは SMPL-X パラメータを使用して世界空間の身体運動を復元し、相互作用に不可欠な微細な手の関節運動を確保するために MANO の手のポーズを融合する。
• 深度較正: 単眼深度予測はこの人間のアンカーに較正される。深度をグローバルなシーン表現として扱うのではなく、人間領域における未投影の深度点を復元されたメッシュと整合させるためにスケーリング因子を推定する。これにより、物体配置のための局所的な幾何学的証拠として深度を使用しつつ、人間の運動のメトリクススケールを保持する。

3.2 物体追従再構築

人間のアンカーが確立されると、物体はこのフレームに対して相対的に再構築される。

• メッシュ構築: 可視フレームから標準的な物体メッシュを構築し、隠蔽領域には画像インペインティングと単一画像 3 次元再構築モデルを利用する。
• スケール推定: 単眼再構築にはメトリクススケールが欠如しているため、システムは物体を観測された画像の輪郭と較正された深度に整合させ、人間アンカーに対する深度の不一致をペナルティとして課すことで、最適な物体スケール（$s^\star_o$）を推定する。
• トラッキング: スケール調整された物体メッシュを、FoundationPose を使用して動画全体にわたって追跡する。信頼性はマスク - 深度の整合性によって確保され、信頼性の低いフレームには補間が用いられる。得られた軌跡は人間中心の世界フレームに変換され、粗い HOI 軌跡（$\tau^0$）を生成する。

3.3 意味的接触の精緻化

粗い軌跡は、まだ物理的な一貫性（浮遊する物体や貫通など）を欠く可能性がある。これを解決するため、システムは意味的接触の精緻化を採用する。

• 接触提案: ビジョン - 言語モデル（InteractVLM）が、代表的なフレームにおいて人間と物体の両方のメッシュ上の可能性のある接触領域を予測する。
• 最適化: システムは、複合的な損失関数を最小化するために選択された身体関節、手のポーズ、物体のポーズを最適化する。これには以下が含まれる：
  • 接触損失（$L_c$）: 最初は双方向の最近傍距離を使用し、その後、人間の接触頂点を物体表面に引き寄せるために符号付き距離場（SDF）目的関数に切り替える。
  • 貫通損失（$L_p$）: メッシュの交差にペナルティを課す。
  • 滑らかさ（$L_s$）、アンカー（$L_a$）、正則化（$L_r$）: 時間的な安定性と粗い再構築への準拠を確保する。
• 逐次最適化: このプロセスは、固定された人間の運動下での物体深度の調整から始まり、物体のポーズ、手のポーズ、身体関節の同時最適化へと進み、最後に手首と指のポーズを精緻化する。

3.4 物理ベースの相互作用投影

最終段階では、運動学的軌跡を物理ベースのシミュレーションに投影し、動的妥当性を確保する。

• シミュレーション設定: 最適化された人間のシーケンスはヒューマノイドの参照運動に変換され、物体は動的な剛体としてモデル化される。
• 残差コントローラー: シーン固有の残差コントローラーが訓練される。これはシミュレーション状態と参照状態を観測し、参照関節ターゲットを変更するための残差動作を出力する。
• 訓練目的: 報酬関数は、運動忠実度（人間の追跡、物体軌跡の一致、手の関節運動）と相互作用の安定性（能動的接触の維持、速度制約）のバランスを取る。
• 出力: 最終出力は、入力動画に近く留まりつつ、重力および接触ダイナミクス下で安定した相互作用を支援する物理的に妥当なアニメーション（$\tau_{phys}$）である。

3. 主要な貢献

1. HA-HOI フレームワーク: 野外の単眼 HOI 動画をシミュレーション準備済みの軌跡に変換する、スケーラブルでトレーニング不要のパイプライン。視覚的に整合した 4 次元トラッキングから、物理的に根ざした相互作用アニメーションへと焦点を移行させる。
2. 人間優先・物体追従定式化: 世界に根ざした人間の運動を相互作用のアンカーとして使用し、物体の運動を人間の動作に対して相対的に再構築し、VLM による提案と明示的な最適化を通じて接触を精緻化する、新しい再構築戦略。
3. 物理的根拠に基づく評価: HA-HOI が正確な 4 次元 HOI 再構築を達成しつつ、ヒューマノイド - 物体シミュレーションにおける物理的妥当性、接触の一貫性、時間的安定性を大幅に改善し、標準的な幾何学的指標を超えていることを示す実証。

4. 実験結果

この手法は、疑似真値登録を備えたマルチビュー RGB-D ベンチマークであるBEHAVEデータセットで評価された。評価プロトコルでは、真値の物体テンプレート、接触注釈、または手動調整なしに単眼 RGB 入力を使用した。

• 定量的性能: HA-HOI は、最先端の手法（CHORE、InterTrack、VisTracker、CARI4D、THO）と比較して、すべての指標で競争力のある、あるいは優れた結果を達成した。
  • 人間の精度: 人間に対する最も低いチャメファー距離（CD-h: 7.11 cm）と、最も低い人間の加速度誤差（Acc-h: 0.52 cm/s²）を達成した。
  • 相互作用の妥当性: 最も低い人間 - 物体貫通スコア（0.013 cm）を達成し、最良のベースライン（0.084 cm）に対して大幅な改善を示した。これは物理的に無効な交差の劇的な減少を示している。
• 定性的分析: 視覚的比較により、CARI4D などのベースラインが浮遊する物体や曖昧な接触を生み出すのに対し、HA-HOI は機能的な手 - 物体関係（安定した把持、正しい物体配置など）を維持することが示された。この手法は、物理シミュレーション後でも相互作用の意味を成功裏に保持する。
• アブレーション研究:
  • 接触精緻化を除去すると、貫通は 0.013 から 0.097 に増加し、幾何学的整合スコアをわずかに変更する可能性があっても、接触最適化が物理的妥当性にとって不可欠であることを確認した。
  • 真値の物体メッシュやカメラパラメータがなくても手法は堅牢であり、オープンワールドシナリオへの適用性を裏付けている。

5. 意義と主張

本論文は、単眼 4 次元 HOI 再構築は、人間と物体の独立したトラッキングを超えて、相互作用関係そのものを復元しなければならないと主張する。人間を組織原理として扱い、シミュレーションを通じて物理的制約を強制することで、HA-HOI は視覚的観察と物理的現実の間のギャップを埋める。

著者らは、この仕事が一般的な単眼 HOI 動画をヒューマノイド - 物体行動のスケーラブルな実証例へと変えるための一歩であると主張する。現在の研究はシミュレーション準備済みの軌跡に焦点を当てているが、著者らは究極の目標はこれらの再構築を実際のヒューマノイドロボットに展開することであると指摘している。ただし、シム・トゥ・リアルの転移やハードウェアの制限に関する課題は今後の課題として残されている。その意義は、HOI 再構築の目的を再定義することにある。すなわち、3 次元で「正しく見える」だけでなく、物理法則の下で「正しく動作する」ことである。