技術概要：CHOIR – 接触感知型 4D 手 - 物体相互作用再構成

問題定義

本論文は、オープンワールドの「イン・ザ・ワイルド」環境で撮影された単眼 RGB 動画から、4D 手 - 物体相互作用（HOI）を再構成するという課題に取り組む。目標は、関節的な手の動き、物体の形状、6 次元ポーズ軌道、および明示的な接触証拠（接触が発生した時刻と場所）を含む一貫した 4D 表現を復元することである。

現在の最先端手法は、以下のいくつかの要因により、この領域において困難に直面している：

1. 未見の物体: 多くのパイプラインは既知の物体モデルまたはカテゴリを前提としており、未見の日常物体では機能しない。
2. 弱い結合: 手と物体はしばしば個別に推定されるため、遮蔽、雑然とした環境、単眼深度の曖昧さの下で整合性が取れなくなる。
3. 物理的な非妥当性: 接触のような明示的な物理的制約が欠如しているため、再構成結果は相互貫通、浮遊アーティファクト、または時間的ドリフトに悩まされることが多い。
4. データの不足: 現実のシナリオにおいて、明示的な接触を伴う高忠実度で物理的に裏付けられた 4D 相互作用痕跡を、大規模に入手することは困難である。

著者は、ヤコブ・ブロノフスキーの言葉を引用し、接触という観点から問題を捉え直している。「世界は瞑想ではなく、行動によってのみ把握できる。手は目よりも重要である……手は心の最先端である。」これは、接触を単なる視覚的特徴としてではなく、手の関節運動と物体幾何学の間の主要な結合信号として扱う動機付けとなる。

手法：CHOIR フレームワーク

CHOIR は、ノイズの多い接触を無視した初期推定値を、物理的に整合した 4D HOI 痕跡に変換するように設計された 3 段階のパイプラインである。

ステージ 1：オープンワールド HOI 解析

このステージは、視覚的証拠から粗い接触を無視した 4D 系列を確立する。

• 2D 手がかりの抽出: システムは、手のバウンディングボックス、左右性、2D 関節、相互作用する物体のボックス、モダル/アモダルのマスクを抽出する。運動選択された相互作用フレームの周囲から物体の疑似ラベルをマイニングして検出器（WiLoR）を微調整する自己適応手順を採用し、SAM 2 伝播を用いて時間的に完全なマスクを生成する。
• 3D 幾何学の復元:
  • 手: HaMeR がフレームごとの MANO 手のポーズとカメラ相対的な並進を初期化する。
  • 物体: SAM-3D-Objects が、「アンカーフレーム」（通常は信頼性の高い視認性が得られる最初のフレーム）から、正規化された物体メッシュ、メトリックスケール、および初期の 6 次元ポーズを再構成する。
• 4D 運動追跡:
  • 手: Dyn-HaMR が初期の MANO 推定値を 4D 軌道に安定化させる。
  • 物体: SAM-3D-Objects に基づく「ガード付きフォロートラッカー」が、物体の形状とスケールを固定したまま、回転と並進ポーズを双方向に更新する。外れ値は棄却され、欠落したポーズは補間される。
• 粗い孤立フィット: 接触推論を行う前に、システムはシーケンスを洗練させるために孤立フィットを実行する。
  • 手: 2D 整合、単眼深度の一貫性、解剖学的制約、および時間的安定性を用いて MANO パラメータを最適化する。
  • 物体: 背景への漏出を防ぎ、未カバーのマスク領域に向かって頂点を引き寄せるための相補的なシルエット項（反発と引力）を使用し、時間的および静的な一貫性損失と併せて用いる。
  • 整合: レイスケール整合ステップが、物体シーケンスをカメラレイに沿ってスライドさせ、相互作用深度統計を手に合わせる。

ステージ 2：生成 HOI 空間補正

ステージ 1 の出力は視覚的に整合しているが、物理的に無効（例えば、浮遊または貫通）である可能性があることを認識し、このステージは接触対応関係の構築前に、手と物体の相対的な配置を補正する。

• 生成モデル: DexGraspNet に由来する合成データセット（GraspPair）で訓練されたフローマッチングベースの生成モデルが、物理エンジン（PyBullet）によるフィルタリングを経て安定性を確保している。
• 補正プロセス: モデルは、ノイズの多い手の推定値、物体幾何学、および視線方向を入力として受け取る。カメラレイに沿った 1 次元スカラーオフセットを予測して深度の曖昧さを補正し、ノイズの多いソース把持を物理的に妥当なターゲット把持にマッピングする。
• 接触初期化: 補正された幾何学から、フレームごとの初期接触対応関係が確立される。手の接触頂点は、近接性と法線の互換性に基づいて物体表面点にマッチングされ、物体メッシュ上の重心座標としてパラメータ化される。これらは最終出力ではなく、初期化証拠として機能する。

ステージ 3：接触感知型共同最適化

この最終ステージは、補正された初期化と接触証拠を使用して、手と物体の軌道を共同で洗練する。

• 最適化目的: システムは、5 つの損失項の重み付き和を最小化する：
  1. 接触損失 ($L_{con}$): アクティブな手の頂点を、動的に再構築されたソフト接触アンカー（重心座標）に向かって引き寄せる。
  2. 貫通損失 ($L_{pen}$): 物体内部にある手の頂点を罰する片側項。
  3. シルエット損失 ($L_{sil}$): 描画された物体のシルエットをアモダルのマスクに整合させる。
  4. アンカー損失 ($L_{anc}$): 2D 関節、解剖学的制約、およびステージ 1/2 の初期化に解をアンカーする。
  5. 時間損失 ($L_{temp}$): 手と物体の運動の滑らかさを強制する。
• 動的制約: 最適化中に接触キャッシュは定期的に再構築され、現在の幾何学に適応し、ドリフトに対する堅牢性を確保する。

主要な貢献

1. オープンワールド 4D HOI 再構成: 2D 相互作用手がかりを抽出し、ガード付き物体追跡を実行し、既知の物体テンプレートを必要とせずに粗い接触を無視したシーケンスを生成する手法。
2. 生成空間補正: 接触対応関係の構築前に、手 - 物体配置を補正するためにレイ深度補正を予測する新規モジュール。正しい幾何学が必要となる接触の発見という「鶏と卵」の問題に対処する。
3. 接触感知型共同最適化: 動的に更新される接触制約を物理的および時間的事前知識と統合し、幾何学的および時間的一貫性を強制するテスト時最適化フレームワーク。

実験結果

著者は、CHOIR を制御された環境（HO3D）と挑発的なイン・ザ・ワイルド（TASTE-Rob、自己撮影）データセットで評価した。

• 定量的性能（HO3D）: CHOIR は、物体再構成指標（チャンファー距離、F スコア）およびスケール精度において、最先端のベースライン（iHOI、DiffHOI、HOLD、EasyHOI、MagicHOI）を上回る。ベースラインと比較して、手 - 物体距離と貫通率が低い値を達成する。
• イン・ザ・ワイルド性能: 100 本の動画の参照フリーベンチマークにおいて、CHOIR は、追跡の崩壊によりデータの相当部分で有用な再構成を生成できないことが多いベースラインと比較して、優れた物理的妥当性（低い貫通率、小さい手 - 物体距離）と時間的滑らかさを示す。
• 定性的結果: 視覚的比較により、CHOIR は、小さな物体、透明な物体、変化する接触点を含む挑発的なシナリオであっても、ベースラインよりもtighter な手 - 物体の整合と、浮遊する手や相互貫通などのアーティファクトの減少を生み出すことが示された。
• アブレーション研究: ステージ 2 の補正を除去すると、手 - 物体距離が倍増し、相対配置の補正におけるその役割が確認された。ステージ 3 における接触または貫通制約を除去すると、相互貫通の増加と滑らかでない運動が生じる。

意義と主張

本論文は、CHOIR が日常の単眼動画を再利用可能な 4D 相互作用プリミティブへと変換することに成功したと主張している。接触を転送可能な結合信号として明示的にモデル化し、段階的な戦略（解析 $\to$ 補正 $\to$ 最適化）を採用することで、初期推定値がノイズを含んでいても、堅牢な共同復元を達成する。

著者は、このアプローチが現実の相互作用のスケーラブルなマイニングを可能にし、シーン認識型の合成や計画を支援すると強調している。しかし、彼らは現在の限界を認めつつ、控えめな範囲を維持している：

• 本手法は剛体物体と単手相互作用を前提としている。
• 上流の 2D/3D 初期化に依存しており、セグメンテーションまたはアンカーフレーム選択の失敗は伝播する可能性がある。
• 現在、両手操作または非常に非剛体な変形には対応していない。

この研究は、過去のキュレーションデータセットアプローチの制限的な仮定を超え、相互作用のライフサイクル全体にわたる自動化された物理的基盤の 4D 再構成への一歩として位置づけられている。