技術概要：Pi-HOC

問題定義

現実世界の人間 - 物体相互作用（HOI）は本質的に多対多であり、複数の人間と複数の物体間の同時物理的接触を伴う。意味接触推定のための既存の手法は、以下の 3 つの主要な限界に直面している：

1. 単一人間仮定： InteractVLM などの最先端（SOTA）手法のほとんどは、単一人間のシーン向けに設計されており、同一物体カテゴリの複数のインスタンスや、複数の相互作用する人間を曖昧さなく区別することに苦慮している。
2. 物体幾何学への依存： 多くの手法は、入力画像に加えて物体の幾何学情報（メッシュや点雲など）へのアクセスを必要とし、現実世界の「野外（in-the-wild）」シナリオへの適用性を制限している。
3. スケーラビリティと効率性： 大規模なビジョン - ランゲージモデル（VLM）を活用する現在の SOTA 手法は計算コストが高く、多くの場合、すべての人間 - 物体ペアに対して個別のフォワードパスを必要とするため、複雑なシーンにおける推論スループットが低い。

核心的な課題は、外部の物体幾何学や大規模な VLM に依存することなく、シーン内のすべての人間 - 物体ペアに対して、単一のパスで密な頂点ごとの 3 次元意味接触予測を行うことである。

手法：Pi-HOC

Pi-HOC（Pairwise 3D Human-Object Contact）は、シーン内のすべての人間 - 物体ペアに対して同時に密な接触を予測するように設計された、単一パスかつインスタンス認識型のフレームワークである。パイプラインは以下の 4 つの主要な段階から構成される：

1. インスタンス検出とペア列挙

• 検出： 凍結された DETR 検出器が入力 RGB 画像を処理し、人間と物体のインスタンスを特定し、バウンディングボックスとクエリ特徴を出力する。
• ペアリング： システムはすべての候補となる人間 - 物体ペアを列挙する。重なり合うバウンディングボックスを持たない（IoU $\le$ 0）ペアは、物理的接触が不可能であるため剪定される。
• HO トークンの構築： 各有効なペア $(h, o)$ に対して、専用の人間 - 物体（HO）トークンが構築される。これは、人間と物体の DETR クエリ特徴を連結し、小さな MLP を介して投影することで実現される。これにより、特定の人間インスタンスが特定の物体インスタンスに明示的に結合される。

2. InteractionFormer による精緻化

• アーキテクチャ： モデルの中核は、事前学習済みの DINOv2 重みで初期化されたトランスフォーマーエンコーダである InteractionFormer である。
• メカニズム： HO トークンは、$L$ 層の自己注意を通じて画像パッチトークンと共同で精緻化される。
• 機能： 反復的な自己注意更新を通じて、HO トークンは特定の人間 - 物体ペアを取り巻く関連する画像領域に注意を向けることを学習する。これにより、トークンは相互作用の種類、関与する身体部位、および概略的な接触位置を暗黙的に符号化し、大規模な VLM を必要とせずに「相互作用認識型」の表現を可能にする。

3. 接触デコーディング

• 接触存在分類： 軽量な MLP 分類器が、各ペアの接触確率を予測する。確率が低いペアは効率化のためにフィルタリングされる。
• 密なマスク予測： 保持されたペアに対して、SAM ベースのデコーダが密な接触を予測する。
  • 6,890 個の SMPL 頂点を直接デコードする（計算コストが高い）のではなく、モデルは HO トークンをマルチビューの 2 次元接触マップ（SMPL メッシュの 2 次元投影上のピクセルごとの尤度）にデコードする。
  • これらの 2 次元マップは、各頂点に対して可視ビュー全体で確率をプーリングすることで、3 次元 SMPL 表面にリフトされ、バイナリの頂点ごとの接触マスク $m_{h,o} \in \{0, 1\}^{N_v}$ を生成する。

4. 訓練目的

モデルは、以下の損失の組み合わせを用いて最適化される：

• 2 次元接触損失： 投影された 2 次元接触マップに対する Focal 損失と Dice 損失。
• 3 次元接触損失： リフトされた 3 次元マスクに対する頂点レベルの Focal 損失と $\ell_1$ 疎性項。
• 接触存在損失： 接触分類器に対するバイナリ交差エントロピー。
• 補助損失： 表現を鋭くするために、（グランドトゥルースが利用可能な場合の）オプションのシーンおよび身体部位セグメンテーション損失。

主要な貢献

1. 多人数・多物体意味接触： シーン内のすべての人間 - 物体ペアに対して、密な頂点ごとの意味接触を予測する初のフレームワークであり、現実世界の相互作用の多対多の性質に対処する。
2. 単一パス・インスタンス認識型アーキテクチャ： Pi-HOC は、HO ペアを形成し、InteractionFormer と SAM ベースのデコーダを通じてそれらを精緻化する単一のフォワードパスを形成し、反復的な VLM クエリを不要にする。
3. 最先端の性能と効率性： この手法は、精度と局所化において大幅な改善を達成し、かつ以前の SOTA 手法（InteractVLM）と比較して約 20 倍高速に動作する。
4. ダウンストリーム応用： 本論文は 2 つの応用を示す：
   • SAM-3D 精緻化： 予測された接触を制約として用いて、テスト時の画像からメッシュへの再構成を最適化し、「浮遊する手」などのアーティファクトを修正する。
   • 参照接触予測： 追加の訓練なしに、自然言語クエリで参照された特定の人間 - 物体ペアに対する接触をゼロショットで予測可能にする。

実験結果

Pi-HOC は、2 つのデータセットで評価された：MMHOI（多人数・多物体）および DAMON（単一人数・多物体）。

• MMHOI 性能： Pi-HOC は F1 スコア 61.09 を達成し、最良の InteractVLM 変種（54.86）を 6.23 ポイント（約 11.4% の相対改善）上回った。また、測地距離誤差を 13.3%（0.073 $\to$ 0.0633）削減し、優れた局所化を示した。
• DAMON 性能： 単一人間のシーンにおいて、Pi-HOC は InteractVLM の 59.48 に対して F1 を 63.23 に改善し、測地距離誤差を削減した。
• 推論速度： Pi-HOC は優れたスケーラビリティを示す。11 の人間 - 物体ペアを持つシーンにおいて、Pi-HOC は 2.3 FPS で動作するのに対し、InteractVLM は 0.026 FPS に低下する（88.5 倍の高速化）。Pi-HOC はペア数が増加しても優雅に劣化するのに対し、ペアごとの VLM アプローチは線形的に劣化する。
• アブレーション研究：
  • 初期化： DINOv2 による初期化は、CLIP やランダム初期化を大幅に上回った。これは DINOv2 の強力な空間特徴に起因する。
  • デコーダ： SAM ベースのデコーダは、標準的な MLP デコーダを大幅に上回り、微細な局所化のための強力なマスクデコーディングの重要性を浮き彫りにした。

意義

本論文は、Pi-HOC が複雑で散らかったシーンにおける密な意味接触予測のための実用的でスケーラブルな解決策を提供すると主張している。単一人間の仮定や重たい VLM への依存から脱却することで、リアルタイムのインスタンスレベル推論を可能にする。著者らは、この研究を人間 - シーン理解のための構造的な事前知識として位置づけ、正確な物理的接触モデリングが不可欠な拡張現実、ロボティクス、監視において即座に有用であると位置づけている。追加の訓練なしに参照接触予測を行い、3 次元再構成を改善できる能力は、さらにこのフレームワークの汎用性を強調している。