技術サマリー：InterMesh

問題定義

既存のエンドツーエンド多人数ヒューメッシュ復元（HMR）手法、特に DETR フレームワークに基づく手法は、人間クエリ間の自己注意機構を通じて、人間同士の関係を暗黙的にモデル化する傾向がある。これらは効果的であるものの、人間が物体や互いにどのように相互作用するかについての明示的な推論を欠いている。その結果、視覚的な外観の手掛かりだけでは曖昧になる、重度の遮蔽や複雑な人間 - 環境相互作用を伴うシナリオにおいて、しばしば困難に直面する。さらに、現在のパイプラインは、現実のシナリオで広く見られる人間 - 物体相互作用（HOI）が提供する豊かな意味論的コンテキストを見落としていることが多い。本論文は、姿勢や形状の推定を向上させるために、HMR モデルは暗黙的な推論を超えて、人間同士の相互作用および人間 - 物体の相互作用という両方の相互作用情報を明示的に活用すべきであると主張している。

手法

著者は、エンドツーエンドの HMR パイプラインに人間 - 環境相互作用情報を明示的に統合するフレームワーク「InterMesh」を提案する。このアーキテクチャは、標準的な DETR 型のエンコーダ - デコーダ構造（具体的には SAT-HMR の設計に準拠）を基盤としつつ、相互作用の意味論を処理するための新規モジュールを導入している。

中核コンポーネント

1. HOI 検出器の統合:
   InterMesh は、事前学習されたゼロショット人間 - 物体相互作用（HOI）検出器（具体的には EZ-HOI）を活用して、相互作用特徴を抽出する。物体のみに焦点を当てる従来の HOI 検出とは異なり、このフレームワークにおける検出器は、「物体」を無生物だけでなく他の人間も含む広義の概念として扱う。各予測された人間のバウンディングボックスに対して、システムは検出されたすべての他の人間および物体のボックスとペアリングし、高密度な人間 - 環境ペアを形成する。その後、HOI 検出器はこれらのペアに対して「保持している」「遊んでいる」などの相互作用特徴を抽出する。

2. 文脈的相互作用エンコーダ（CIE）:
   特定の人間クエリに対して抽出された生相互作用特徴は、CIE によって処理される。このモジュールは、その個人に関連するすべての相互作用特徴に対してマルチヘッド自己注意（MHSA）を適用する。その目的は、単一の人物を取り巻くさまざまな相互作用間の内部構造と意味論的依存関係をモデル化することである（例：スーツケースとの相互作用が、他の人物との相互作用とどのように関連しているか）。これにより、文脈を認識した相互作用特徴が生成される。

3. 相互作用誘導リファイナ（IGR）:
   洗練された人間クエリ表現は、マルチヘッドクロス注意（MHCA）を採用する IGR によって更新される。この機構において、人間クエリがクエリとして機能し、文脈的に強化された相互作用特徴がキーおよびバリューとして機能する。これにより、モデルは最も情報量の多い相互作用の手掛かりを選択的に注視し、構造化された環境意味論を、次のデコーダ層または回帰ヘッドへ進む前に、直接人間クエリ表現に統合できる。

4. トレーニング戦略:
   モデルは 2 段階の戦略でトレーニングされる。まず、SAT-HMR のチェックポイントで初期化し、大規模データセット（AGORA、BEDLAM、COCO など）の組み合わせでトレーニングする。第 2 段階では、特定のベンチマークデータセット（3DPW、Hi4D、CHI3D）で微調整を行う。損失関数は、姿勢、形状、関節、カメラパラメータなどの標準的な HMR 損失と、相互作用を考慮したコンポーネントを組み合わせ、予測と正解ラベル間の二部マッチングにハンガリー法を採用する。

主要な貢献

本論文は、3 つの主要な貢献を概説している。

• 明示的な相互作用モデリング: InterMesh は、クエリベースのエンドツーエンド HMR パイプラインに人間 - 環境相互作用モデリングを明示的に組み込んだ最初の手法として提示される。事前学習されたゼロショット HOI 検出器を活用し、人間 - 物体および人間同士の両方の意味論を符号化する構造化された相互作用トークンを導入する。
• 新規アーキテクチャモジュール: 著者は、文脈的相互作用エンコーダと相互作用誘導リファイナを導入する。これらの軽量モジュールは、最小限のオーバーヘッドで構造化された相互作用特徴を人間クエリの洗練プロセスに統合するように設計されており、モデルがシーンコンテキストについて推論することを可能にする。
• 最先端のパフォーマンス: この手法は複数のベンチマークで最先端の結果を達成し、周囲のコンテキストの中で人間をモデル化することが、より正確で現実的なメッシュ予測につながることを実証している。

実験結果

著者は InterMesh を 5 つのデータセット（3DPW、MuPoTS、CMU Panoptic、Hi4D、CHI3D）で評価した。

• 3DPW: InterMesh は、以前の最良手法（SAT-HMR）と比較して、PA-MPJPE を 1.8mm（4.3%）、MPJPE を 0.7mm（1.1%）、PVE を 2.7mm（3.7%）削減した。
• MuPoTS: この手法は、PCK（Match）を 0.2%、PCK（All）を 0.9% 改善した。
• CMU Panoptic: 平均 MPJPE が 8.3mm（9.9%）大幅に削減された。特に困難な「ピザ」シーンでは、MPJPE が 11.3mm 削減された。
• Hi4D: InterMesh は既存のインタラクティブ再構築手法を上回り、MPJPE を 4.2mm（8.2%）、PA-MPJPE を 2.6mm（6.8%）、PVE を 5.5mm（8.8%）削減した。
• CHI3D: この手法は、以前の SOTA と比較して MPJPE を 2.4mm 削減した。

アブレーション研究により、人間 - 人間および人間 - 物体の両方の特徴がパフォーマンスに寄与することが確認され、特に人間 - 物体の特徴が大きな改善をもたらしたことが示された。また、これらの特徴をデコーダ層のより早期に統合することが、より良い結果をもたらすことも示された。

意義と主張

本論文は、InterMesh が人間中心のモデリングと環境意味論の間のギャップを埋めると主張している。純粋に外観に基づく推論を超えて移動することで、このフレームワークは、遮蔽、近接、協働動作を伴う困難なシナリオにおいて、HOI 検出からの意味論的手掛かりが強力な補完信号として機能することを示している。

著者は、そのアプローチが文脈を認識した 3 次元人間知覚に対する新たな視点を開くことを強調している。明示的な時間的モデリングの欠如や、2 段階の HOI 検出プロセスに伴う計算オーバーヘッドといった限界を認めつつも、彼らの研究は、より包括的でシーン認識型の人間再構築に向けた将来の取り組みを鼓舞すると論じている。本論文は、すべての HMR 課題を解決するものとは主張していないが、複雑でインタラクティブな環境における精度向上のために、明示的な相互作用モデリングがこれまで見落とされてきた重要な方向性であることを浮き彫りにしている。