技術概要：3D 群衆メッシュ復元のための対照的多モーダル超グラフ推論

問題定義

多人数 3D 再構成は、バーチャルリアリティ、群衆分析、人間相互作用のアプリケーションにおいて不可欠である。しかし、現実世界の混雑した環境において正確な 3D メッシュを復元することは、深刻な人物間の遮蔽、複雑な空間配置、および本質的な深度の曖昧さにより、依然として極めて困難な課題である。

現在の最先端のアプローチは、主に 2 つの限界に直面している：

1. 単一モーダルへの依存：ほとんどの手法は RGB 画像または 2D 関節点のみに依存している。孤立した個人にとっては十分であるが、これらの入力は明示的な幾何学的ガイダンスを欠いており、高密度な群衆において深度の曖昧さや脆弱性を引き起こす。
2. 孤立した再構成：既存の手法は、しばしば個人を孤立して再構成するか、ペアワイズな相互作用に依存する。これは、個人が重度に遮蔽されている場合に曖昧さを解決するために必要な集団的文脈と高次な被写体間事前知識を無視している。さらに、補助モーダル（LiDAR、レーダーなど）を組み込むアプローチは、しばしば交差モーダル情報を十分に活用できない浅い融合スキームを採用している。

手法：CoMHR

著者は、高次トポロジー構造内で意味的、幾何学的、ポーズの手がかりを相乗させるように設計された**対照的多モーダル超グラフ推論（CoMHR）**を提案する。パイプラインは 3 つの主要な段階で構成される：

1. 多モーダルノード初期化

遮蔽されたシーンにおける単一モーダル手がかりの信頼性の低さを軽減するため、CoMHR は検出された各個人に対して 3 つの補完的モーダルを融合することで、頑健なノード表現を初期化する：

• 視覚的意味エンコーディング：高解像度の画像パッチを ResNet バックボーンで処理し、RGB 特徴量（$F_{rgb}$）を抽出する。
• 幾何学的構造エンコーディング：Depth Anything V2を使用して擬似深度マップを生成する。単一チャネルの深度パッチをエンコードして幾何学的な順序の手がかり（$F_{depth}$）を提供し、RGB 特徴量における深度の欠如に対処する。
• 遮蔽認識ポーズエンコーディング：OpenPose によって 2D 関節点を推定する。可視性マスクで低信頼度の関節点をフィルタリングし、有効な関節点を深度値とともにサンプリングして 3D ベクトルを形成する。これらを軽量な 1D 畳み込みエンコーダで処理し、遮蔽下でも骨格の事前知識を捉えるポーズ埋め込み（$F_{pose}$）を得る。
• 骨盤ガイド型グローバル空間埋め込み：**骨盤深度インジケーター（$T_z$）**を、可視の股関節の平均深度として計算する。これは個人間の前後順序を明示的に強制するためのグローバルな空間アンカーとして機能する。$T_z$は空間認識の欠如を補うために RGB 特徴量と連結される。

これらの特徴量は統一された潜在空間にマッピングされ、連結されて集約されたノード表現（$h_{agg}$）を形成する。

2. 対照的超グラフ構築

事前定義されたトポロジーの代わりに、CoMHR は集約された特徴量に基づいて動的に共有トポロジー超グラフを構築する。

• 動的ハイパーエッジ生成：$h_{agg}$からグローバルな親和性行列を計算し、各ノードに対して$K$近傍を特定することで、高密度なサブグループ（ハイパーエッジ）を形成する。これにより、すべてのモーダル（RGB、深度、ポーズ）に一貫したトポロジーが保証される。
• 超グラフ対照学習：共有トポロジーの品質を確保するため、集約前に特徴空間を正則化するデュアルブランチ対照学習戦略を採用する：
  • モーダル内対照学習：真の 3D ポーズが類似するノードを正のペアとして扱う。損失関数はモーダル内距離を最小化し、各モーダル内でよりtight な意味的クラスタリングと構造的整合性を強制する。
  • 交差モーダル対照学習：同一ノードの異なるモーダル間のコサイン類似度に対して直交性制約を適用する。これは交差モーダル補完性を強制し、特徴量の汚染を防ぎ、異種モーダルが異なる特性を捉えることを保証する。

3. 多モーダル超グラフ推論と回帰

共有ハイパーエッジトポロジーを用いて、フレームワークは 2 段階のメッセージパッシング機構を介して高次推論を実行する：

1. ノードからハイパーエッジへの集約：ハイパーエッジ内の個人から情報を集約してグループレベルの表現を形成し、集団パターン（例：共有運動）を捉える。
2. ハイパーエッジからノードへの更新：グループ特徴量を逆伝播させて個々のノード特徴量を洗練する。これにより、ネットワークは集団ダイナミクスを活用して遮蔽された被写体の欠落した手がかりを推論できる。

最終的に、洗練された多モーダル特徴量はバウンディングボックス埋め込みと連結され、ポーズ（$\theta$）、形状（$\beta$）、カメラパラメータを予測するSMPL 回帰器に入力される。ネットワークは、2D 再投影、SMPL パラメータ、3D 関節座標、および対照正則化項を組み合わせた多目的損失関数を用いてエンドツーエンドで訓練される。

主要な貢献

1. マルチモーダル超グラフフレームワーク：著者は、RGB、深度、ポーズ特徴量を相乗させ、ペアワイズ制約を超えて高次相関を明示的にモデル化し、頑健な再構成を実現する新規フレームワークを提案する。
2. 超グラフ対照学習：モーダル内での識別性を高め、交差モーダルでの補完性を強化するための新しい学習戦略を導入する。これは、モーダル間の直交性を強制し、モーダル内での類似行動をクラスタリングすることで、特徴量の頑健性を保証する。
3. 最先端のパフォーマンス：広範な実験により、本手法が既存の手法と比較して、精度、空間的一貫性、計算効率の面で優れたパフォーマンスを達成することが示された。

実験結果

本手法はPanoptic StudioおよびGigaCrowdベンチマークで評価された。

• Panoptic データセット：CoMHR は平均関節位置誤差（MPJPE）で104.2 mmを達成し、GroupRec（106.6 mm）、BEV（109.5 mm）、ROMP（128.2 mm）などの以前の最先端手法を上回った。特に、挑戦的な「Pizza」シーケンスでは、BEV に対して 7.6 mm、ROMP に対して 20.0 mm 誤差を削減した。
• GigaCrowd データセット：大規模で高密度な群衆シナリオにおいて、CoMHR はすべての指標で GroupRec および他のベースラインを大幅に上回った：
  • OKS（ポーズ一貫性）：GroupRec に対して 7.3% 改善（78.11 vs. 70.80）。
  • PA-PPDS（空間的一貫性）：8.5% 改善（75.74 vs. 67.22）。
  • PCOD（メッシュ整合性）：22.9% 増加（94.35 vs. 71.42）。
  • RP（再構成競合）：0.00 を達成し、再構成競合を完全に排除した（一方、GroupRec は 0.17 だった）。
• 定性的分析：視覚的比較により、CoMHR は正確な相対深度順序を持つ空間的一貫性のあるメッシュを生成し、浮遊する足、漂流する体、誤った深度順序といったベースラインの一般的な失敗モードを回避することが示された。
• アブレーション研究：結果は、各コンポーネントが有意に寄与することを確認した。完全モデル（RGB + 深度 + ポーズ + $T_z$ + 対照学習）は最低の MPJPE（104.18 mm）を達成し、マルチモーダル融合、変換の洗練、対照アライメントの必要性を実証した。

意義と主張

本論文は、CoMHR が、孤立した単一モーダル処理から集団的・多モーダル推論パラダイムへの転換を通じて、多人数 3D 再構成における深度の曖昧さと遮蔽という重要なボトルネックに対処すると主張している。

著者は、自らのアプローチが以下の点で重要であると強調している：

• 補完的モーダルの相乗：基礎モデル（Depth Anything、OpenPose）を幾何学的事前知識として活用し、これらを RGB 意味情報と融合させることで、個々の手がかりが破損していても頑健な制約を創出する。
• 高次ダイナミクスのモデル化：超グラフの使用により、システムはグループレベルの相互作用を捉え、遮蔽された被写体に対して欠落情報を推論できる。これはペアワイズまたはインスタンス中心のアプローチには欠けている能力である。
• 頑健性の確保：対照学習メカニズムは特徴量を明示的に整列・分離し、交差モーダル汚染を防ぎ、ネットワークがグローバルな文脈を効果的に伝播できるようにする。

この研究は、3D 群衆メッシュ復元における新たな最先端を確立し、従来の手法が失敗する極めて高密度で遮蔽された環境においても、正確かつ頑健な解決策を提供する。コードと事前学習済みモデルは再現性を促進するために公開されている。