技術的概要：MAP-MONO-EGO

問題定義

単眼の自己視点（egocentric）人間姿勢推定は、无处不在の活動監視および AR/VR 応用にとって重要な構成要素である。しかし、既存の手法には 2 つの主要な限界が存在する：

1. 大域的一貫性の欠如：現在の手法は通常、ユーザーの開始位置で初期化された局所座標系内での相対運動を回復するに留まる。それらは、グローバルマップ内における装着者の絶対位置を考慮したり、周囲の環境構造との幾何学的な一貫性を維持したりすることができない。
2. 単眼ドリフトとスケール曖昧性：単眼ビジョンに内在するスケール曖昧性は、モーションブラーと相まって、時間経過に伴う深刻な並進ドリフトを引き起こす。Aria Glass などの専用マルチセンサーハードウェアはこれらの問題を軽減できるが、そのようなハードウェアへの依存は、消費者向け軽量ウェアラブルデバイスのスケーラビリティを制限する。

手法

著者らは、事前スキャンされた 3 次元点雲を幾何学的な事前情報（prior）として活用することで、単眼の自己視点カメラのみから大域的一貫性を持つ人間姿勢推定を実現するMap-Mono-Egoを提案する。このフレームワークは 3 つの明確な段階で動作する：

1. 合成データベースによる位置推定

スキャンされた環境内の初期カメラ姿勢を推定するために、システムは**階層的ローカライゼーション（HLoc）**を採用する。

• 合成データベースの構築：事前スキャンされた 3 次元点雲（$P_{scan}$）から合成データベース（$D$）を生成する。これには、HPS のプロトコルに従い、真値姿勢と 3 次元対応関係を持つ $N$ 個の合成ビューをレンダリングすることが含まれる。
• 視覚的ローカライゼーション：入力ビデオフレームをこのデータベースに対するクエリとして扱い、各フレームの初期カメラ姿勢（$\hat{P}^{loc}_t$）を取得する。

2. インライアに基づくフィルタリングによる軌道 refinement

生姿勢は、モーションブラーやテクスチャのない領域により外れ値を含むことが多い。フレームワークは以下の手順で軌道を精緻化する：

• インライアフィルタリング：上位 40 個のデータベース候補とのマッチングから導出された PnP インライア数および比率に基づき姿勢をフィルタリングする。特定の閾値を超える姿勢のみを信頼できるアンカー（$K$）として保持する。
• SLAM ベースの補間：信頼できるアンカー間の完全な軌道を再構築するために、DROID-SLAMによって推定された連続軌道（局所座標フレーム内）をグローバルアンカーと整合させる。
• ドリフト軽減：相似変換（$S$）が区間の開始を整合させ、残差変換（$E$）が区間の終端を整合させる。時間依存因子がリー代数補間を用いてこの残差を区間全体に分配し、軌道が境界制約を満たしつつ局所的な幾何構造を保持することを保証する。

3. 拡散モデルに基づく人間姿勢推定

精緻化されたグローバルカメラ軌道は、人間運動シーケンス（$X$）を予測するためにTransformer ベースの拡散モデル（UniEgoMotion から適応）を条件付けるために使用される。

• 入力：モデルは正規化された精緻化軌道と DINOv2 画像特徴を入力とする。
• 出力：SMPL-X 運動シーケンス、すなわちルート回転/並進、局所関節角度、および身体形状を予測する。
• 適応：ヘッドマウントデバイスを対象とした先行研究とは異なり、このモデルはネックマウントカメラ軌道を条件として受け入れるように再学習されている。

主要な貢献

1. Map-Mono-Ego フレームワーク：環境幾何学（事前スキャンされた 3 次元点雲）を事前情報として活用し、専用マルチセンサーハードウェアを不要にする単眼の自己視点カメラからの大域的一貫性を持つ人間姿勢推定を行う新規システム。
2. ロバストな軌道追跡アルゴリズム：環境事前情報を組み込むために、HLoc と SLAM（DROID-SLAM）をインライアベースのフィルタリングと融合させたハイブリッドアプローチ。これにより単眼ドリフトを効果的に軽減し、計量スケールを持つ軌道を回復する。
3. AIST-Living データセット：スキャンされた環境における真値運動データと自己視点ビデオを対にした新しいベンチマークデータセット。大域的人間配置と相互作用の評価のために特別に設計されている。

実験結果

この手法は、AIST-Living データセット（152 シーケンス、8 秒間、10 FPS）で評価され、学習ベースのスケール推定のみを用いた単眼ビジョンに依存する最先端のベースライン（EgoEgo）と比較された。

• 定量的性能：Map-Mono-Ego はすべての指標においてベースラインを大幅に上回った。
  • 並進誤差（$T_{neck}$）：577.3 mm（ベースライン）から279.7 mmに減少。
  • MPJPE（平均関節位置誤差）：623.0 mm から347.5 mmに減少。
  • MPJPE-Rigid：351.0 mm から201.3 mmに改善。
  • 意味的類似性（SS）：0.76 から0.82に増加し、より良い知覚的運動品質を示す。
  • 足滑り（FS）：16.0 mm から11.4 mmに減少。
• 定性的分析：視覚的比較により、ベースラインは深刻な並進ドリフトと不自然な相互作用（例えば、掃除機や電子レンジなどの物体に対する浮遊や誤った高さ）に苦しんでいたことが示された。対照的に、Map-Mono-Ego は正確な大域運動と環境との現実的な相互作用を成功裡に再構築した。
• アブレーション研究：軌道精緻化段階（段階 2）を除去すると推定が失敗し、誤差が $10^4$ mm を超えた。これは、安定した大域姿勢推定のためにインライアベースのフィルタリングと SLAM 補間が必要であることを確認した。

意義と主張

本論文は、Map-Mono-Ego が現在の自己視点姿勢推定における重要なギャップ、すなわち軽量な汎用単眼カメラのみを使用することによる大域的空间的一貫性と計量スケールの維持不可能性に対処していると主張する。

事前スキャンされた 3 次元マップを幾何学的な事前情報として活用することで、このフレームワークは、高価で専用のハードウェアを必要とせず、制御された環境（工場、オフィス、家庭など）での実用的な長期的活動監視を可能にする。著者らは、相対運動に依存するかドリフトに悩む最先端のベースラインを大幅に上回る彼らのアプローチが、現実世界の監視タスクに対する地図に基づく推定の有用性を証明していると主張する。この研究は、将来の改善が、人間と物体の相互作用における物理的な妥当性をさらに高めるために、3 次元シーン幾何学を明示的に運動推論プロセスに直接組み込むことを含む可能性を示唆している。