技術概要：LAMP - 計量 3D 世界における位置認識型マルチカメラ人物追跡

問題定義

自己中心型（egocentric）のマルチカメラヘッドセットからの 3 次元人間運動の追跡には、既存の単眼または静止カメラ手法を無効にする独自の課題が存在します。著者は、以下の 3 つの主要な障壁を特定しています：

1. 激しいカメラ自己運動（Egomotion）： ヘッドセットは装着者の頭部から生じる高速かつ一定の 6 自由度（6-DoF）運動を経験し、静止または低速移動するカメラを前提とするアルゴリズムを破綻させます。
2. 複雑なマルチビューダイナミクス： 最新のヘッドセットは、部分的なステレオ重なりを持つ複数のカメラを利用します。観測は頻繁にカメラ間で切り替わり、個人は時間経過とともに単一または複数のカメラによって部分的、あるいは完全に遮蔽される可能性があります。単眼入力を前提として設計されることが多い既存の手法は、これらの「カメラハンドオフ」シナリオに対処できず、スケールの曖昧さに苦しみます。
3. データ不足： 特定のマルチカメラヘッドセット構成に対して 3 次元人間運動が注釈付けされたトレーニングデータは希薄であり、収集コストも高価です。合成データはしばしば現実的なカメラ運動を欠いており、ハードウェア構成は世代を超えて頻繁に変更されるため、デバイス固有のデータセットを構築することは非現実的です。

手法

本論文は、観測者の運動をターゲットの運動から分離することで、計量 3D 世界において複数の人物を直接追跡するフレームワークであるLAMP（Localization Aware Multi-camera People Tracking）を提案します。この手法は「リフト・その後・フィット（lift-then-fit）」のパラダイムに従います：

1. 初期のワールド空間レイリフティング

生ピクセルや 2D キーポイントを直接処理する代わりに、LAMP は最新のヘッドセットに搭載された最先端の VIO または SLAM システムを通じて利用可能な既知の 6-DoF カメラポーズと較正を活用し、早期の変換を実行します：

• 2D 検出： 2D 境界ボックスとキーポイントは、カメラごと、人物ごとに独立して検出されます。
• レイリフティング： これらの 2D キーポイントは、既知のカメラ内パラメータと外パラメータを用いて 3D レイに逆投影されます。
• ワールドアライメント： レイは、重力整合された統一されたワールド座標系に変換されます。このステップはヘッドセットの自己運動を除去し、その後のネットワークが人間運動の事前知識（priors）の学習に専念できるようにします。
• 時空間関連付け： 2D 検出は、投影された 3D 点に基づく二部マッチングアルゴリズム（ハンガリアンアルゴリズム）を用いて、時間的およびカメラ間で関連付けられ、カメラの切り替えを越えても一貫したトラックレットを作成します。

2. LAMP-Net（時空間トランスフォーマー）

システムの核心は、エンドツーエンドで訓練された時空間トランスフォーマーであるLAMP-Netです。

• 入力： 時間ウィンドウ（例：4 秒）にわたって観測されたキーポイントを表す 3D レイクラウド（プルッカーレイ）のシーケンス。
• アーキテクチャ： ネットワークはトランスフォーマーエンコーダー・デコーダー構造を使用します。エンコーダーは空間的（関節）および時間的（フレーム）次元全体で自己注意を実行します。デコーダーは、各エンコーダーブロックにおいてクロス注意を利用し、運動および幾何学的情報を反復的に集約します。
• 出力： ネットワークは、各タイムスタンプに対してパラメータ化された 3D 人体運動（SMPL パラメータ：ポーズ、形状、グローバル回転、および並進）を回帰します。
• 訓練戦略： LAMP-Net はシミュレーションデータで訓練されます。2D キーポイントを 3D レイにリフティングすることで、モデルは仮想カメラ配置に投影された任意の既存の 3D 運動データセット（例：Nymeria、AMASS）を用いて訓練できます。これにより、モデルはターゲットデバイス用の生ビデオデータを必要とせず、未見のヘッドセット構成（例：Gen1 データで訓練し、Gen2 ハードウェアでテスト）に汎化できます。

3. 推論と平滑化

システムはスライドウィンドウ推論戦略を採用します。安定性を向上させ、ジッターを低減するため、特定のタイムスタンプに対する予測は、スライドプロセスの重なり合うウィンドウ全体で平均化されます。これにより、遅延と精度の間の調整可能なトレードオフが提供されます。

主な貢献

1. ワールド空間レイリフティングパラダイム： 著者は、時空間推論を行う前にワールド座標系において 2D 観測を 3D レイにリフティングする新しい定式化を導入します。これはカメラ運動を人間運動から明示的に分離し、動的な自己中心環境における堅牢な追跡を可能にします。
2. シミュレーション対応訓練： 生ピクセルではなく 3D レイ上で動作することで、任意のマルチカメラ構成に対するトレーニングデータのシミュレーションが可能になります。これによりデータ不足の問題が解決され、新しいヘッドセット配置に対するゼロショット汎化が可能になります。
3. 計量 3D におけるマルチカメラ追跡： LAMP は、マルチカメラヘッドセットを使用して計量 3D 世界で複数の人物を永続的に追跡する最初の手法であり、カメラハンドオフや部分的な遮蔽を効果的に処理します。
4. 最先端のパフォーマンス： 既存のベースラインと比較して、ワールド空間の局所化（ルート軌道誤差、ジッター）において優れた結果を達成し、ローカルポーズ精度においては単眼ベースラインと同等かそれ以上の性能を発揮します。

結果

著者は、EMDBおよびNymeriaデータセット、ならびにProject Aria Gen2ヘッドセットからの実世界データを用いて LAMP を評価しました。

• 定量的パフォーマンス：
  • EMDB（低速移動カメラ）において、LAMP はルート軌道誤差（RTE）およびジッターにおいてベースライン（WHAM、GVHMR、PromptHMR）を大幅に上回り、優れたワールド空間の安定性を示しました。この特定のデータセットではローカルポーズ指標（MPJPE）においてわずかに劣りますが、著者はこれをマルチビュー集約のために画像をレイに縮退させる設計選択に起因すると説明しています。
  • Nymeria（動的自己中心運動）において、LAMP は単眼およびマルチカメラ構成の両方で、すべての指標において PromptHMR を上回りました。マルチカメラ設定（LAMP-mv）は最良の結果を生み出し、単眼バリアントの 203.4mm に対して、W-MPJPE（アライメントなしのワールド-MPJPE）は 113.3mm でした。
• カバレッジ： カメラ数の増加は追跡カバレッジを大幅に向上させます。社会的相互作用のシナリオでは、カバレッジは 1 カメラで 47% から 4 カメラで 81% に上昇します。
• 汎化： 模擬的 Gen1 データで訓練されたモデルは、異なるカメラ構成を持つAria Gen2ハードウェア上で人物を正常に追跡し、レイベースのシミュレーションアプローチの有効性を検証しました。
• リアルタイムパフォーマンス： システムは単一の RTX 4090 GPU 上でリアルタイムに動作し、低遅延で複数の人物を追跡できます。

意義と主張

本論文は、LAMP が動的な自己中心環境における人物追跡という長年の課題に対する、シンプルかつ柔軟な解決策を提供すると主張しています。既知の 6-DoF ポーズを入力として受け入れ、早期にそれらを除去することで、この手法はカメラと人間の運動を同時に推定する複雑さを回避します。

著者は、彼らのアプローチが以下の点を実現すると強調しています：

• スケール曖昧性の解決： 計量ワールド座標系で動作することで、単眼 3D 追跡に固有のスケール問題を解決します。
• クロスデバイス利用の実現： 任意のリグ配置に対するトレーニングデータをシミュレートできる能力により、システムは膨大な新しいデータセットを収集することなく、新しいヘッドセット世代に適応できます。
• 社会的理解の促進： 複数の人物に対する永続的かつ計量 3D 追跡を提供することで、LAMP は拡張現実アシスタントのための高レベルの社会的理解を可能にし、これは将来の文脈認識 AI システムにとって重要な要素です。

この研究は、現代の自己中心型デバイスの能力に特化した、野外的な堅牢でリアルタイムの複数人物追跡に向けた基礎的なステップとして提示されています。