技術要約：3D認識型LLM（Ego3DLM）による一人称視点（エゴセントリック）の動作予測

問題提起

一人称視点からの人間の動きを予測することは、AR/VR、人間とロボットの協調、およびエンボディドAIにおけるプロアクティブな支援において極めて重要である。しかし、この視点からの予測は本質的に「不良設定問題（ill-posed problem）」である。カメラは身体の一部しか捉えることができず、ウェアラブルデバイスからの疎な手がかりに依存しており、同じ部分的な観測からでも多くの妥当な未来の動きが想定されるためである。この曖昧さを解消するには、単なる運動学的な状態だけでなく、物理的な制約、自由空間、およびオブジェクトのアフォーダンスに支配された、基礎となる意図やアクションのセマンティクス（意味論）に基づいた予測を行う必要がある。

既存のアプローチは、動作と言語を別々の推論ストリームとして扱うか、三人称視点や標準的なモーションキャプチャに依存することが多い。言語をセマンティックな事前知識として組み込んでいる最近の研究もあるが、それらの多くは明示的な3D空間コンテキストを軽視しているか、あるいは包括的なクロスモーダル予測を行うことに失敗している。さらに、3Dシーンの特徴をモデルに直接注入する手法であっても、ポーズと言語の予測を独立したタスクとして扱っており、両者に内在するセマンティックな結合を活用できていない。

手法：Ego3DLM

著者らは、2つの核心的な原則に基づく統一フレームワークであるEgo3DLMを提案している。(1) 正確な動作予測には、3D環境の明示的な空間的・意味的理解が必要であること、(2) ポーズと言語は、クロスモーダルおよび時間的な一貫性を強制するために、単一のパスで包括的に予測されなければならない、という原則である。

入力と出力

本モデルは以下の3つの入力を受け取る：

1. 3点トラッキング： 頭部と手のポーズ（6自由度の回転と並進）。
2. 一人称視点ビデオ： 2Dビデオ埋め込み。
3. 3Dシーン特徴量： 明示的な3Dシーン表現（セマンティック特徴を持つポイントクラウド）。

単一の自己回帰パスにおいて、Ego3DLMは以下の4つの出力を同時にデコードする：

• 過去のポーズ・トークン ($x_{past}$)
• 未来のポーズ・トークン ($x_{fut}$)
• 過去の動作ナレーション ($y_{past}$)
• 未来の動作記述 ($y_{fut}$)

アーキテクチャと学習スキーム

フレームワークは、3段階の学習パイプラインを採用している：

ステージ I：空間・意味的シーン認識の事前学習
動作推論を導入する前に、言語モデル（LM）を3D環境に接地（グラウンディング）させる。著者らは、3Dシーンと一人称視点ビデオから、空間および意味に関する質問応答（QA）ペアのデータセットを構築した。

• 空間的認識： モデルは、エゴ・エージェントに対する方向的なクリアランス（低・中・高）、障害物の状態、および進行可能な方向（前・左・右）を予測することを学習する。
• 意味的認識： モデルは、オブジェクトの識別、属性、場所の関係、およびカウントを学習する。
  このステージにより、障害物への意識とオブジェクトレベルの意味論が植え付けられ、下流の行動推論のための事前知識が形成される。

ステージ II：マルチモーダル・マルチタスク・インストラクション・チューニング
シーン認識能力を持つLMに対し、4つの出力（過去/未来のポーズおよびテキスト）を単一のシーケンスとして生成するようにインストラクション・チューニングを行う。重要な設計上の選択として、動作や言語の出力を行う前に、明示的な空間シーン推論ステップを前置している。これにより、モデルは予測を確定させる前に空間的制約（障害物、自由空間）を分析することを強制される。これは、空間推論が動作に影響を与え、その動作がさらに意味的記述に影響を与えるという、思考の連鎖（Chain-of-Thought）構造を生み出す。

ステージ III：マルチモーダル報酬GRPOファインチューニング
クロスモーダルな一貫性を強制する上での尤度ベースの学習の限界に対処するため、著者らは**グループ相対方策最適化（GRPO）**を適用している。この強化学習ステージでは、複合的な報酬関数を用いてモデルを最適化する：

• 単一モーダル内報酬： $R_{motion}$（関節位置誤差）および $R_{text}$（BLEU）を用い、各モダリティ内での正確性を確保する。
• 相互モーダル報酬 ($R_{matching}$)： 予測された動作と予測された記述（およびそれらの正解）の間の埋め込み距離を測定する新しい信号。これにより、動作の物理的な実現と、そのセマンティックな記述との間の忠実度を直接最適化する。これは、教師あり学習のみでは得られない信号である。

特徴抽出

3Dシーン特徴抽出パイプラインは、カメラポーズとベストビュー選択ポリシーを用いて、一人称視点ビデオの密な2Dセマンティック特徴を3Dポイントクラウドへと持ち上げる（リフトアップする）。これらの特徴はボクセル化され、エゴセントリックな位置エンコーディングと共にエンコードされ、Q-Formerを介してクエリ埋め込みへと圧縮される。その後、これらはビデオ埋め込みと融合され、LMを条件付ける。

主な貢献

1. 3Dシーン認識型の一人称視点動作予測： 3点の手がかり、一人称視点ビデオ、および明示的な3Dシーン特徴を活用し、過去と未来の両方の言語と3Dポーズを共同で予測する統一フレームワーク。
2. 同時4出力デコーディング： 単一パスの生成メカニズムにより、時間的一貫性とクロスモーダルな一貫性を強制し、予測された動作とそれに対応する言語記述の間の忠実度を大幅に向上させる。
3. マルチステージ学習： 3D空間・意味的理解から包括的なトラッキング/予測へと段階的に進み、最終的にポーズと言語の一貫性を明示的に最適化するGRPOベースの強化学習へと至る漸進的な学習スキーム。

実験結果

実験は、同期された一人称視点ビデオ、言語記述、および再構成された3Dシーンを提供するNymeriaベンチマークを用いて行われた。

• パフォーマンス： Ego3DLMは、未来の動作予測、過去の動作トラッキング、およびそれらに対応する言語記述のすべての指標において、最先端（SOTA）の性能を達成した。
• 動作の正確性： 最強のベースラインであるUniEgoMotionと比較して、Ego3DLMはAPEを2.4%、JPEを14.1%、FDE2sを13.3%削減した。
• トラッキングの正確性： トラッキングにおける改善はさらに顕著であり、ベースラインに対してAPEを36.7%削減した。
• 言語とアライメント： 未来の動作記述のBLEU-4をEgoLMより60.0%、過去のナレーションのBLEU-4を70.4%向上させた。決定的なことに、動作と記述の埋め込み距離（$x-y$ Align.）は56.8%改善しており、同時に予測された動作と記述が共有のセマンティック空間において密接に整合していることを示している。
• 定性的分析： 可視化の結果、3Dシーンのグラウンディングがないモデルは、壁や家具に衝突する動きを予測することが多い。一方、Ego3DLMは3Dレイアウトに基づいて推論することで、空間的な境界やアフォーダンスを尊重した、物理的に妥当な軌跡を生成する。

意義と主張

本論文は、3Dシーンのグラウンディングと包括的なクロスモーダル予測が、物理的に妥当でセマンティックに一貫した動作予測をもたらすことを示していると主張している。

著者らは、ポーズと言語を別々のストリームとして扱うことは、セマンティックな推論を直接的な帰納バイアスとして活用する機会を逃していると論じている。空間推論が動作予測に先行する単一パス生成を強制し、強化学習を用いて動作とテキストの間の整合性を直接最適化することで、モデルは正確であるだけでなく、解釈可能で、かつ物理環境に根ざした出力を生成する。

この研究は、より予測的で、解釈可能で、インタラクティブなエンボディドAIシステムへの一歩となる。著者らは制限事項として、現在の手法は事前に計算された3Dシーン特徴が利用可能であることを前提としていると述べている。今後の課題として、新たに観察されたシーンの3D知識をオンザフライで逐次的に登録できる言語モデルの開発に焦点を当てることを示唆している。