技術要約：Keep It in Mind: User-Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams

問題定義

本論文は、現代のコンピュータビジョンおよびAI研究における決定的なギャップ、すなわち**ユーザー中心の継続的な空間知能（User-Centric Continual Spatial Intelligence）**の欠如に対処している。人間は、動的な環境において、自身の位置、向き、および物体の相対的な位置を（たとえそれらの物体が視界から外れていても）継続的に追跡しているが、現在のAIシステムはこの能力に苦慮している。

既存のベンチマークや手法は、主に以下の点に焦点を当てている：

1. 静的またはオフラインの設定： 単一の画像や短い録画ビデオクリップ上での空間推論の評価。
2. 三人称視点： 質問がユーザーの第一人称視点ではなく、「神の視点」から構成されている。
3. 瞬間的な知覚： 現在のクエリに対して可視状態にある手がかりに依存しており、ユーザーの動きに伴う世界の現在の状態について回答するために、過去の観察を想起する必要性を考慮できていない。

核心となる課題は、**一人称視点ビデオによる質問応答（Egocentric Video QA）**であり、モデルは、ユーザーのリアルタイムの動き（エゴモーション）に伴って更新される、一貫した進化する空間メモリを維持しなければならない。これには、視点の変化、遮蔽（オクルージョン）、および観察とクエリの間の長い時間的隔たりへの対処が含まれる。

手法

1. UCS-Bench: 新しいベンチマーク

この能力を診断し前進させるために、著者らはユーザー中心の継続的な空間推論のために特別に設計されたデータセットであるUCS-Benchを導入する。

• 規模と範囲： 6つの多様なソース（EgoLife, HourVideo, ScanNet, EPIC-KITCHENSなど）からなる532本のロングビデオ（170時間以上）で構成されている。
• アノテーション： データセットには8,114個のタイムスタンプ付きQAペアが含まれている。決定的なのは、質問は静的ではないということである。同じクエリが異なるタイムスタンプで提示されることが多く、ユーザーの新しい位置に基づいて回答を更新するモデルの能力をテストする。
• タスクの分類学： 質問は以下の4つの次元に分類される：
  1. 位置と向き： ユーザーの移動に伴う相対的な方向（例：「あなたの後ろ」「あなたの左」）の追跡。
  2. 軌跡と動き： ユーザーまたは物体の辿った経路の想起。
  3. 近接性と到達可能性： 現在の視点からの距離と相互作用の実現可能性の評価。
  4. カテゴリと数量： 時間経過に伴う物体の存在と数の追跡。
• 構築： このデータセットは、エビデンスに基づいたアノテーション、手動検証、および自動化されたバイアス診断（NLIモデルとブラインドテストを使用）を含む厳格なパイプラインを通じて構築されており、言語的プライア（事前知識）のみで回答できないことを保証している。

2. DirectMe: トレーニングフリーのフレームワーク

著者らは、既存のマルチモーダル大規模言語モデル（MLLM）を再学習させることなく強化するフレームワークであるDirectMeを提案する。これは、構造化された空間シーングラフをメモリモジュールとして構築・維持することで動作する。

• バックグラウンド処理（オフライン/ストリーミング）：
  • マルチモーダル抽出： 入力されるビデオストリーム（1 fpsでサンプリング）から、DepthAnything3を用いてメトリック深度マップとエゴポーズの軌跡を抽出する。また、オープンボキャブラリ物体検出（Grounding-DINO/YOLO-World）とトラッキング（SAM2）を実行し、永続的な物体マスクとアイデンティティを生成する。
  • グローバル・メトリック・セマンティックマップ： これらの信号はワールド座標系に融合され、グローバルな原点に対する環境と物体位置の一貫した3次元表現を作成する。
  • 進化するシーングラフ： シーングラフ $G=(V, E)$ が逐次的に構築される。ノードは永続的な物体とセマンティックな場所を表し、エッジはワールドフレームで計算された空間関係（距離、方向）をエンコードする。
• オンライン推論（クエリ時）：
  • タイム $t$ において質問が投げられると、システムはメモリから最小かつクエリに応じたサブグラフを検索する。
  • ポーズを考慮した変換： 検索された物体のワールドフレーム座標は、現在のカメラポーズの逆行列（$T_{e \leftarrow w}(t)$）を使用して、現在のエゴセントリックフレームへと変換される。
  • プロンプティング： MLLMは、関連するビデオフレーム、メモリ内のサブグラフの空間的要約（ユーザーの現在の視点でレンダリングされたもの）、および質問を受け取る。これにより、モデルは視覚的なコンテキストウィンドウだけに頼ることなく、構造化されたメモリを活用して「視界の外」にある物体について推論することが可能になる。

主な貢献

1. UCS-Bench: ストリーミングの一人称視点ビデオにおけるユーザー中心の継続的な空間知能を明確にターゲットとした初のベンチマークであり、長期間、動的、かつ視点依存のクエリを特徴とする。
2. DirectMe: メモリ構築と推論を分離した、新しいトレーニングフリーのフレームワーク。ポーズに固定されたシーングラフを導入して堅牢な空間メモリを維持し、時間の経過に伴うユーザーの動きに対する物体位置の追跡を可能にする。
3. 実証的分析： 現在の最先端のMLLM（汎用および空間特化型）がこのタスクにおいて著しく性能が低いことを示す包括的な評価を行い、「視覚的メモリ喪失（Visual Memory Amnesia）」や「時間的状態追跡の失敗（Temporal State Tracking Failure）」といった特定の失敗モードを明らかにしている。

実験結果

著者らは、18の代表的なMLLM（4Bから38Bのパラメータ範囲）をUCS-Benchで評価した。

• 性能ギャップ： 人間のパフォーマンス（91.0%）と現在のモデル（最高SOTAは約50%）の間には、大幅な差が存在する。
• DirectMeの優位性： DirectMeはすべてのベースラインを大幅に上回る。強力なバックボーンであるQwen3-VL-32Bと組み合わせた場合、全体精度**50.5%**を達成し、空間特化型モデルや長期間ストリーミングビデオモデルを凌駕する。
• 時間間隔への堅牢性： DirectMeは、エビデンスとクエリの間の時間間隔が増加した場合（例：3分以上）でも、精度の低下が非常に緩やかである。対照的に、ベースラインモデルは深刻な性能低下を示す。
• エラー分析：
  • ベースラインの失敗： 現在のモデルは、エゴモーション推論（ユーザー自身の経路の追跡）および時間的状態追跡（物体の状態のカウントや追跡）において最も苦戦する。
  • DirectMeの失敗： DirectMeを用いても、主な失敗モードはトラッキングの失敗（40%）とエゴポーズの関係エラー（23%）であり、時間的に一貫したユーザー中心の空間状態を維持することが依然として核心的なボトルネックであることを示している。

意義と主張

本論文は、ユーザー中心の継続的な空間知能が、次世代のAIアシスタント、特にウェアラブルデバイスや支援技術（視覚障害者のためのものなど）に不可欠な基本的能力であると断じている。

• 静的な知覚を超えて： 真の空間知能には、単にフレーム内の物体を認識すること以上のものが必要である。それは、ストリーミングされる観察結果を、動的でユーザーを参照とした世界モデルへと統合する能力を求めている。
• 現在のアーキテクチャの限界： 結果は、単にモデルのサイズやコンテキストウィンドウをスケールアップするだけでは不十分であることを示唆している。このギャップは、エゴモーションを追跡し、構造化された空間メモリを維持するための明示的なメカニても必要であることを浮き彫りにしている。
• 将来の研究への基盤： 厳格なベンチマークとモジュール式フレームワーク（DirectMe）を提供することで、著者らは、堅牢な長期間の空間推論への研究を促進し、現実世界をナビゲートできるAIシステムへの道を開くことを目的としている。

著者らは、DirectMeが新たなSOTAを確立した一方で、この課題はまだ解決には程遠いことを結論付けており、マルチモーダル推論を進展させるための挑戦的な新たな領域を提示している。