技術的サマリー：EGOMEMREASON

問題定義

スマートグラスや具現化エージェントを含む次世代の視覚アシスタントは、数日間にわたる連続的な視覚ストリーム全体にわたって推論を行う必要があります。超長尺動画において、関連情報は数時間から数日にわたって疎に分布しており、根本的なメモリ課題を生み出しています：モデルは時間を通じて情報を蓄積し、以前の状態を想起し、時間的順序を追跡し、反復するパターンを抽象化する必要があります。

既存の週単位の動画ベンチマーク（例：EgoLife、MM-Lifelong）は、主にモーメントの局所化やグローバル要約などの知覚・認識タスクをターゲットとしています。これらのベンチマークは通常、10 分未満の短い時間窓内での推論を要求するか、単一のモーメントの検索に依存しています。これらは、複数の日にわたって分散した証拠を統合して質問に答える必要がある「メモリ駆動型推論」の特定の要求に対処できていません。現在のモデルは、情報を選択的に蓄積すること、長期的な時間的整合性を維持すること、そして疎な反復観察を区別することに苦慮しています。

手法

ベンチマーク設計：EGOMEMREASON

著者は、週単位の自己視点（エゴセントリック）動画理解のための包括的なベンチマーク「EGOMEMREASON」を導入します。このベンチマークは、長期的なメモリを 3 つの相補的なタイプに分解し、それぞれが異なる推論操作をターゲットとしています：

1. エンティティメモリ：オブジェクトの状態が日を超えてどのように進化し変化するかを追跡することに焦点を当てます。
   • 累積状態追跡：数時間または数日隔てた観察間で、オブジェクトの位置や状態がどのように変化したかを特定すること（例：ボウルがカウンターからシンク、そしてテーブルへと移動する）。
   • 時間的カウント：特定のクエリタイムスタンプまで観察されたカテゴリの異なるインスタンスを数えること。これには、エンティティインスタンスのグローバルなインベントリが必要です。
2. イベントメモリ：数時間または数日隔てた活動を想起し、順序立てることに焦点を当てます。
   • イベント順序付け：異なる日に由来するイベントを正しい時間的順序に並べること。
   • イベントリンク：以前の入力から、文脈的制約（場所、活動タイプ）に一致する特定のイベントを特定すること。これには、長い間隔にわたる推論が必要です。
3. 行動メモリ：1 週間全体にわたる疎な反復観察から反復パターンを抽象化することに焦点を当てます。
   • 空間的選好性の推論：人が通常どこで活動を行うかなど、習慣的な関連性を推論すること。
   • 活動パターンの推論：学習された行動パターンに基づいて、次の状態を予測すること（例：昼食後に何が起こるか）。

構築パイプライン

このベンチマークは、週単位の連続的な自己視点記録であるEgoLifeデータセットに基づき、4 段階のパイプラインで構築されます：

1. 証拠準備：生動画を 30 秒のクリップにセグメント化し、強力な MLLM（GPT-5）で処理して、高密度なオブジェクト中心のキャプションと階層的なイベント要約（3 分、2 時間、日単位の粒度にまたがる）を生成します。
2. クエリ生成：タスク固有のジェネレーター（GPT-5.2 を使用）が、特定のクエリタイムスタンプに制約された多肢選択問題を作成し、過去の観察のみがアクセス可能であることを保証します。ダミー選択肢は、非自明な難易度を確保するために類似の文脈から生成されます。
3. 自動フィルタリング：候補は「ブラインドテスト」（視覚入力なしで回答）を経て、テキスト漏洩ケースを除去し、時間的グラウンディング（証拠がクエリ時間以前に存在すること）を検証します。
4. 人間による検証：アノテーターがクエリ時の文脈と証拠クリップに対して質問をレビューし、明瞭さ、回答の正しさ、選択肢の品質を評価します。この厳格なプロセスを生き残るのは、初期候補の約 15% だけです。

最終データセットは、3 つのメモリタイプと 6 つの中核的課題にわたる500 の質問で構成されています。平均して、各質問は5.1 の異なる動画セグメントを集約し、25.9 時間の動画期間を遡って処理する必要があります。

評価設定

著者は、3 つのパラダイムにわたる17 のシステムを評価しました：

• 汎用 MLLM：（例：Qwen-3-VL、InternVL3.5、GPT-5、Gemini-3-Flash/Pro）。
• 動画特化 MLLM：（例：LongVA、InternVideo-2.5、VideoLLaMA3、Molmo2）。
• エージェント型動画フレームワーク：（例：SiLVR、Ego-R1、WorldMM、AVP）。

評価指標には、6 つの能力次元における精度と全体の性能が含まれます。

主要な結果

全体的な性能

長期的なメモリ推論は依然として重要な未解決の課題です。最も性能の優れたモデルであるGemini-3-Flashでさえ、全体の精度は**39.6%**にとどまりました。どのモデルも、単一の能力次元において 51% の精度に達しませんでした。

メモリタイプ固有のボトルネック

分析により、3 つのメモリタイプは根本的に異なる理由で失敗しており、モデルサイズの拡大だけでは不十分であることが示されました：

• エンティティメモリ：微細な視覚グラウンディングと長文脈モデリングの組み合わせによってボトルネック化しています。テキスト中心の推論に大きく依存するモデル（例：LongVA）は性能が低く（時間的カウントで 25% 未満）、ピクセルレベルのグラウンディング前学習を備えたモデル（例：Molmo2-8B）は優れた性能を示しました。
• イベントメモリ：長距離の時間的整合性によってボトルネック化しています。上位モデルでさえ、数日隔てたイベントを順序立てたりリンクしたりすることに苦慮し、時間的スパンが増加するにつれて精度が急激に低下しました。これは、以前のベンチマークにおける単一イベント検索の高性能とは対照的です。
• 行動メモリ：疎な反復証拠にわたる抽象化によってボトルネック化しています。モデルは、反復パターンをノイズから区別することに苦慮し、観察された頻度を集約するのではなく、しばしばステレオタイプに依存する傾向がありました。

アブレーション研究

• 時間的認証：証拠のスパン（時間的認証）が増加するにつれて、精度は単調に低下します。イベントメモリで最も急激な低下が見られました。
• 補助入力：文字起こしやキャプションを追加しても、わずかな利益か、あるいは負の利益しか得られませんでした。キャプションはしばしば時間的連続性を断ち切り、文字起こしは行動メモリに対してわずかな利益しか提供しませんでした。
• フレームサンプリング：サンプリングされたフレーム数を増やすと、エンティティメモリは飽和点（約 256 フレーム）まで改善されましたが、イベントメモリや行動メモリのボトルネックは解消されませんでした。これは、問題が視覚的カバレッジではなく、メモリ保存と検索メカニズムにあることを示唆しています。
• プロンプト戦略：Chain-of-Thought（CoT）プロンプトは性能を低下させ、メモリ集約型タスクでは明示的なステップバイステップの推論がエラーを増幅することを示唆しました。

意義と主張

本論文は、EGOMEMREASONが、長文脈かつメモリを認識するマルチモーダルシステムの評価と進展のための強力な基盤を確立すると主張しています。その主な貢献は以下の通りです：

1. ベンチマーク範囲の再定義：いくつかの関連モーメントを特定する検索中心の評価から、数日にわたって分散した証拠にわたる集約、関係、帰納的推論を要求するものへと移行します。
2. 構造化されたメモリ診断：メモリをエンティティ、イベント、行動のタイプに分解することで、異なる失敗モードを明らかにする診断フレームワークを提供し、将来の研究を特定の能力（例：エンティティのための知覚精度、イベントのための構造化された時間モデリング）へと導きます。
3. ギャップの強調：結果は、現在の最先端の MLLM やエージェント型フレームワークが長期的なメモリ推論の解決からほど遠く、時間的範囲が延長するにつれて性能が著しく低下することを示しています。

著者は、単にモデルパラメータや入力長をスケーリングするのではなく、長文脈保持を伴う知覚精度、構造化された時間モデリング、および集約に基づく推論という 3 つの直交軸における進歩が必要であると結論付けています。