技術要約: EMemBench

問題の定義

大規模言語モデル（LLM）および視覚言語モデル（VLM）における長期記憶の現在の評価手法は、その多くが静的なものです。既存のベンチマークは通常、あらかじめ定義された固定の会話履歴やログをモデルに提供し、それらに関する質問を行うことで能力を測定します。このアプローチは、記憶をインタラクティブかつ個別化された能力として扱うことに失敗しています。認知心理学において、エピソード記憶は個人の経験の記録として定義されており、本質的に個別化されたものです。静的なベンチマークは記憶形成のプロセスを抽象化してしまい、エージェントが動的な環境の中で自らの決定や観察の構造化された記録をどのように形成するかを評価できていません。さらに、既存のベンチマークの多くはテキスト中心であり、空間推論能力に欠け、手動によるアノテーションに大きく依存しているため、スケーラビリティが制限されています。

メソドロジー

著者らは、インタラクティブなゲームを通じて長期記憶を評価するために設計された、プログラムによるベンチマーク生成器であるEMemBenchを導入します。固定されたデータセットとは異なり、EMemBenchは各エージェント自身のインタラクション・トラジェトリ（軌跡）から動的に質問を生成します。

コア・フレームワーク

1. インタラクティブな環境: ベンチマークは以下の2つの環境で動作します：
   • Jericho: 人間が作成したインタラクティブ・フィクション・ゲームのスイート（テキストのみ）。
   • Crafter: 視覚的観察（64x64 RGBフレーム + HUD）を伴うオープンワールド・サバイバルゲーム。
2. 3フェーズの評価パイプライン:
   • フェーズ1（インタラクション）: エージェントがエピソードをプレイし、観察、行動、報酬の集合である軌跡 $\tau = \{(o_t, a_t, r_t)\}$ を生成します。システムは、エージェントが観察可能な信号と、基礎となるゲーム状態（例：グローバルマップ、座標）の両方をログに記録します。
   • フェーズ2（生成）: プログラムによる生成器 $G$ が、エピソードのトレースとゲーム状態を、決定論的な正解 ($Y$) を持つバランスの取れた質問 ($Q$) のセットに変換します。生成器は、以下の7つの推論カテゴリをカバーするテンプレート・ライブラリを使用します：
     • シングルホップおよびマルチホップの想起
     • 帰納（パターンの発見）
     • 時間的推論
     • 空間的推論
     • 論理的推論
     • 敵対的（反事実的）質問
   • フェーズ3（評価）: エピソードをプレイしたのと同じエージェントが、生成された質問に答えます。この際、「オープンブック」設定で指定されている場合を除き、インタラクション中に形成された記憶（および現在のコンテキスト）のみを使用します。
3. 主要な設計制御:
   公平性と検証可能性を確保するため、著者らは以下の制御を実装しています：
   • 個別化: 質問は特定のエージェントの軌跡から派生しており、評価が経験に基づいたものになるようにしています。
   • 検証可能な正解: 正解は、基礎となるゲーム信号（正確な座標、インベントリの状態など）からプログラムによって算出されるため、人間による事後編集の必要がありません。
   • クエリ・ホライゾン制御: 長さによる混同（長い軌跡ほど想起が困難になる現象）を防ぐため、証拠の選択と回答の計算を、固定されたインタラクション・ステップのウィンドウ（例：ステップ1〜50）に制限することができます。
   • バランスの取れた網羅性: 生成プロセスは、推論能力全体にわたって質問タイプの分布が均衡するように強制されます。

主な貢献

1. プログラムによるベンチマーク生成器: アーティファクトを、静的なデータセットから、エージェントの軌跡から個別化され検証可能なQAペアを生成する再現可能なパイプラインへと転換しました。
2. マルチモーダルかつマルチドメインな範囲: テキストのみ（Jericho）と視覚的（Crafter）の両方の設定をカバーし、先行研究では欠落しがちな空間推論や帰納推論を明示的に含んでいます。
3. 厳格な評価制御: 特定の記憶能力を分離し、特定の軌跡の長さや事前知識への過学習を防ぐために、クエリ・ホライゾン制御や敵対的ネガティブ生成などのメカニメントを導入しました。
4. ヒューマン・ベースライン: パフォーマンスの上限と下限を確立するための人間による調査を実施し、多くの質問が一般的な事前知識ではなく、軌跡に基づいた記憶を必要としていることを確認しました。

実験結果

著者らは、15のテキストゲームと複数の視覚的シードを用いて、強力な基盤モデル（GPT-5.1, Qwen2.5/3, InternVL）およびメモリ・エージェント（Mem0, LangMem, A-MEM）を評価しました。

• 全体的なパフォーマンス: 結果は飽和していません。最強の設定であっても、テキストゲームで約51.9%、視覚ゲームで約43.8%の精度しか達成できていません。
• 持続的なボトルネック: 帰納（Induction）と空間推論は依然として最も困難な能力であり、特にエージェントが一時的な観察をステップ単位のエピソードに結びつけ、それらを一貫したマップへと集約することに苦労する視覚的設定において顕著です。
• メモリ・エージェント vs インコンテキスト:
  • テキストゲーム: オープンなバックボーン（例：Qwen3-32Bは全体的な精度が44.9%から51.9%に向上）において、持続的なメモリ・モジュール（特にA-MEM）は、インコンテキスト・プロンプティングに対して明確な利点をもたらします。
  • 視覚ゲーム: 改善は一貫していません。一部の推論能力は向上しますが、テキストと比較して改善幅は小さいか、あるいはマイナスとなります。これは、視覚的に裏付けられたエピソード記憶が依然として未解決の課題であることを示唆しています。
• 人間との比較: 「クローズドブック（記憶のみ）」設定における人間のパフォーマンスは、「オープンブック（コンテキストアクセスあり）」設定よりも大幅に低く、特にマルチホップ、帰納、空間的質問において顕著です。この差は、ベンチマークの難易度を検証しており、現在のエージェントが外部の助けなしに人間のエピソード想起に追いつくのが困難であることを示しています。
• 安定性: 結果は異なるランダムシード間で安定しており（標準偏差 < 0.05）、ランキングが特定の環境シードによって駆動されていないことを示しています。

意義と主張

本論文は、EMemBenchが、単なるロングコンテキストのQAを超えて、堅牢なメモリ拡張型エージェントを開発するための信頼できるテストベッドを提供すると主張しています。その意義は以下の通りです：

1. 特定の欠陥の診断: モデルが単純な想起については向上している一方で、真のエピソード記憶に求められる、環境に根ざした複雑な推論（帰納、空間）においては失敗していることを明らかにしています。
2. 視覚的ギャップの強調: 現在のVLMエージェントが、微細で空間的に裏付けられた証拠を維持し取得することにおいて、テキストのみのエージェントよりも大幅に遅れていることを示しています。
3. 方法論的転換: メモリを、固定されたドキュメントに対する受動的な検索タスクとしてではなく、インタラクティブで個別化されたプロセスとしてテストする評価パラダイムを提唱しています。

著者らは、動的な生成によってテストセットのリークは軽減されているものの、パターン暗記による汚染は完全には排除できていないことを謙虚に認めています。また、ゲーム固有の推論テンプレートの検証コストが高いため、現在の環境の範囲は限定的であることも認め、今後のリリースでの拡張を計画しています。