技術サマリー: RECON – 長文コンテキストにおける構成的推論のためのエージェント・メモリ・ベンチマーク
問題提起
大規模言語モデル（LLM）ベースのエージェントは、長大なコンテキストや複数の相互作用を通じて蓄積された情報を保持、アクセス、および推論する必要がある高リスクなワークフロー（コーディング、臨床、法務、金融）において、ますます導入が進んでいる。現在のメモリ・アーキテクチャ（Mem0、Zep、MemGPTなど）や検索拡張生成（RAG）システムは、主にメモリを事実の現在の値を追跡する「状態機械（state machine）」としてモデル化している。しかし、現実世界のシナリオでは、事実は単に蓄積されるだけでなく、明示的な依存構造を通じて互いに相互作用し、矛盾し、あるいは無効化し合うものである。
既存のベンチマーク（RULER、LongBench、LoCoMoなど）は、エージェントが散在する事実を検索できるか、あるいは事実が変化したことを検知できるかを評価している。しかし、それらはそのような変化の「結果」を評価できていない。すなわち、ある無効化によってどのダウンストリームの結論が影響を受けるのか、どの結論が独立した支持によって生存し続けるのか、そして代替的なタイムラインがどのように展開されるのかを、エージェントが追跡できるかどうかを評価できていないのである。事実の静的なリストではなく、複雑なプロベナンス（由来）グラフに依存する進化する長文コンテキストにおける「構成的推論（compositional reasoning）」を評価することには、決定的なギャップが存在する。
メソドロジー: RECON ベンチマーク
著者らは、長文コンテキスト（50k–100kトークン）における6つのメモリ集中的なタスクを評価するために設計されたベンチマークである RECON（Reasoning over Extended Contexts with Obfuscated Narratives）を導入する。
1. 決定論的な生成パイプライン
グラウンドトゥルース（正解）の信頼性を確保するため、RECONは、LLMを表面的な実現（叙述）のみに限定し、因果構造、プロベナンス、または回答キーに一切の影響を与えない、完全に決定論的な生成パイプラインを採用している。
- ブループリント合成: シード化されたプロダクションエンジンが、型定義されたターミナル（登場人物、証拠）とプロダクションルールを用いてケース・ブループリントを生成し、結論が導かれる前に論理的な前提条件が満たされていることを保証する。
- スケルトン拡張: ブループリントは、タイムスタンプ付きのイベント、因果的依存関係、無効化、ソース間の衝突、および並行する時間軸（例：監視、取引）を含む構造化されたスケルトンへと拡張される。
- プロベナンスDAG: 生成契約からグローバルな有向非巡回グラフ（DAG）が誘導される。ノードはイベントや証拠を表し、エッジは因果、改訂、および無効化の関係をエンコードする。このDAGが、権威あるグラウンドトゥルースとなる。
- タスク合成: 質問はDAGからアルゴリズム的に生成される。例えば、「カスケード伝播（Cascade Propagation）」の質問は、無効化ノードを選択し、到達可能性を計算することで、どの結論が崩壊するかを決定することによって作成される。
- ナラティブ実現: LLMは、構造化されたスケルトンを自然言語のケースファイル（警察の報告書、臨床ログ、財務監査など）へと変換するが、その際、スケルトンの不変の事実に厳格に従うものとする。
2. タスクカテゴリ
RECONは、3つのドメイン（刑事、医療、金融）にわたる24のケースファイルと1,604の質問で構成され、以下の6つのタスクに分類される：
- 連鎖再構成 (Chain Reconstruction): 文書内に散在する5〜15ホップの証拠を特定し、因果的に順序付ける。
- カスケード伝播 (Cascade Propagation): 特定の証拠の無効化後に、どの結論が崩壊し、どの結論が独立した支持によって生存するかを判断する。
- ソース競合解決 (Source Conflict Resolution): 独立した裏付け証拠を用いて、矛盾する説明を裁定する。
- 反事実的推論 (Counterfactual Reasoning): 代替的なタイムライン（例：あるイベントがより早く発生した場合）の下で、ダウンストリームのイベントがどのように変化するかを判断する。
- 時間的制約充足 (Temporal Constraint Satisfaction): 並行するデータストリームを特定の時間枠に対して照合する。
- 時間的事実検索 (Temporal Fact Retrieval): 時間的順序および状態クエリに関するベースラインタスク。
3. 評価セットアップ
本ベンチマークは、3つのシステムファミリーと1つのOracle（オーラクル）による天井（上限値）を評価する：
- Long-Context: 100kトークンのケースファイルをそのまま処理するモデル。
- RAG: 密な検索、ハイブリッド検索、およびリランキングを含むバリアント。
- Memory Agents: Mem0、Mem0-Graph、Supermemory、Hindsightなどのシステム。
- Oracle: ナラティブ・テキストの代わりに、構造化されたグラウンドトゥルースであるDAGを受け取る。これは、検索が完璧であることを前提とした上限値を提供する。
スコアリングには、多肢選択式問題における誤ったコミットや棄権オプションに対するペナルティを含む、厳格な正確性指標が用いられる。また、既知のLLM知識によって回答可能な質問を除去するコンタミネーション・フィルタも適用される。
主な結果
評価の結果、すべての現在のアーキテクチャにおいて重大な限界があることが明らかになった：
- 全体的なパフォーマンス: 非Oracleシステムの中で、精度**25%を超えるものはない。最高の非Oracleシステム（Gemini-2.5-Pro）はわずか22.4%の精度しか達成できず、一方でOracle（完璧な検索が可能）は54.6%**に達している。これは、依存グラフへのアクセスが完璧であっても、推論自体が依然として大きなボトルネックであることを示している。
- タスク別パフォーマンス:
- カスケード伝播: メモリシステムがこのタスクで優れており、Supermemoryは0.708のスコアを達成し、最高のロングコンテキスト・モデルのほぼ2倍のスコアとなった。これは、依存構造が単純な場合、メモリ・アーキテクチャが状態の変化を追跡するのに効果的であることを示唆している。
- 反事実的推論: これが最も困難なタスクである。Oracleですら0.483にしか達しておらず、連鎖的な推論が検索ではなく、主要なボトルネックであることを示している。
- 連鎖再構成およびソース競合: ロングコンテキスト・モデルがこれらのタスクをリードしているが、パフォーマンスは依然として低い。RAGやメモリシステムは、圧縮や検索の過程で事実間のエッジが失われるためか、著しく苦戦している。
- 検索 vs. 推論:
- 検索は必要条件であるが、十分条件ではない。正しい証拠が検索される「フルカバレッジ」のシナリオにおいても、システムは約**80%**の割合で誤った回答をしている。
- OracleとLLMの間のギャップは、マルチホップ推論を必要とするタスク（連鎖再構成、ソース競合）で最大となる。これは、検索された事実を構成（コンポーズ）する能力が主要な失敗モードであることを示唆している。
- トークン効率: 検索ベースのアプローチ（RAG、メモリ）は、ロングコンテキスト・モデルよりも8〜20倍トークン効率が高いが、複雑な推論タスクにおいてはパフォーマンスを犠牲にする傾向がある。
意義と主張
本論文は、RECONがエージェントのメモリをどのように評価すべきかについてのパラダイムシフトを提示していると主張している：
- 状態機械からプロベナンス・グラフへ: 本ベンチマークは、メモリを単なる現在の事実値の「状態機械」としてではなく、無効化が依存関係を通じて伝播する「派生履歴のグラフ」としてモデル化すべきであると論じている。
- 構成的推論がボトルネックである: 結果は、現在のエージェントが単に情報を探すだけでなく、それを**構成（compose）**することに失敗していることを示している。Oracle（完璧な検索）とLLMの間の大きなギャップは、因果チェーンを追跡し、無効化を処理する能力が、現在のアーキテクチャにおける根本的な限界であることを浮き彫りにしている。
- 決定論的なグラウンドトゥルース: 因果構造の生成をLLMによる叙述から切り離すことで、RECONは、LLMのみで生成された合成データセットによく見られるハルシネーション（幻覚）のない、厳格で再現可能なベンチマークを提供している。
著者らは、検索と推論の両方が依然として未解決の課題であると結論づけている。完璧なコンテキストを持っていたとしても、エージェントは、事実が相互作用し矛盾する長大な文書に対して、一貫性のある進化する理解を維持することに苦慮している。このベンチマーク、ジェネレーター、および評価ハーネスの公開は、長文コンテキストに対して堅牢で構成的な推論が可能なエージェントの開発に向けた今後の研究を支援することを目的としている。