🤖 AI

ECHO: A Cognitively Inspired, Auditable Memory Plane for Long-Horizon Agents

ECHOは、現在の評価の独立性に限界はあるものの、ベンチマークデータセットにおいて高い検索性能を実現しつつ、検証可能なプロベナンス（由来）と透明性のある開発指標を強調した、長期的な展望を持つエージェントのための認知科学に着想を得た監査可能なメモリ・アーキテクチャである。

原著者： Yu Qian, Hong Miao, Boyang Guo, Tingyi Jiang, Shan Zhao, Tianxing Le, Lintian Li, Meng Liu

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yu Qian, Hong Miao, Boyang Guo, Tingyi Jiang, Shan Zhao, Tianxing Le, Lintian Li, Meng Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あらゆる情報を記憶できるデジタルアシスタントを想像してみてください。真に有用なアシスタントであるためには、単に事実を百科事典のように静的に保存するだけでは不十分です。それは事実の背後にある「物語」を理解しなければなりません。例えば、あなたが住所を伝えた後に、別の場所に引っ越したと伝えた場合、システムは新しい住所を知るだけでなく、古い住所がいつ、どのように置き換えられたのかを知る必要があります。また、その訂正が行われた元の会話も保持していなければなりません。なぜなら、もしあなたが過去について尋ねたとき、現在の答えだけを出すのではなく、変化の証拠を示す必要があるからです。このように、特定の瞬間にどの情報が有効であるかを正確に把握しながら、安全で検証可能な経験の履歴を維持できる能力こそが、次世代のインテリジェントエージェントにおける中心的な課題です。

XDream Roboticsの研究者たちは、この問題に取り組むために「ECHO」と呼ばれる新しいシステムを構築しました。彼らは生物学的な脳を模倣しようとするのではなく、人間がどのように出来事を記録し、その出来事をどのように知識として整理し、そして何が今現在真実であるかをどのように判断するかという、人間の記憶の仕組みを大まかな概念として取り入れることで設計しました。チームは、あらゆる情報を永続的な記録として扱うデジタルな「メモリー・プレーン（記憶平面）」を作成しました。古いデータで新しいデータを上書きする代わりに、システムは古い記録を保持し、その変更を説明する新しい注釈を追加します。これにより、すべての事実に明確な履歴を持つタイムラインが作成されます。また、システムは情報の断片を見つけ出す行為と、それが正しいかどうかを判断する行為を分離しています。システムは記憶から多くの可能性のある答えを集めますが、厳格なルールブックに基づき、それがいつ発生したものか、あるいは後の更新によって上書きされていないかに基づいて、どれが実際に有効であるかを決定します。

このアプローチが機能するかどうかをテストするため、研究者たちは数千の質問を含む一連の厳格な試験をシステムに実施しました。さまざまなトピックに関する1,536の質問を含む最初のテストセットにおいて、システムは関連する会話の部分を96.29%の確率で正しく見つけ出しました。500もの異なる会話セッションにわたる長い履歴の中から特定の詳細を見つけ出す必要がある質問においても、97.60%の確率で正しい情報を見つけました。これらの数値は、システムが質問に答えるために必要な生の証拠を見つけ出す能力が非常に高いことを示唆しています。しかし、研究者たちは単に本の正しいページを見つけることよりも深いレベルでの検証を行いました。彼らは、システムが「すべての」必要な証拠を見つけ出せているかどうかを確認しました。一つの長い会話に関する特定のテストでは、システムは毎回正しい答えを見つけ出しましたが、その答えを十分に説明するために必要な裏付けとなる詳細の多くを見落としていました。これは、システムが「見出しとなる事実」は見つけられるものの、その背後にある「物語の全容」を集めることには時として失敗するという、ギャップを明らかにしました。

チームはその後、システムの汎用性を確認するために、一度も見せたことのない全く新しい5つの会話を用いてシステムをテストしました。このテストはより困難なものでした。システムが正しい答えを出せたのは約79%のケースのみであり、裏付けとなる詳細の大部分を見落としていました。この結果は、システムの情報の検索能力が完璧ではなく、読み取っている会話の種類に大きく依存していることを示す明確なシグナルとなりました。人気のある別のメモリシステムである「Mem0」との直接比較において、研究者は91の特定の質問を両システムに投げかけました。Mem0が64.84%の確率で正解したのに対し、ECHOの正解率は41.76%でした。この差は統計的に有意であり、ECHOは生の証拠を整理し検索することには優れているものの、その証拠を正しい最終回答へと変換する能力においては、現時点では他のシステムよりも効果が低いことを示しています。

この研究における最も重要な発見は、システムが完璧であることではなく、それが「透明である」ことです。研究者たちは、ECHOの思考のあらゆるステップが監査可能であるように設計しました。もしシステムが間違いを犯したり、回答するための情報が不足していると判断したりした場合、システムは「なぜそうなったのか」を正確に示すことができます。システムは、参照した特定の会話のターン、どの情報が最新であるかを判断するために使用したルール、そして収集した証拠を具体的に指し示すことができます。AIの世界では、システムがプロセスを見せずに答えだけを出す「ブラックボックス」として機能することが多い中で、このような明快さは稀有なものです。この研究は、詳細で変更不可能な過去の記録を保持し、情報の検索と真実の判断を明確に分離するメモリシステムを構築することが可能であることを証明しました。システムは最終的な回答を出す精度において他のツールに追いつくための改善が必要ですが、この研究の価値は、単にテストのスコアを追い求めることではなく、記憶のプロセスを可視化し、検証可能にすることにあると研究者たちは結論付けています。

技術要約: ECHO – 長期的なエージェントのための、認知科学に着想を得た監査可能なメモリ・プレーン

1. 問題の定式化

長期的なホライゾンを持つエージェントには、単なるベクトル・インデックスを超えたメモリ・システムが必要である。堅牢なメモリ・プレーンは、単に過去の経験を検索するだけでなく、時間的な修正を解決し、情報のプロベナンス（由来）を保持し、保存された過去と有効な現在の状態を区別できなければならない。既存のベンチマーク（例：LoCoMo、LongMemEval、BEAM）は、検索の成功と回答の正確性を混同していることが多く、候補の発見、時間的解決、エビデンスのパッキング、あるいは回答の実現における失敗を隠蔽してしまう。さらに、標準的な指標であるHit@kは、決定に必要な「完全な」注釈付きエビデンスが回収されたかどうかを明らかにできない。

対処すべき核心的な課題は、以下の要素を明示的に分離する監査可能なメモリ・インフラストラクチャの欠如である：

耐久性のある経験のキャプチャ（不変のイベント）。
状態の進化（構造化された修正）。
コンテキスト依存の発見（検索）。
制御された実現（回答生成）。

2. メソドロジー：ECHO アーキテクチャ

ECHO（Embodied Context & History Orchestration）は、機能的な認知原理（エピソード的符号化、定着、再定着、文脈的想起、および実行制御）に着想を得たメモリ・アーキテクチャであるが、神経学的等価性ではなく、明示的なエンジニアリング上のコミットメントとして実装されている。

A. コア・コンポーネント

不変のイベント・ストリーム: システムは、ソースの同一性、順序、およびタイムスタンプを保持する、追加専用のイベント（ $E$ ）のストリームを取り込む。
バイテンポラル・レジャー（二時制台帳）: 中央権威コンポーネントが、2つの時間軸を用いて状態記録（ $s$ $s$ ）を管理する：
- 有効時間 ( $\tau_v$ ): 命題がモデル化された世界において真である時間。
- トランザクション時間 ( $\tau_t$ ): システムが情報を記録した時間。
- 台帳は、履歴のトレースを上書きすることなく修正（上書きまたは取り消し）をサポートし、「最新性」が意味的な類似性ではなく、時間論理によって決定されることを保証する。
投影と再定着: 生のイベントは、型定義された命題へと投影される。修正は上書きではなく追記（再定着）され、完全な監査トレイルを維持する。
候補の発見: ハイブリッドな検索パイプラインは、レキシカル・マッチング（BM25）、セマンティック検索、および型定義された状態ルーティングを組み合わせる。決定的なのは、セマンティックな類似性は候補を提案するのみであり、事実としての権威を決定するものではないということである。
プロベナンス・クロージャ（由来の完結）: 「パッカー」は、結果を検証するために必要な原子的なエビデンス集合（例：時間算術のための両端点）を構築する。これは、トークン予算の範囲内で、結論がその支持する依存関係なしに提示されないことを保証する。
実行ゲート: 内部的な導出と可視化される回答の間に、厳格な境界を設ける。システムは、エビデンスが欠落しているか、あるいは衝突が未解決である場合、類似性に基づいて推測するのではなく、棄権（INSUFFICIENT_EVIDENCE を返す）する。

B. 評価プロトコル

本研究では、段階的に分離された厳格な評価プロトコルを採用している：

凍結された記述的実行: LoCoMo および LongMemEval における検索メトリクス。
開発パイロット: BEAM ワン・ヒストリー・パイロット。
事前登録されたゲート: 5-ヒストリー BEAM 一般化テスト。
一致した QA 比較: 同一の回答者および判定者を用い、固定された 91 問のサンプルにおける Mem0 OSS とのサイド・バイ・サイド比較。
リーケージ監査: 公開用アダプターはゴールド回答と参照フィールドを削除しているが、事後監査により、クエリ拡張ルールに開発中に可視化されていたソース固有のフレーズが含まれていたことが判明した。これにより、それらの検索スコアは独立した確認ではなく、開発用の診断的数値として分類された。

3. 主な貢献

認知原理の体系的な翻訳: エピソード的トレース、セマンティックな定着、および実行制御を、神経学的等価性に対する厳格な免責事項を伴う、テスト可能なシステム・コミットメントへと翻訳した。
型定義されたバイテンポラルな権威: 有効時間、トランザクション時間、および修正状態を明示的に持つ台帳コンポーネントの仕様化。これにより、意味的な類似性が事実としての最新性を覆すことができないことを保証する。
監査可能な検索パイプライン: 検索、プロベナンス・クロージャ、および境界内でのコンテキスト動作を明示的に評価する、ワーカー指向のパイプラインの実装。
包括的な実証報告:
- LoCoMo および LongMemEval-S の記述的な検索アーティファクト。
- スコープを限定した BEAM 開発パイロット。
- 失敗した事前登録済みの 5-ヒストリー BEAM ゲートによる、負のエビデンスの提供。
- ペア統計と観測可能性契約を含む、プロトコルが一致した Mem0 OSS との比較。
観測可能性の標準: プロベナンス・メトリクスを、ソースの系統（リネージ）を露出していないベースラインに割り当てることを禁じるプロトコル。

4. 結果

結果は、検索能力とエンド・ツー・エンドの回答精度の明確な境界をもって提示される。

検索パフォーマンス（凍結実行）

LoCoMo (カテゴリ 1–4): Hit@10 = 96.29%、Turn Recall@5 = 73.64%。
LongMemEval-S: Hit@10 = 97.60%、Turn Recall@5 = 88.84%、Session Recall@5 = 88.71%。
観察: 高い Hit@10 スコアが、不完全なエビデンス・カバレッジ（例：マルチターン・サポートの欠如）と共存することがあり、これは「ある」関連するターンを見つけることと、「すべての」必要なエビデンスを見つけることの間のギャップを浮き彫りにしている。

一般化の失敗 (BEAM ゲート)

事前登録された 5-ヒストリー BEAM ゲートは、閾値を満たすことができなかった（目標: Hit@10 $\ge$ 85%、Turn Recall $\ge$ 50%）。
実際の集計: Hit@10 = 78.65%、Turn Recall = 40.80%。
示唆: 単一ヒストリー・パイロットで見られた完璧な Hit@10 は、一般化されなかった。この失敗は、特にイベントの順序付けと要約に関する、候補の網羅性とランキングの問題に起因するとされた。

一致した QA 比較 (ECHO vs. Mem0 OSS)

固定された 91 問のサンプル（8 ヒストリー）において、Mem0 OSS はバイナリ QA 正解率において ECHO を上回った（64.84% 対 41.76%）。
統計的有意性: Exact McNemar テスト $p = .00107$ 。
注意点: ヒストリー・クラスターの感度区間はゼロを跨いでいる（ $[-25.5, +25.0]$ ）。これは、結果がこの特定のサンプルにおける劣位を示しているものの、母集団レベルの優越性を確立するものではないことを意味する。
観測可能性の限界: Mem0 は完全なソース・ターンの系統を露出しないため、ECHO 型のプロベナンス・メトリクス（Hit@10、Turn Recall）は Mem0 側では観測不可能である。

アブレーション研究

クエリ拡張: クエリ拡張（ソース固有のフレーズを含むもの）を削除すると、パフォーマンスが大幅に低下した（Hit@10 が 16.67 ポイント低下）。これは、これらの特定のルールに対する依存性を示しており、汎用的なメリットによるものではない。
並行性: ワーカーのスループットは、ステートフルなコンポーネント（TopicBucket）では 4 ワーカーでピークに達したが、純粋な C++ リランキング（ROSE）についてはスケールし続けた。

5. 意義と主張

本論文は、ECHO を長期的なメモリの問題を解決したシステムとしてではなく、メモリ・システムがいかに構築され、評価されるべきかというアーキテクチャ的および方法論的な貢献として位置づけている。

監査可能なインフラストラクチャ: 主要な価値は、発見（検索）と権威（台帳による解決）の分離にある。これにより、失敗（古い回答、未解決の衝突、サポートの欠如）を「低い関連性」としてではなく、明確なカテゴリーとして観測可能にする。
控えめな主張: 著者らは、クエリ拡張による汚染と、新しいヒストリー・ゲートの失敗を理由に、報告された検索スコアは「記述的な開発測定値」であると明示している。彼らは ECHO が一般的な既存システムよりも優れていると主張しているわけではない。実際、一致した QA 結果は、テストされたサンプルにおいて Mem0 OSS がより正確であることを示している。
方法論的厳密さ: 本論文は、Hit@k と共にマイクロレベルのエビデンス・カバレッジ（Turn/Session Recall）を報告すること、凍結された開発段階と新鮮な一般化を分離すること、そしてベースラインにおける観測可能性の欠如を、ゼロのスコアではなくプロトコルの制限として扱うことを提唱している。

要約すると、ECHO は、認知科学に着想を得たバイテンポラルなメモリ・プレーンが、高いエビデンス・カバレッジと厳格なプロベナンスを提供できることを示しているが、同時に、そのようなアーキテクチャが、堅牢な検索の一般化と回答者の統合なしには、自動的に優れた回答精度を保証するものではないことも明らかにしている。その貢献は、メモリ・プレーンを監査可能、テスト可能、かつ、それを消費する「リーダー」から明確に区別することにある。