💬 NLP

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

本論文は、継続的な動的タスク環境におけるLLMエージェントの自己進化型メモリ能力を評価・強化するために設計された包括的なストリーミングベンチマークおよびフレームワークであるEvo-Memoryを導入し、継続的な改善のために推論、行動、メモリ更新を統合する提案手法であるReMemパイプラインを特徴とする。

原著者： Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiy

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。複雑なパズルを解いたり、コードを書いたり、仮想の家を案内したりできる、素晴らしいアシスタントがいると。現在、これらの AI アシスタントのほとんどは記憶喪失の天才のようです。その瞬間には驚くほど賢いのですが、会話が終了したりタスクが完了したりすると、さっきまで学んだことをすべて忘れてしまいます。翌日に似たような問題を解くように頼んでも、ゼロからやり直し、同じ過ちを犯し、同じ解決策を再発見することになります。

この論文**「Evo-Memory」は、これらのアシスタントに時間とともに進化する生きた記憶**を与えることで、この問題を解決する方法を提案しています。

以下に、この論文の核心となるアイデアを簡単な比喩を用いて解説します。

1. 問題点：「金魚」対「見習い」

現在、ほとんどの AI の記憶は図書館のアーカイブのように機能しています。質問をすると、AI は以前保存した特定の事実（例えば「フランスの首都はどこか？」）を検索して読み返します。これを会話の想起と呼びます。

しかし、著者たちはこれだけでは不十分だと主張しています。真の知性には経験の再利用が必要です。

金魚：何が起きたかを覚えます（例：「ドアを開けようとしたが、施錠されていた」）。
見習い：次にどう対処すべきかを覚えます（例：「次に施錠されたドアを見かけたら、鍵がないか確認するか、まず取手を回してみるべきだ」）。

この論文によると、現在の AI システムは「金魚」の状態に留まっています。事実を記憶はしますが、過去の失敗や成功から戦略を学び取っていません。

2. 解決策：「自己進化」するノート

著者たちは、見習いのように振る舞う AI エージェントをテストし構築するための新しい方法として、Evo-Memoryを導入しました。

AI エージェントがノートを持っていると想像してください。

従来の方法：タスクのたびに、AI は会話全体をノートに貼り付けます。ノートは巨大になり、ごちゃごちゃして読みづらくなります。
Evo-Memory の方法：タスクのたびに、AI は以下の 3 つのことを行います。
1. 考える：「さっきは何をした？うまくいったか？」
2. 行動する：現在のタスクを完了させる。
3. 洗練する：「よし、その解決策はうまくいった。ノートに、どのようにこれを解決したかについての短く明確なルールを書き込み、重要ではないごちゃごちゃした部分は捨てよう。」

時間の経過とともに、このノートは単に大きくなるだけでなく、より賢く、より整理されたものになります。それは生々しい経験を再利用可能な戦略へと変換します。

3. テスト：「ストリーミング」試験

これが機能することを証明するために、研究者たちはEvo-Memoryと呼ばれる新しいベンチマークを作成しました。

これはスプリントではなく、マラソンだと考えてください。

従来のテスト：AI に 1 つの数学の問題を与え、次に新しい問題、そしてさらに別の問題を与えます。それらは無関係です。AI はそれらを 1 つずつ解くだけです。
Evo-Memory テスト：AI に、難易度が上がり続けるビデオゲームのレベルのような、連続したタスクのストリームを与えます。
- タスク 1：簡単な方程式を解く。
- タスク 2：同じ論理を使って、少し難しい方程式を解く。
- タスク 3：ロボットを操作してトマトを見つけ、電子レンジに入れる。
- タスク 4：ロボットを操作してカップを見つけ、カウンターの上に置く。

このテストは次の点を検証します：AI はタスク 3 から学んだおかげで、タスク 4 をより速く、より上手にこなせるようになるか？ AI が真に「進化」しているなら、ストリームが続くにつれて、記憶を活用してステップを省略し、問題をより効率的に解決するはずです。

4. 結果：「ReMem」エージェント

この論文は、さまざまな種類の記憶システムをテストしました。その結果、以下がわかりました。

静的な記憶：過去のチャットを保存するだけのエージェント（標準的なチャットボットのようなもの）は、時間の経過とともにほとんど向上しませんでした。同じ過ちを繰り返し犯していました。
「ReMem」エージェント：これがこの論文の新しい手法です。これは記憶について積極的に考えます。「この古い記憶は役立つか？悪い部分は削除すべきか？これを新しい問題の解決にどう活用できるか？」と問いかけます。

比喩：

従来のエージェントは、テストを受け、悪い成績を取った後、すぐにそのテストを忘れ、同じ混乱状態で次のテストを受ける学生のようなものです。
ReMemは、テストを受け、間違いを復習し、正しい公式の「カンニングペーパー」を書き、そのカンニングペーパーを使って次のテストで満点を取る学生のようなものです。

5. 主要な発見

失敗からの学習：最も優れたエージェントは、成功だけでなく、失敗からも学びました。エージェントがドアを開けようとして施錠されていた場合、「ReMem」エージェントは「ドアを開けようとした」という事実を記憶するのではなく、「まず鍵を確認する」という記憶に更新します。
効率性：この進化型メモリを持つエージェントは、問題を解決するために必要なステップ数が少なくなりました。車輪の再発明に時間を浪費しませんでした。
どこでも機能する：AI が数学を行おうと、コードを書こうと、仮想の家を案内しようと、この改善はすべてにおいて起こりました。

まとめ

この論文は、AI が（タスクが連続的で複雑である）現実世界で真に役立つためには、事実を保存するハードドライブ以上のものが必要だと主張しています。彼らは「何が起きたか」を「次回、より良く行うにはどうするか」へと変換する、自らの知識を絶えず見直し、整理し、アップグレードする動的な記憶システムを必要としています。

彼らはこれを測定するための新しいテスト（Evo-Memory）を構築し、彼らの新しい手法（ReMem）が、後で人間によって再トレーニングされるのを待つのではなく、作業中に学習し改善する AI エージェントを初めて成功させたことを示しました。

技術的サマリー：Evo-Memory

問題定義

現在の大規模言語モデル（LLM）エージェントは、推論、計画、ツールの使用において顕著な能力を有しているが、相互作用を通じて状態を維持し、進化させる能力は未だ十分に探求されていない。既存のメモリシステムは主に静的な会話の想起のための受動的な記憶として機能し、蓄積された経験から能動的に学習して将来の意思決定を改善することなく、過去の事実をクエリに回答するために検索するに留まっている。最近のベンチマークは逐次的学習や長期的な一貫性に対処しているが、実世界の展開シナリオにおいて、エージェントが推論戦略を再利用し、メモリ構造を適応させる能力を評価するには至っていない。展開中にメモリを継続的に検索、統合、更新できるかどうかをテストする統合フレームワークには重大なギャップが存在する。このプロセスはテスト時進化と称される。

手法

Evo-Memory ベンチマーク

このギャップに対処するため、著者は LLM エージェントにおける自己進化型メモリを評価するために設計された包括的なストリーミングベンチマークおよびフレームワークであるEvo-Memoryを導入する。

タストリーム再構成: 静的なベンチマークとは異なり、Evo-Memory はデータセットを逐次的なタストリームに再構成する。エージェントは入力 $\{x_1, \dots, x_T\}$ を処理し、各相互作用後にメモリ状態 $M_t$ が進化させる。
統合定式化: このフレームワークは、メモリ拡張型エージェントをタプル $(F, U, R, C)$ $(F, U, R, C)$ としてモデル化する。ここで、 $F$ $F$ はベース LLM、 $U$ $U$ は更新パイプライン、 $R$ $R$ は検索モジュール、 $C$ $C$ はコンテキストを構築する。エージェントは以下のサイクルで動作する。
1. 検索: 現在の入力 $x_t$ に基づいて関連するメモリエントリ $R_t$ を検索する。
2. 合成: 検索された項目から作業コンテキスト $\tilde{C}_t$ を構築する。
3. 進化: 出力 $\hat{y}_t$ を生成し、フィードバック $f_t$ を受け取り、メモリ状態 $M_{t+1} = U(M_t, m_t)$ を更新する。ここで、 $m_t$ は新しい経験を捉える。
データセット範囲: このベンチマークは、事実的知識（MMLU-Pro、GPQA-Diamond）、数学的推論（AIME-24/25）、ツールの使用（ToolBench）、およびマルチターン具象的相互作用（AlfWorld、BabyAI、ScienceWorld、PDDL）を含む多様なドメインにまたがる。

提案フレームワーク

本論文では、いくつかのメモリアーキテクチャを実装・評価し、静的な想起と能動的な進化の間のギャップを埋めるために 2 つの具体的な手法を導入する。

ExpRAG（経験検索と集約）: メモリを検索拡張コンテキストとして扱うベースライン手法である。過去のタスクを構造化された経験としてエンコードし、トップ- $k$ の類似例を検索してモデルを条件付け、コンテキスト内学習を通じてワンショット経験再利用を実行する。
ReMem（メモリ洗練）: 推論、行動、メモリ洗練を単一の意思決定ループに統合する高度なフレームワークである。標準的な ReAct エージェントとは異なり、ReMem は「思考（Think）」と「行動（Act）」に加えて**「洗練（Refine）」**操作を導入する。これにより、エージェントは自身のメモリに対してメタ推論を実行し、能動的にノイズを評価・剪定し、保存された経験を再編成して将来のタスクをよりよく支援する。これは、状態に現在の入力、メモリ状態、推論痕跡を含むマルコフ決定過程を創出する。

主要な結果

著者は、Gemini-2.5 および Claude モデルファミリーにおいて、10 以上の代表的なメモリモジュール（SelfRAG、Mem0、Dynamic Cheatsheets、Agent Workflow Memory などを含む）を評価した。

パフォーマンス向上: 自己進化型メモリアーキテクチャは、一貫して静的なベースラインを上回った。シングルターン推論および QA タスクにおいて、ReMemは Gemini-2.5 Flash 上で平均完全一致率0.65、API 精度0.85/0.71を達成した。マルチターン具象的環境において、ReMem は BabyAI で0.92/0.96、ScienceWorld で0.78/0.91（Claude 3.7 Sonnet）の成功率に達し、非進化型ベースラインを大幅に上回った。
効率性: 進化型メモリ手法は、ステップ効率の向上を示した。ReMem はタスク完了に必要な平均ステップ数を削減した（例：AlfWorld で 22.6 ステップから 11.5 ステップへ）。これは、メモリ洗練がより焦点の絞られた推論につながることを示している。
タスク類似性と転移: パフォーマンスの向上は、データセット内のタスク類似性と強く相関していた（ピアソン $r=0.717$ ）。エージェントは構造的整合性の高い環境（例：PDDL、AlfWorld）で最も恩恵を受けた。これは、繰り返されるタスク構造が効果的なメモリ再利用を促進することを示唆している。
難易度と失敗に対する頑健性:
- シーケンス順序: ReMem はタスク難易度の順序（易→難 vs 難→易）に関わらず強力なパフォーマンスを維持したが、ベースライン手法は大きな変動を示した。
- ノイズ処理: 成功と失敗の両方の経験にさらされた場合、ReMem は保存されたメモリを能動的に洗練することで頑健性を維持したが、失敗の単純な蓄積はベースラインのパフォーマンスを低下させた。
モデル非依存性: 進化型メモリの恩恵は、大規模（Sonnet、Pro）および小規模（Haiku、Flash-Lite）の両方のモデルで観察された。特に小規模モデルは、相対的な改善が顕著であった。

意義と主張

本論文は、Evo-Memoryが LLM エージェントの「生涯学習」を評価する統合プラットフォームを確立し、受動的な会話の想起から能動的な経験再利用へと焦点をシフトさせることを主張する。

ギャップの埋め合わせ: この研究は、エージェントが「何と言われたか」を記憶できる一方で、「何が学ばれたか」を学習することに失敗することが多いことを浮き彫りにする。Evo-Memory は、エージェントがタストリームを通じて戦略を蓄積し洗練する方法を測定する最初の体系的なフレームワークを提供する。
設計上の洞察: 結果は、明示的なタスクレベルの活用とメモリの継続的な再編成が適応性にとって重要であることを示唆している。ReMemの成功は、メモリ洗練を推論および行動と交互に組み合わせることが、自己改善型エージェントを作成するための有望なパラダイムであることを示している。
将来の方向性: 著者は、この研究を信頼性が高く継続的に改善されるメモリを持つ LLM の開発の基盤として位置づけ、現在の手法は有望であるが、安定性と手続き的再利用はさらなる調査を必要とする分野であると指摘している。

本論文は、再現性を促進し、広範な研究コミュニティにおけるテスト時学習および自己進化型メモリの評価を標準化することを目的として、コードと設定を公開することで結論付けている。