💬 NLP

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher は、コンパクトなメモリ機構と新規の多コンテキスト GRPO 学習アルゴリズムを活用して、マルチターン検索タスクに対する効率的かつエンドツーエンドの強化学習を実現する LLM ベースのエージェントフレームワークであり、安定したコンテキスト長を維持しつつ従来の履歴連結ベースラインを上回る性能を発揮します。

原著者： Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

MemSearcher 論文の説明を、日常的な比喩を用いたシンプルな概念に分解して以下に示します。

問題：「雑多すぎる」エージェント

非常に賢いが、少し物忘れのする研究助手（AI）を雇い、複雑な質問に答えさせる状況を想像してください。

現在の標準的な手法（ReAct と呼ばれる）では、助手が考えるたびに、行動するたびに、新しい情報を一つ読むたびに、すべてを単一の巨大なノートに書き留めます。

1 ターン目: 質問と最初の検索結果を書き留めます。
2 ターン目: 新しい思考と 2 番目の検索結果を、最初のものの下に書き足します。
10 ターン目: ノートはすでに 50 ページに達しています。

問題点: ノートが長くなるにつれ、助手は圧倒されてしまいます。重要な 1 文を見つけるために、過去の 50 ページ分のメモをすべて読み返さなければならないのです。これは遅く、高価（巨大な図書館を利用するのと同じコスト）であり、また本の中にあるすべての「ノイズ」（無関係な詳細）に混乱させられるため、誤りを招きがちです。

解決策：「賢い要約者」（MemSearcher）

著者らは、AI が作業する新しい方法としてMemSearcherを開発しました。巨大で成長し続けるノートを維持する代わりに、MemSearcher は単一の再利用可能な索引カードを使用します。

仕組みは以下の通りです：

質問: AI に質問を投げかけます。
検索: AI が答えを探します。
更新: 新しい情報を長いリストに書き足すのではなく、AI はキュレーターのように振る舞います。新しい情報を確認し、実際に有用なものを判断し、最も重要な事実のみを含めるように索引カードを書き換えます。
次のターン: 次のステップでは、AI は過去の 10 回の検索履歴を読む必要なく、現在の索引カードと元の質問のみを見ます。

結果: 「ノート」は索引カードのサイズ（約 4,000 文字）を超えて大きくなることはありません。これにより、AI は多くの会話ターンを経ても、高速で、安価で、かつ焦点を絞った状態を維持できます。

訓練の課題：キュレーションスキルの習得

「AI にこれをさせればいいのではないか？」と思われるかもしれません。しかし、論文によればいいえです。現在の AI モデルは長い物語を書くように訓練されており、要約して忘却することには慣れていません。単に小さなメモリを使うよう指示するだけでは、混乱して失敗してしまいます。

これを解決するため、著者らは**強化学習（RL）**と呼ばれる訓練手法を用いました。

比喩: 犬にボールを拾ってくることを教える状況を想像してください。犬のためにマニュアルを書くのではありません。代わりにボールを投げます。犬が持ってきたらご褒美（報酬）を与え、落とせばご褒美はありません。
革新: 論文では、Multi-Context GRPOと呼ばれる特別な訓練技法を導入しています。
- 通常、長い会話で AI を訓練することは、論文全体を一度に採点するようなものです。
- MemSearcher の手法は、その論文のすべての文を個別に採点するものの、最終的な論文全体の評価に基づいて、各文の良し悪しを決定するようなものです。
- これにより、AI はプロセス全体を通じて、会話のどの部分を索引カードに残し、どの部分を捨ててよいかを正確に学ぶことができます。

重要性（結果）

著者らは、MemSearcher を、7 つの異なる難易度の高い雑学および検索データセットにおいて、従来の「巨大なノート」方式と比較してテストしました。

より賢い: MemSearcher は、より小さく安価な AI モデルを使用した場合でも、従来の手法よりも高いスコアを達成しました。
より高速で安価: 「ノート」が小さく保たれるため、コンピュータはそれほど多くの作業を行う必要がありません。メモリ使用量が減り、実行コストも下がります。
混乱の減少: 論文で示された一例では、従来の手法は長い会話の異なる部分で言及された 2 人の異なる人物を混同して混乱しました。MemSearcher は、きれいな要約を維持することで、正しい人物を正しく特定しました。

まとめ

MemSearcherとは、触れたすべての紙切れを溜め込む研究者から、最も重要な事実の完璧に整理された最新要約を維持するプロの司書へと、研究者をアップグレードするようなものです。これは、AI 自身がメモリ管理者となるよう訓練することで実現され、会話がいかに長くても、AI が鋭敏で効率的であり続けることを保証します。

技術概要：MemSearcher

問題定義

大規模言語モデル（LLM）に基づく検索エージェント、特に ReAct パラダイムに従うエージェントは、通常、各ターンにおいて思考、アクション、観測を含む相互作用履歴全体をモデルのコンテキストウィンドウに連結して入力します。この設計は根本的なボトルネックを生み出します。相互作用のターン数が増加するにつれて、コンテキスト長が線形に増加するためです。検索シナリオでは、これは検索されたパッセージが支配する長くノイズの多い入力をもたらし、その多くはユーザーのクエリと無関係です。トークンのこの増殖は、LLM の重要な情報の利用能力を圧迫するだけでなく、計算コストと GPU メモリオーバーヘッドを大幅に増加させ、リソース制約のある環境における検索エージェントのスケーラビリティと展開を制限します。

手法

著者らは、完全な履歴を付加するのではなく、多ターン相互作用を通じてコンパクトで反復的に更新されるメモリを維持するように設計されたエージェントフレームワークMemSearcherを提案します。

1. MemSearcher フレームワーク

ターン $i$ における入力が累積履歴 $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$ である ReAct とは異なり、MemSearcher はバックボーン LLM に以下の 2 つの簡潔な入力のみを提供します。

ユーザーの質問 $q$ 。
以前のターンからの必須情報を含むコンパクトなメモリ $m_{i-1}$ 。

各ターンにおいて、LLM はこのコンパクトなコンテキストに基づいて推論トレース（思考）とアクションを生成します。環境から観測（例：検索結果）を受け取ると、LLM はメモリマネージャーとして機能します。現在の観測からの新しい関連情報を既存のメモリに統合しつつ、以前のメモリからの必要な詳細を保持し、更新されたメモリ $m_i$ を生成します。このプロセスにより、コンテキスト長はターン数に関係なく、事前に定義された最大トークン数（例：1,024 トークン）によって安定して制限されます。

2. マルチコンテキスト GRPO

MemSearcher のトレーニングは困難です。なぜなら、単一のトラジェクトリが複数のターンにまたがり、それぞれが異なるメモリ状態に起因する異なるコンテキスト下で発生するためです。標準的なグループ相対方策最適化（GRPO）は、トラジェクトリを単一の単位として扱いますが、各ターンが独立した最適化目標を表す場合では不十分です。

この課題に対処するため、著者らはマルチコンテキスト GRPOを導入します。

トラジェクトリサンプリング: 与えられたクエリに対して、トラジェクトリのグループをサンプリングします。各トラジェクトリは、変化するコンテキスト下での複数のターンで構成されます。
アドバンテージ伝播: 報酬はトラジェクトリレベルで計算されます。その結果得られるアドバンテージは、そのトラジェクトリ内のすべてのターンに均一に伝播されます。
独立した最適化: 各ターンは独立した最適化目標として扱われます。ポリシーは、サンプリングされたすべてのトラジェクトリにわたるすべてのターンに対して目的関数を最大化することで更新され、エンドツーエンドの強化学習（RL）トレーニングを可能にします。

3. 報酬モデリング

トレーニングには、以下の 2 つの構成要素からなる報酬関数が利用されます。

フォーマット報酬: モデルが定義済みの出力形式（正しいタグの使用と \boxed{} の存在）に準拠していることを保証します。
回答報酬: \boxed{} 内の最終回答と正解との間の F1 スコアを計算するルールベースの指標です。

主要な貢献

MemSearcher フレームワーク: バックボーン LLM を内在的なメモリマネージャーとして活用し、コンパクトなメモリを反復的に保持することで、相互作用履歴全体をコンテキストに付加する必要性を排除するエージェントアーキテクチャ。
マルチコンテキスト GRPO: トラジェクトリレベルのアドバンテージを個々のターンに伝播することで、多ターン相互作用の変化するコンテキストに対応し、MemSearcher トラジェクトリのエンドツーエンド最適化を可能にする新しい RL トレーニングアルゴリズム。
効率性と性能: 多ターン相互作用全体でほぼ一定のコンテキスト長（4K トークン未満）を維持しながら、ReAct ベースのベースラインよりも優れた性能を MemSearcher が達成することを示す包括的な実験。

実験結果

著者らは、Qwen2.5 の異なるサイズ（3B、7B、14B）のモデルを使用して、7 つの公開知識獲得データセット（Natural Questions、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、Musique、Bamboogle）で MemSearcher を評価しました。

性能: MemSearcher は、Search-R1、ReSearch、AutoRefine などの強力なベースラインを一貫して上回りました。特に、MemSearcher 3B は平均スコア 43.8 を達成し、いくつかの 7B パラメータベースラインを凌駕しました。MemSearcher 7B（平均 48.9）は ReSearch 32B を上回りました。
効率性: ReAct ベースのエージェントは相互作用ターン数に応じてトークン消費が線形に増加するのに対し、MemSearcher は大幅に低く安定したトークン数を維持しました。これにより、4K トークン未満のコンテキストウィンドウ内で多ターン相互作用が可能になります。
トレーニングの必要性: 除去実験により、RL トレーニングが不可欠であることが確認されました。マルチコンテキスト GRPO でトレーニングされたモデルと比較して、RL トレーニングなしの MemSearcher フレームワークを使用するモデルは、性能が著しく低下しました。さらに、RL トレーニングは蒸留による教師あり微調整（SFT）を上回りました。これは、SFT がこの特定のフレームワークに対して高コストな中間注釈と最適ではない教師モデルに依存するためと考えられます。

意義と主張

本論文は、MemSearcher がコンテキスト長を相互作用ターン数から切り離すことで、現在の検索エージェントのスケーラビリティボトルネックに対処すると主張しています。コンパクトなメモリを維持し、トレーニングにマルチコンテキスト GRPO を活用することで、このフレームワークはリソース制約のある環境における効果的な検索エージェントの展開を可能にします。著者らは、このアプローチにより、従来の ReAct パラダイムに依存する大規模モデルよりも、小規模モデル（例：3B または 7B）が優れた性能を発揮できることを強調しており、複雑な推論タスクにおいて効率的なコンテキスト管理はモデルの規模と同様に重要であることを示唆しています。

著者らは限界を認め、メモリ設計は効果的であるものの、RL ベースのエージェントに対しては、RAG スタイルや構造化メモリなど、より洗練されたメカニズムのさらなる調査が必要であると述べています。また、マルチコンテキスト GRPO は効果的な拡張であるものの、潜在的な長さバイアスを軽減し、RL トレーニングの可能性を完全に引き出すためには、さらなる技術が必要であると提案しています。