💬 NLP

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

本論文は、長期間稼働するエージェントにとって極めて重要なインタラクション履歴を特定し保持することを学習する、軽量かつCPUのみで動作し、言語モデルを必要としないスコアラーであるLRE（Learned Relevance Eviction）を導入するものであり、最小限の計算コストとアノテーションフリーの学習によって、既存のベースラインと比較して優れた精度と効率性を達成している。

原著者： Nusrat Jahan Lia, Aritra Mazumder

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nusrat Jahan Lia, Aritra Mazumder

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑なパズルを解いたり、友人と長い会話を楽しんだりしようとしている、超スマートなアシスタント（高度に進化したAIのような存在）を想像してください。問題は、あなたの脳には厳格なサイズ制限があることです。一度に保持できる情報の量には限りがあります。

作業を進めるにつれ、膨大なメモ、行動、会話の履歴が蓄積されていきます。やがて、この履歴はあなたの脳に収まりきらなくなります。新しい思考のためのスペースを作るために、いくつかの情報を捨てなければなりません。これを**「エビクション（追い出し）」**と呼びます。

この論文では、この問題を解決するための新しい手法であるLRE（Learned Relevance Eviction：学習による関連性に基づくエビクション）を紹介しています。これはどのように機能するのか、簡単な比喩を用いて説明します。

問題点：「大きすぎて入らない」脳

旅行の荷造りをしている場面を想像してください。しかし、スーツケースのジッパーは非常に小さく、半分までしか開きません。あなたには何百ものアイテム（会話の履歴やタスクのステップ）があります。

従来の方法（FIFO/最新性重視）： 積み重なった山の底にある古いアイテムを、新しいものと入れ替えるために単に捨てていきます。
- リスク： パスポートやログインに必要な特定のコードトークンのような、「荷重を支える重要なアイテム（load-bearing item）」を捨ててしまうかもしれません。もしそれを失えば、たとえスペースが十分に余っていたとしても、あなたの旅行（あるいはタスク）は失敗に終わります。
高価な方法（LLMによる圧縮）： プロの編集者（別のAI）を雇い、あなたのメモを読んで短いパラグラフに要約させます。
- リスク： 編集者が簡潔にまとめようとするあまり、重要な詳細を誤って落としてしまう可能性があります。また、メモを追加するたびに編集者を雇うのは時間がかかり、コスト（計算資源）も多くかかります。

解決策：LRE（賢くて小さな司書）

LREは、標準的なコンピュータチップ（CPU）上で動作する、小さくて非常に高速な「司書」です。仕事をするためにスーパーコンピュータや第二のAIを必要としません。

1. 小さくて高速であること
LREを、数キロバイト程度のサイズしかない**「ポケットサイズのチェックリスト」**だと考えてください。それはメモを書き換えるのではなく、どのメモを残すべきかを判断するだけです。LREは1秒間に1,000個以上のメモをチェックできるほど高速ですが、「プロの編集者」（高密度エンコーダー）は36個程度しか処理できない場合があります。

2. 何が重要かを学習する（「荷重を支える」という概念）
LREは履歴を見てこう問いかけます。「後でこの特定の情報を必要とするだろうか？」

比喩： あなたが家を建てていると想像してください。そこにはレンガ、木材、そしてランダムなゴミの山があります。
- 「最新性」を重視するアプローチは、最後に触れた数個のアイテムを保持します。
  に、LREは積み重ねられた山を見てこう言います。「ステップ3で使ったあの特定のレンガは、ステップ17で屋根を作るための基礎となるものだ。あれをそのままの状態で保持せよ。」
- LREは**正確なテキスト（逐語的）**を保持するため、もし後でパスワードや特定のID番号が必要になったとしても、変更されることなくそこに存在し続けます。

3. 教師を必要としない（自己教師あり学習）
通常、コンピュータに何を保持すべきかを教えるには、人間が何千もの例に対してラベル付け（「これを保持せよ」「あれを捨てよ」）を行う必要があります。

LREのトリック： LREは自分自身を観察することで学習します。自身の過去の振る舞いを見つめるのです。
- 会話において： もしAIが「私はトランスジェンダーです」という事実を述べ、その400ターン後にその事実を使って質問に答えた場合、LREはこう学びます。「ああ、あの事実は重要だったのだ！あれを保持しておくべきだった。」
- タスクにおいて： もしAIがログイントークンを生成し、その後3回そのトークンを使用したなら、LREはこう学びます。「あのトークンは荷重を支える重要なものだ。保持せよ。」
- これにより、LREは人間にデータへのラベル付けを支払わせることなく学習することができます。

結果：なぜLREが勝るのか

論文では、LREを主に2つのシナリオでテストしました。

1. エージェント（ロボットワーカー）

シナリオ： 航空券の予約やメールアカウントの管理など、一連のステップを実行しようとするAI。
結果： メモリ制限が厳しい場合、他の手法はログイン用トークンや特定のID番号を捨ててしまったために失敗しました。LREはそれらの正確な詳細を保持していました。
比喩： 他の手法が何度もログインを繰り返そうとして堂々巡りになり（時間を浪費し）、LREは鍵をポケットに入れたまま作業を完了させました。LREは37%少ないステップ数で仕事を終えました。それは「すべてを保持する場合」と同等の正確さを持ちながら、スペースを52%節約できました。

2. 会話相手（チャットパートナー）

シナリオ： 数週間前に行われた長いチャットの詳細を覚えていること。
結果： LREは、チャットを要約しようとする複雑で高価なAIモデルよりも、質問に答えるための適切な情報を見つけ出すことに優れていました。
比喩： もしあなたが「キャロラインは400メッセージも前に、家族について何と言っていましたか？」と尋ねた場合、LREはその正確なメッセージを即座に見つけ出します。他の手法は、その情報を忘れてしまうか、あるいは要約があまりに不十分で答えが失われてしまいます。

まとめ

LREは、安価で、速く、精密なメモリ管理手法です。

それは要約したり書き換えたりしません（それがエラーの原因となります）。
何を残すべきかを判断するために、高価なスーパーコンピュータを必要としません。
自身の失敗と成功から学習します。

この論文は、AIエージェントやチャットボットにとって、情報を捨てたり、要約のために高価な編集者を雇ったりする必要はないと主張しています。私たちに必要なのは、歴史の「荷重を支えるレンガ」をどのように保持すべきかを知っている、小さくて賢いフィルターなのです。そうすることで、構造が崩壊することを防げるのです。

技術要約：忘れてはいけないことを学ぶ (Learning What Not to Forget: LRE)

問題提起

長時間稼働する大規模言語モデル（LLM）エージェントや対話型アシスタントは、相互作用の履歴を蓄積し、最終的にはモデルのコンテキストウィンドウを超過してしまう。固定されたトークン予算内で機能するためには、システムは古い履歴を**破棄（evict）しなければならない。核心となる課題は、メモリの破棄がプロアクティブ（先行的）かつクエリに依存しない決定（query-blind decision）**である点だ。つまり、システムは、その情報が必要となる将来のクエリやアクションが存在する前に、何を保持すべきかを決定しなければならない。

標準的なアプローチは、この設定においては失敗する：

反応的ヒューリスティック（新しさ/FIFO）: 時間のみに基づいて古い情報を破棄する。これにより、将来のステップで必要となる「負荷を支える（load-bearing）」詳細（例：アクセス・トークン、識別子など）を削除してしまい、エージェントがループに陥ったり、失敗したりする原因となる。
LLMベースの圧縮: LLMによる履歴の要約は、非決定的な挙動、パラフレーズによるエラー（正確な識別子の喪失）、および大幅なレイテンシとコストを導入する。
ニューラル検索/スコアリング: 密な埋め込み（dense embeddings）やアテンションベースのスコアリングを使用する方法は、多くの場合、各ユニットに対してニューラルなフォワードパスを必要とするか、特定のモデル層に紐付けられており、スケーラビリティの面で推論コストが膨大になる。

本論文は、メモリの破棄は根本的に忠実度（fidelity）の問題であると主張している。システムは、将来のアクションを成功させるために、単なる概念的な要約ではなく、正確かつ逐語的な状態を保持する必要がある。しかし、それを、安価でプロアクティブであり、ホストLLMから独立したポリシーによって実現しなければならない。

手法：LRE (Learned Relevance Eviction)

著者らは、履歴のどのユニットが「負荷を支える（load-bearing）」ものであるかを学習するために設計された、軽量でCPUのみで動作し、言語モデルを使用しないスコアラーであるLREを提案する。

コアメカニズム

ユニットの定義: 履歴を離散的なユニット（例：対話のターンやエージェントのアクション・オブザベーションのペア）に分割する。
因果的特徴抽出: 各ユニット $u_i$ $u_{i}$ に対して、LREは前方（prefix）の履歴のみに基づいた特徴ベクトル $\phi(u_i, u_{\le i})$ $ϕ (u_{i}, u_{\leq i})$ を計算する。特徴量には以下が含まれる：
- 構造的: トラジェクトリ内の位置、新しさ、長さ。
- 語彙的: TF-IDF、数字のカウント、大文字の単語、URL/IDの存在。
- ドメイン特化: エラー指標、コードトークンの存在（エージェント用）、疑問符（会話用）。
スコアリング: 小規模なL2正則化ロジスティック回帰モデル ( $f_\theta$ $f_{θ}$ ) が、各ユニットに適合度確率 $p_i$ $p_{i}$ を割り当てる。
- コスト: モデルは極めて小さく（例：エージェント用で1.7 KB）、推論時にはニューラルなフォワードパスを伴わずにCPU上で動作する。
選択（ナップサック問題）: トークン予算 $B$ $B$ が与えられたとき、LREはトークンコストの制約 $\sum c_i \le B$ $\sum c_{i} \leq B$ を満たしつつ、スコアの総和 $\sum p_i$ $\sum p_{i}$ を最大化する古いユニットのサブセット $S^*$ $S^{*}$ を選択する。
- この選択は抽出型（extractive）である。ユニットは逐語的に保持される。要約や書き換えは行われず、正確な識別子や値が保持される。
- 直近のウィンドウ $R_k$ （例：直近5ステップ）は、制限なしで常に保持される。

自己教師あり学習

高価な人間によるアノテーションを避けるため、LREはシステム自身の振る舞い（事後的な結果）からラベルを導出する：

エージェント・ドメイン (AppWorld): あるステップが導入した識別子（例：ID、トークン）が、その後の $\ge 3$ ステップで再利用された場合、そのステップは正解（ $y=1$ ）としてラベル付けされる。これにより、「負荷を支える状態」が特定される。
会話ドメイン (LoCoMo/LongMemEvalS): あるターンが、セッションの後半で尋ねられた質問に対する最終的な回答と、その内容のトークンが $\ge 40\%$ 重複した場合、正解としてラベル付けされる。
結果: この手法により、LongMemEvalSでは人間によるゴールドラベルを用いた完全教師ありモデルの95%、LoCoMoでは**82%**の性能を回収できる。

主な貢献

クエリに依存しないプロアクティブなポリシー: LREは、将来のクエリにアクセスせずに動作する初の学習済み破棄ポリシーであり、次のステップが未知であるリアルタイムのエージェント・ループに適している。
逐語的な忠実度: 圧縮手法がパラフレーズを行うのに対し、LREは現れた通りにユニットを抽出する。これは、要約によって破壊されてしまう不透明な認証情報（トークン、ID）を保持するために極めて重要である。
極めて高い効率性:
- ゼロ・ニューラルコスト: スコアラーはCPU上で動作し、LLMの呼び出しやGPUのフォワードパスを必要としない。
- 速度: 約1,181ユニット/秒をスコアできる。これは、密なエンコーダー（約103ユニット/秒）やトークンプルーニングを行うLLM（約36ユニット/秒）よりも大幅に高速である。
- モデルサイズ: スコアラーはわずか数キロバイトである。
アノテーションフリーの監督: 「関連性」は、外部のラベルなしに、システム自身のログ（再利用パターン）から学習可能であることを示した。

実験結果

エージェントの性能 (AppWorld)

タスク成功率: 2048トークンの予算において、LREは**41.1%のタスク成功率を達成し、全履歴を保持する場合（無制限）の44.0%**に匹敵した。
比較:
- FIFO (Recency): 成功率は34.5%に低下。エージェントは資格情報の喪失によりループに陥る。
- ACON (LLM圧縮): 成功率は26.2%に低下。要約によって正確なトークンが失われ、再認証ループが発生する。
- LRE: 他のどのポリシー（一部のエッジケースにおけるフル履歴保持を含む）も完了できなかった14個のタスクを解決した。
効率性: LREはタスクを平均19ステップで完了した。これは、FIFOの30.6ステップやACONの33.5ステップと比較して短い。また、ACONがタスクあたり約5.45回の呼び出しを必要とするのに対し、LREはコンプレッサーの呼び出しをゼロとしている。
コンテキスト削減: 高い精度を維持しながら、ワーストケースの無制限ベースラインと比較して、ピークコンテキストサイズを最大**52%**削減した。

会話メモリ (LoCoMo & LongMemEvalS)

関連性ランキング: LREはLoCoMoで0.829、LongMemEvalSで0.708のMacro-AUCを達成した。
ベースライン比較: 密な埋め込みエンコーダー（0.643）やトークンプルーニング手法（0.402）はニューラルフォワードパスを使用しているにもかかわらず、LREはこれらを上回った。RecencyやDecayモデルは、ランダムに近い性能（0.478）であった。
ダウンストリームQA: QAモデルの保持ポリシーとして使用した場合、LREは固定予算の下で最高の回答品質を提供し、Recencyやコンテンツの顕著性（salience）ベースラインを上回った。

意義と主張

本論文は、安価な学習済み関連性（learned relevance）が、LLMエージェントにおけるプロアクティブなメモリ保持に十分であると主張している。

圧縮よりも忠実度: 既存のシステムの主な失敗モードは、単なる「忘却」ではなく、要約による「歪曲」や、Recencyによる「消失」である。LREは、逐語的な抽出を優先することでこれを解決する。
展開可能性: LREはクエリに依存せず、CPUのみで動作し、アノテーションを必要としないため、レイテンシとコストが制約となるプロダクション環境における実用的なポリシーである。
自己完結性: システムは外部の監督なしに、自身の運用ログから保持すべきものを学習できる。

著者らは、プロアクティブな破棄はすべての将来のニーズを完璧に予測することはできない（根本的な限界）ものの、LREのような学習された抽出型ポリシーは、現在のベースラインが到達できない、精度・コスト・忠実度のパレート最適（Pareto-optimal）なバランスを提供すると結論づけている。