Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory

あなたは巨大な謎を解こうとしている探偵だと想像してください。しかし、手元にあるのはメモを取るための小さなノート一冊だけです。これは「言語エージェント（Language Agents）」――私たちとチャットをし、問題を解決し、意思決定を行う大規模言語モデル（LLM）を搭載したスマートなコンピュータプログラム――が直面している日常の現実です。これらのエージェントは、正解にたどり着くために、見たもの、聞いたもの、読んだものすべてを記憶しておく必要がある探偵のようなものです。しかし、ここには落とし穴があります。彼らの「ノート」（コンテキストウィンドウと呼ばれます）には厳格なページ制限があるのです。もしあまりにも多くの手がかりを詰め込もうとすると、ノートは破れてしまうか、あるいは探偵が圧倒されてミスをし始めてしまいます。さらに、ページを一枚増やすごとに、それを読み取るためのコストと時間がかかります。

したがって、これらデジタル探偵にとっての大きな問いは、「重要な詳細を失うことなく、いかにして最小限のスペースに最も重要な手がかりを収めるか？」ということです。あなたには主に2つの選択肢があります。手がかりをそのままの形で**保持する（Retention）か、あるいは、より短い要約へと書き換え、結合する（Consolidation）**かです。前者の方法は安全ですが嵩張ります。後者は効率的ですが、スペースを節約しようとするあまり、重要な事実を誤って捨ててしまうリスクがあります。長い間、科学者たちはどちらの戦略が優れているのか、あるいはいつ切り替えるべきなのかについて確信を持てずにいました。

「Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory」と題されたこの論文は、まさにそのジレンマに取り組んでいます。研究者たちは、唯一の「最善の方法」は存在しないことを発見しました。代わりに、正しい選択は、予算（スペースの制限）がいかに厳しいかに完全に依存します。彼らは興味深い「転換点」を発見しました。予算が極めて厳しい場合、情報を要約して結合することは救命装置となり、情報を漏らす代わりに精度を最大48%向上させます。しかし、生の手がかりを快適に収められるほど予算に余裕が出てくると、要約は逆にパフォーマンスを損なう原因となります。なぜなら、重要な詳細をぼやけさせてしまうからです。著者たちは、OAS（Offline Abstraction-Safety）と呼ばれる、スマートで軽量なツールを構築しました。これは交通整理の警察官のように、何かを書き込む前に状況を見極め、「圧縮する必要があるのか、それともオリジナルを保持すべきか？」を判断します。彼らの実験は、このスマートな切り替えが単一のルールに従うよりも優れた結果をもたらすことを示しており、「いつ」要約すべきかを知ることは、「どのように」要訳するかを知ることと同じくらい重要であることを証明しています。

探偵のジレンマ：保持するか、要約するか？

あなたが事件を解決しようとしている探偵で、ノートが縮小している場面を想像してください。あなたには証拠の山があります。目撃者の供述、写真、そして領収書です。もし写真をそのままノートに貼り付けようとすれば、入り切らないかもしれません。もし入らなければ、証拠を失うことになります。もし写真を文章で説明しようとすれば、収まりますが、容疑者の帽子の色のような些細な詳細を見逃してしまうかもしれません。

AIの世界では、これは**保持（Retention）と統合（Consolidation）**の戦いです。

• **保持（Retention）**は、証拠をフォトコピーしてテープで貼り付けるようなものです。何も失われないので完璧ですが、多くのスペースを消費します。
• **統合（Consolidation）**は、要約を書くようなものです。スペースを節約でき、10ページのメモを1ページにまとめることもできますが、リスクもあります。要約によって、事件を解決するたった一つの事実を見逃してしまうかもしれないのです。

長い間、AIシステムは一方の戦略を選んでそれを貫いてきました。常に要約するシステムもあれば、常に生のテキストを保持するシステムもありました。しかし、この論文の研究者たちは、より賢い問いを投げかけました。「予算がどれくらい残っているかに基づいて、どの戦略を使うべきかを判断するスマートなアシスタントを持てばいいのではないか？」

「転換点」の発見

チームは、ノートのサイズを変えたときに何が起こるかを見るために、2つの有名なパズルセット（ベンチマークと呼ばれます）を用いて一連の実験を行いました。彼らは、非常に小さな予算（32トークン）からかなり大きな予算（256トークン）までの範囲でテストを行いました。

以下に発見された内容を示します。これは、まるでシーソーのようです：

1. 予算が極めて厳しいとき（32または64トークン）： 生の証拠は単純に入り切りません。もし元のテキストを保持しようとすれば、大部分を捨て去る必要があり、AIのスコアはほぼゼロになります。しかし、統合（Consolidation）（具体的には「Abstract（抽象化）」または「Merge（結合）」と呼ばれる手法）を使用すると、AIは手がかりを要約してすべて収めることができ、精度は**48%**という劇的な上昇を見せます。この領域では、要約はヒーローとなります。
2. 予算に余裕があるとき（256トークン）： 生の証拠が完璧に収まります。この場合、要約はヴィラン（悪役）へと変貌します。要約は詳細をぼやけさせ始め、AIの精度は元のテキストを保持した場合と比較して約**8%から11%**低下します。ここでは、「少ないことは豊かである（less is more）」は悪い考えであり、「多いことは豊かである（more is more）」が求められます。

論文ではこれを**予算のクロスオーバー（Budget Crossover）**と呼んでいます。これは、最善の戦略は固定されたものではなく、受けているプレッシャーに応じて反転することを証明しています。

スマートな交通整理：OAS

では、AIはいつ切り替えればよいのかを知るにはどうすればよいのでしょうか？研究者たちは、OAS（Offline Abstraction-Safety）というツールを構築しました。OASを、「保持」と「要約」の交差点に立つ、非常にスマートな交通整理の警察官だと考えてください。

AIが要約を書き始める前に、OASはいくつかの手がかりを確認します。

• スペースはどれくらい残っているか？
• 手がかりはいくつあるか？
• 手がかりはどれくらい乱雑、あるいは重複しているか？

これらの事前作成されたメモに基づき、OASは各選択肢のスコアを予測します。それはこう問いかけます。「もし要約したら、新しい情報を入れることで得点を稼げるのか、それとも詳細を台無しにして失点するのか？」

• 予測される利得が高い場合、OASは**「行け！要約せよ！」**と言います。
• 予測される利得が低い、あるいはマイナスの場合、Oлоスは**「止まれ！オリジナルを保持せよ！」**と言います。

研究者たちは、この「交通整理の警察官」をパズルセットでテストしました。その結果、OASは適切な瞬間に戦略を切り替えることを学習できたことが分かりました。予算が厳しかったときは要約を選択してスコアを上げ、予算に余裕があったときは生のテキストを保持することを選択して精度の低下を回避しました。

どの要約手法が最適か？

論文ではまた、要約の異なるスタイルとして、3つの異なる方法をテストしました。

1. Merge（結合）： いくつかのメモを一つの大きなブロックにまとめる。
2. Abstract（抽象化）： 主要な概念を捉えたハイレベルな要約を書く。
3. Rewrite（書き換え）： 各メモを短くするために、個別に言い換える。

彼らは、スペースが限られているとき、MergeとAbstractが通常は勝者であることを発見しました。これらは、スペースを節約するために異なるメモからの情報を組み合わせることに長けています。Rewriteは、各メモを個別に扱うため、節約できるスペースが少なく、効果が低いことが多いです。しかし、論文では、あらゆる状況において「完璧な」要約手法が存在するわけではなく、それは特定のヒントの内容に依存すると指摘しています。

この論文が述べて「いない」こと

この論文が主張していないことを知っておくことは重要です。著者たちは、要約が常に優れている、あるいは常に劣っているとは断定していません。彼らは、すべての人に通用する「魔法の単語数」というものが存在する、という考えを明確に否定しています。代わりに、彼らは「魔法の数字」は状況に応じて変化することを示しています。

また、彼らのツール（OAS）が完璧であるとか、世界中のあらゆるAIで機能するといった主張もしていません。彼らは特定のデータセットでテストを行い、そこでうまく機能することを発見しましたが、現実の世界ではもっと複雑な状況があり得ることも認めています。また、要約プロセスそのものを完璧にする方法を見つけたわけではなく、単にそれを使用する「最善のタイミング」を見つけたに過ぎません。

まとめ

この論文からの主な教訓は、「柔軟性が鍵である」ということです。人間の探偵が、近所の窃盗事件と国際的な陰謀事件に対して同じ戦略を用いないのと同様に、AIもあらゆる問いに対して同じメモリ戦略を用いるべきではありません。

研究者たちは、「予算の圧力」を監視することで、AIは生のメモを保持するか、それとも圧縮するかを判断できることを示しました。スペースがタイトなとき、圧縮は救命装置となります。スペースに余裕があるとき、生の細部を保持することが最も安全な策です。彼らのツールであるOASは、この切り替えを自動的に行う「脳」として機能し、AIがスペースを無駄にしたり重要な事実を失ったりすることなく、最高のスコアを得られるようにします。これは、AI探偵をよりスマートに、より効率的に、そして最も重要な手がかりを忘れる可能性を低くするための、小さくも強力な一歩です。