技術要約：Remember When It Matters: 長期実行エージェントのためのプロアクティブなメモリ・エージェント

問題：行動状態の減衰（Behavioral State Decay）

自律的なコマンドライン実行やマルチステップのツール利用といった長期的なタスクには、長い軌跡にわたって意思決定に関連する状態を維持する必要があります。著者らは、**「行動状態の減衰（behavioral state decay）」**と呼ばれる決定的な失敗モードを特定しています。このモードでは、将来の意思決定に不可欠な情報（初期のタスク要件、環境の事実、過去の失敗した試行、エラーの診断、未完了のサブゴールなど）が、エージェントの意思決定プロセスにおいて不活性な状態になります。

この減衰は、情報がモデルのコンテキストウィンドウやトランスクリプト内に残っている場合でも発生します。問題は単にデータの保存や検索ができないことではなく、記憶された情報がいつ次のアクションに影響を与えるべきかを判断できないことにあります。既存のメモリシステムは、受動的な検索や要約に焦点を当てることが多く、その結果、エージェントがミスを繰り返したり、既知の発見を無視したり、制約から逸脱したりする原因となります。本論文は、長期実行エージェントにとって効果的なメモリとは、何を記憶するかだけでなく、いつ介入すべきかを決定する能動的な介入メカニメントであるべきだと主張しています。

メソドロジー：プロアクティブなメモリ介入

本論文は、メモリの維持とアクションの選択を切り離す、2フェーズのメモリ介入アーキテクチャを提案しています。このシステムは、修正を加えないアクション・エージェントと、その傍らで動作する独立したメモリ・エージェントで構成されます。

アーキテクチャの構成要素

1. 構造化メモリバンク ($B_t$): 実行状態をコンパクトかつ構造的に表現したもので、以下の3つのコンポーネントを含みます。

   • ステータス ($s_t$): 進捗、未解決の問題、およびリスクを追跡するプライベートなフィールドであり、メモリ・エージェントのみが閲覧可能です。
   • 知識 ($K_t$): 安定した事実（例：タスク要件、環境特性、ファイルパス）。
   • プロシージャル ($P_t$): 試行、結果、失敗したコマンド、成功した修正、および診断信号の動的な記録。

2. 2フェーズ・メモリ・エージェントのワークフロー:

   • フェーズ1（メモリ管理）: メモリ・エージェントは、直近の軌跡ののスライディングウィンドウと現在のバンクを観察します。そして、バンクを更新するためのツール呼び出し（例：memory_save_knowledge、memory_save_procedural、memory_update_status、memory_delete）を実行します。このフェーズは、軌跡を書き換えることなく、実行状態を構造化された形式へと外部化します。
   • フェーズ2（介入の選択）: 更新されたバンクと直近の軌跡に基づき、エージェントは、次のアクション・エージェントへの呼び出しに対して、簡潔でメモリに基づいたリマインダーを注入するか、あるいは沈黙（<no_intervention/>）を保つかを決定します。
     • 介入（Intervention）: 忘れられた要件、関連する環境の事実、または診断結果などの、的を絞ったリマインダーを、一時的なコンテキストとして注入します。
     • 沈黙（Silence）: 現在の状態が十分である場合は、トークンのオーバーヘッドや混乱を避けるために、明示的にメモリの提供を控えるという決定です。

3. トリガリング: メモリ・エージェントは、一定の間隔（例：$N$ ステップごと）で呼び出され、バンクを更新して介入の是非を決定します。ただし、著者らはより選択的なトリガー（例：エラー発生時）も可能であると述べています。

ポリシーの学習

このアーキテクチャはプロンプトを用いたフロンティアモデルで実装可能ですが、著者らはオープンウェイトモデルを用いて介入ポリシーを学習させる手法を検討しています。

• 教師あり微調整（SFT）: プロンプトを用いたメモリ・エージェントから得られた軌跡を蒸留し、インターフェースと基本的なメモリ管理の規律を教えます。
• 強化学習（GRPO）: 下流のタスクの成功率を最大化するように介入ポリシーを最適化します。具体的には、「いつ介入するか」対「いつ沈黙するか」の較正を行います。

主な貢献

1. 行動状態の減衰の特定: 意思決定に関連する状態が時間の経過とともに影響力を失うという失敗モードを定式化し、これを単純なコンテキストウィンドウの制限とは区別しました。
2. プロアクティブな介入アーキテクチャ: メモリを選択的な介入ポリシーとして扱う、新しい2フェーズ・システムを提案しました。これにより、状態の維持とアクションの選択を分離し、別のエージェントが実行状態をいつ、どのように再活性化させるかを決定できるようにしました。
3. 実証的検証: 選択的な介入が、受動的なメモリ露出、常時注入、および一般的なアドバイザーによるガイダンスよりも優れていることを示しました。
4. 介入ポリシーの学習可能性: 介入ポリシーが、SFTとGRPOを用いることで、Qwen3.5-27Bのようなオープンウェイトモデルに蒸留可能であることを示す予備的な証拠を提供しました。

実験結果

システムは、Terminal-Bench 2.0（自律的なコマンドライン実行）および $\tau^2$-Bench（航空、小売、通信ドメインにおけるインタラクティブなツール利用）を用いて評価されました。

• パフォーマンスの向上:

  • Terminal-Bench 2.0: Claude Opus 4.6をメモリ・エージェントとして使用した場合、弱いモデルであるClaude Sonnet 4.5の pass@1 は 37.6% から 45.9% へ（+8.3 pp）、強いモデルであるOpus 4.6は 43.5% から 45.9% へ（+2.4 pp）向上しました。
  • $\tau^2$-Bench: Sonnet 4.5 では、タスク加重平均が 55.0% から 61.8% へ（+6.8 pp）向上しました。Opus 4.6 では、66.2% から 68.7% へ（+2.5 pp）向上しました。
  • 向上は全ドメインで一貫しており、特にポリシー遵守が重要となる航空および小売のタスクで最大の改善が見られました。

• アブレーション研究:

  • フルシステム vs. 受動的露出: メモリバンクを（選択的な介入なしに）単にアクション・エージェントに露出させただけでは、得られる利得は低く、選択が極めて重要であることが確認されました。
  • 常時注入 vs. 選択的沈黙: すべてのステップでリマインダーを強制する方法は競争力がありましたが、特に沈黙によって混乱を避ける必要があるドメインにおいては、選択的なアプローチほどバランスが取れていませんでした。
  • アドバイザーのみ vs. メモリに基づく手法: 持続的なメモリバンクを持たないアドバイザーモデルは、安定性に欠け、長期的な実行状態に基づいたガイダンスを行うことができませんでした。
  • Mem0との比較: 一般的な持続的メモリ層（Mem0）は平均スコアを改善しましたが、フルシステムのパフォーマンスには及びませんでした。これは、記録を検索することと、いつ介入するかを決定することの違いを浮き彫りにしています。

• オープンウェイトの学習: SETAベンチマークを用いてQwen3.5-27Bメモリ・エージェントを学習させたところ、検証報酬が向上しました。これをTerminal-Bench 2.0に転移させた際、学習済みエージェントは凍結されたアクション・エージェントの pass@1 を 37.6% から 41.1% に向上させ、介入ポリシーが学習可能であることを実証しました。

意義と主張

本論文は、メモリを受動的なストレージ層としてではなく、能動的な制御メカニズムとして位置づけています。著者らは、長期実行エージェントにおける中心的な課題は、単に情報を保持することではなく、その再活性化のタイミングと必要性を較正することにあると主張しています。

• 学習に関する控えめな主張: 著者らは、オープンウェイト・メモリ・エージェントの学習を「初期のステップ」および「予備的な証拠」と述べています。現在の学習はプロンプトを用いたフロンティアモデルからの蒸留に依存しており、介入の較正（いつ沈黙すべきかを知ること）は不完全であり、しばしば精緻化のために強化学習を必要とすることを認めています。
• 汎用性: このアーキテクチャは、既存のエージェント・ハーネスや修正を加えないアクション・エージェントと「プラグアンドプレイ」で利用できるものとして提示されています。
• 今後の方向性: 本論文は、メモリとアクション・エージェントの共同学習、動的な呼び出しスケジュールの学習、および逐語的なリマインダーとタスク固有の抽象化の区別に関する将来の研究を示唆しています。

要約すると、本論文は、選択的な介入こそが行動状態の減衰を緩和するための鍵であり、多様なベンチマークとエージェントの能力において、長期実行タスクのパフォーマンスを向上させる堅牢でモジュール化されたソリューションを提供すると主張しています。