技術概要：長期的推論エージェントのための状態適応型メモリ（SAM）

問題定義

長期的なエージェント推論には、思考、ツール呼び出し、観測、部分的な結論が交錯する拡張された相互作用履歴にわたって大規模言語モデル（LLM）を動作させることが求められます。主な課題は、単にこれらの履歴の長さが増加することではなく、現在の意思決定に不可欠な情報が遠隔のステップに散在しており、軌道の後半になって初めて関連性が明らかになるという事実にあります。

既存のコンテキスト管理戦略（履歴の切り捨て、要約への圧縮、選択された部分の検索など）は、これらのシナリオではしばしば失敗します。これらの手法は通常、最近性や固定サイズのウィンドウに依存しており、有用な情報が隣接しないステップに分散し、その重要性がタスクの展開に伴って初めて明らかになる場合には不十分です。本論文は、核心的な難しさは、静的な予算に基づいて過去全体を視野に入れるか、あるいは破棄するのではなく、適切な情報がエージェントの現在の意思決定状態にアクセス可能となるように、過去の軌道を整理することにあると主張しています。

手法：状態適応型メモリ（SAM）

著者は、長期的な推論を状態適応型メモリの問題として扱うために設計されたスタンドアロンのフレームワークである**状態適応型メモリ（SAM）**を提案します。SAM は、エージェントの推論バックボーンをメモリ管理から分離し、メモリモジュールを基盤となるエージェントを再学習させることなく独立して最適化できるようにします。

コアアーキテクチャ

SAM は、相互作用履歴の 2 つの結合されたビューを維持します：

1. コンパクトなメモリキュー（Compact Memory Cues）： エージェントのアクティブなコンテキスト内に常に表示される軽量な要約です。これらは過去の進捗への永続的なハンドルまたはエントリーポイントとして機能します。
2. 生軌道ページ（Raw Trajectory Pages）： 外部に保存された詳細な相互作用記録で、元の軌道の完全な忠実性を保持します。

このフレームワークは、**ページベースのエピソード的統合（Page-based Episodic Consolidation）と意図駆動型エピソード的想起（Intent-driven Episodic Recall）**のプロセスを通じて動作します：

• 統合（書き込みパス）： エージェントのライブコンテキストが事前に定義されたトークン予算に達すると、最近の軌道は連続する「ページ」に分割されます。メモリモデルは、継続に関連する貢献（例：確立されたこと、排除されたこと、未解決のままのもの）を捉えるために、各ページに対してコンパクトなキュー（$m_k$）を生成します。その後、生ページはアクティブなコンテキストから削除され外部に保存され、キューはメモリバンクに保持されます。
• 想起（読み込みパス）： エージェントが過去を再訪する必要がある場合、特定の意図（$q_t$）を含む想起リクエストを発行します。エージェントは現在の状態に基づいて関連するキューのサブセットを選択します。その後、メモリモデルは、想起の意図に条件付けられて、対応する生ページから意思決定に関連する情報を再構築します。これにより、エージェントは履歴全体を逐語的に再生することなく、オンデマンドで時間的に遠隔の情報をアクセス可能になります。

最適化戦略

SAM は、エージェントのバックボーンを固定したまま、2 段階のプロセスを通じて独立した能力として最適化されます：

1. 専門家ガイド付き教師あり微調整（SFT）： メモリモデル（Qwen3.5-9B として初期化）は、タスクを成功裡に解決した主要な LLM（例：Claude-4.5-Opus、GPT-5.4）からのトレースに基づいて学習されます。これにより、統合（キューの生成）と意図駆動型想起（情報の再構築）の両方に対するペアされたターゲットが提供されます。
2. OAT-GRPO（Oracle-Anchored Tree GRPO）： メモリモデルを軌道レベルの有用性と整合させるために、著者は特殊な強化学習目的を導入します。
   • 木構造のアウトカム報酬： 全体 rollout に単一の報酬を割り当てる標準的な GRPO と異なり、OAT-GRPO は rollout をメモリ呼び出しツリーとして構造化します。各メモリアクションで分岐し、最終的なタスクの結果に基づいて特定のメモリ出力にクレジット割り当てを局所化することを可能にします。
   • オラクルアンカー型回復可能性報酬： 結果シグナルの希薄さに対処するため、最先端モデルの委員会を使用して「オラクル」報酬を計算します。この報酬は、専門家参照に対する回復された要約が有用情報のターゲット空間（関連性、網羅性、一貫性）をどの程度よくカバーしているかを評価し、学習シグナルを高密度化します。

主な貢献

本論文は、3 つの主要な貢献を概説しています：

1. 定式化： 長期的なコンテキスト管理を、単なる最近性ベースの圧縮ではなく、時間的に遠隔の情報の需要駆動型アクセスを優先する状態適応型メモリの問題として再定義します。
2. アーキテクチャ： 保存された生軌道ページ上での意図条件付き読み込み時再構築から、軽量な書き込み時統合を分離するキュー - ページメモリアーキテクチャを導入します。
3. 最適化レシピ： 専門家ガイド付き監督と、メモリ呼び出しツリーとオラクルアンカー型回復可能性報酬を通じてクレジットを割り当てるメモリアクションレベルの RL 目的であるOAT-GRPOを組み合わせた、スタンドアロンメモリモデルのトレーニングパイプラインを開発します。

実験結果

SAM は、4 つの長期的エージェントベンチマーク（BrowseComp、BrowseComp-ZH、WideSearch、HLE）で評価されました。実験には、プロプライエタリ（GLM-4.7）およびオープンソース（Qwen3.5-35B-A3B）モデルを含む多様なエージェントバックボーンが利用されました。

• パフォーマンス： SAM は、ヒューリスティックなコンテキスト管理戦略（ツールの破棄、最近の$k$ステップの保持、ローリング要約）や既存のオープンソースエージェントシステム（WebThinker、WebSailor、ReSum など）を含む強力なベースラインを一貫して上回りました。
• 汎化性： 一度学習された単一の Qwen3.5-9B メモリモデルが、すべてのバックボーン - ベンチマークの組み合わせで最高スコアを達成し、メモリメカニズムが特定のバックボーン - ベンチマークの結合に依存するのではなく、堅牢で汎化可能であることを示しました。
• アブレーション研究：
  • SFT と OAT-GRPO の両段階は相補的であることが判明しました。いずれかを除去するとパフォーマンスが低下しました。
  • 改善は主に統合のみではなく、意図駆動型想起に起因しました。要約のみを使用する変種や最近性ベースの検索を使用する変種は、著しく悪いパフォーマンスを示しました。
  • 要約ベースの手法が有用な状態を失い始める相互作用ラウンド数が増加しても（例：80 ラウンドを超えて）、SAM はその優位性を維持しました。

意義と主張

本論文は、明示的なメモリモデリングが長期的なエージェント推論のためのシンプルかつ効果的な基盤を提供すると主張しています。メモリを、相互作用をナビゲート可能なエントリーに統合しつつ、再構築のために生データを保持する外部の再利用可能な能力として扱うことで、SAM はエージェントが基盤となるバックボーンを再学習することなく、軌道の任意の段階から情報を回復することを可能にします。

著者は、SAM をエージェントの推論ポリシーの代替としてではなく、長期的な履歴を受動的な負担からナビゲート可能なメモリ空間へと変換するモジュールコンポーネントとして位置付けています。結果は、現在の意思決定状態に対する適切な過去の情報へのアクセス能力が、エージェント推論のスケーリングにおいて重要でありながら、しばしば見過ごされている要因であることを示唆しています。この研究は、能力がますます高まるエージェントのためのモジュール型メモリシステムへの一歩として提示され、コードはさらなる研究のために公開されています。