技術要約: ADAMEM – 言語エージェントのためのテスト時適応型メモリ

1. 問題提起

言語エージェントは、動的で長期的なタスクにおいて、過去の経験を活用して適応するという中心的な課題に直面している。近年のエージェント・メモリ・メカニズムの進展は有望ではあるものの、既存のシステムは通常、メモリの検索をエピソード開始時に限定している。これは「硬直性のボトルネック」を生み出す。つまり、エージェントは静的なガイダンス（例：単一の検索された軌跡や蒸留された戦略）に依存することになり、タスクの途中で発生する失敗、サブゴールの変化、あるいは分布の変化に対して調整することができない。

オンラインでのモデルパラメータ更新を行うような、従来のテスト時適応手法は、長期的な設定においてはコストが高すぎる。対照的に、訓練を用いないプロンプト適応手法は、タスクが進展するにつれて検索されたコンテキストがミスマッチを起こすという限界がある。本論文は、主に2つの研究課題を特定している：

1. エージェントのメモリは、静的な検索の硬直性を克服し、推論中の継続的な適応をどのように実現できるか？
2. エージェントは、このテスト時適応を明示的に最適化する戦略を合成するために、どのように効率的に訓練されるべきか？

2. 手法

著者らは、モデルパラメータを更新することなく、ステップごとのテスト時適応を可能にするために、メモリの格納と抽象化を分離したハイブリッド・メモリ・フレームワークであるADAMEM（Adaptive Memory Agent）を提案している。

2.1 ハイブリッド・メモリ・アーキテクチャ

ADAMEMは、2つの異なるメモリ・コンポーネントを介して動作する：

• 長期軌跡メモリ ($M$): 生の経験を格納する、スケーラブルなオフラインのリポジトリ。状態埋め込みによってインデックス化された成功した軌跡 $\tau = \{(s_t, a_t, r_t)\}$ を格納する。蒸留された洞察を格納するシステムとは異なり、$M$ は信頼性の高いコンテキスト検索を確保するために完全な相互作用履歴を保持する。
• 短期戦略メモリ ($z_t$): 推論中にオンザフライで生成される、動的かつ状態固有の戦略。エージェントは生のログを直接検索するのではなく、現在の状態 $s_t$ と検索された経験 $E_{ret}$ に条件付けられた簡潔な自然言語戦略を合成する。この戦略は、次のアクションに対する具体的なガイダンスとして機能する。

2.2 推論モード

トークンの効率性と適応性のバランスをとるために、ADAMEMは2つの推論モードを導入している：

• ADAMEM-HIGH (高適応努力): エージェントが検索が必要であると判断した場合、あらゆる重要な決定ステップにおいて新しい戦略 $z_t$ を再生成することを優先する。この戦略は一時的なものであり、使用後に破棄されるため、エージェントが古いガイダンスに依存し続けることがない。
• ADAMEM-LOW (低適応努力): コンテキスト内に永続的な戦略 $z_{curr}$ を維持することで効率性を優先する。エージェントは、現在の状態に基づいて戦略を「リフレッシュ」するかどうかを予測する。リフレッシュが不要な場合は、既存の戦略が複数のステップをガイドし、リフレッシュがトリガーされた場合は、新しい戦略が合成され、永続的な戦略に置き換えられる。

2.3 STEP-MFT: ステップごとのメモリ微調整

ADAMEMはゼロショット・プロンプティングを介して動作することも可能だが、著者らは高有用な戦略を生成するようにポリシーを訓練するためのSTEP-MFTを導入している。

• 課題: 標準的な結果ベースの監督は、成功した軌跡におけるすべてのステップに等しくクレジットを与えるため、特定の戦略が冗長であったり誤導的であったりする場合でもノイズとなる。
• 解決策: STEP-MFTは、データセットを精査するための二重フィルタ・メカニズムを備えたリジェクション・サンプリングアプローチを使用する：
  1. 結果の成功: 軌跡が成功していること。
  2. アクションの変化: 生成された戦略が、メモリなしで行動するベースライン・ポリシーと比較して、エージェントのアクションを因果的に変化させていること（$a_t \neq a'_t$）。
• 理論的正当性: 著者らは、戦略がベースラインに対して厳密に正の優位性を持つためには、エージェントのアクションを変化させなければならないことを証明している。このフィルタにより、モデルは単にコンテキストをエコーするのではなく、意思決定を能動的に駆動する戦略を生成することを学習する。
• 訓練: フィルタリングされたデータセットは、クロスエントロピー損失を用いた教師あり微調整（SFT）に使用され、ポリシーが成功率を向上させる「シルバー（高品質な）」戦略を合成するように最適化される。

3. 主な貢献

1. ADAMEMフレームワーク: 静的なアーティファクトを検索するのではなく、コンテキストに応じた戦略を動的に合成することにより、継続的なテスト時適応を可能にする、新しいハイブリッド・メモリ・システム。
2. STEP-MFT手法: プロセスレベルの報酬（具体的にはアクションの変化）を使用して、エージェントに高有用な戦略を生成させる訓練方法を提供し、結果のみに基づく監督によるノイズを回避する。
3. 新しいスケーリング次元: 本研究は、動的なメモリ・キュレーションがエージェンティックな推論における重要なスケーリング次元であることを確立し、推論コストとタスク・パフォーマンスの間の優れたパレート・フロンティアを提供する。

4. 実験結果

著者らは、ALFWorld（エンボディド・ナビゲーション）、WebShop（ウェブ・ショッピング）、およびHotpotQA（マルチホップ検索）の3つのベンチマークでADAMEMを評価した。

• 性能向上:
  • ALFWorld: ADAMEM-LOWは、未知の分割において、静的なメモリ・ベースラインに対して**13%**の相対的な利得を達成した（Synapseの52.2%に対し、58.2%）。
  • WebShop: ADAMEM-LOWは**11%**の相対的な利得を達成した（Synapseの65.4%に対し、74.2%）。特筆すべきは、静的なベースラインがWebShopにおいて負の転移を起こし、メモリなしのベースラインよりも性能が悪化したのに対し、ADAMEMはこの傾向を逆転させたことである。
  • HotpotQA: ADAMEMは、反復的なクロス・エピソード検索の設定において、一貫してトップクラスの性能（成功率41.1%）を示した。
• STEP-MFTの影響: STEP-MFTを用いた訓練はさらなる改善をもたらした。ALFWorldにおいて、MFTバリアントは静的ベースラインに対して**17%**の相対的な利得（成功率65.5%）を達成し、訓練なしのADAMEMおよび結果ベースのMFTバリアントの両方を大幅に上回った。
• 効率性と適応性:
  • ADAMEMは、生の軌跡の注入によるコンテキスト・オーバーフローにより性能が低下するSynapseのような静的ベースラインとは異なり、検索予算（$k$）に対して単調にスケールする。
  • ADAMEMは、長い生のログを処理する代わりに簡潔な戦略を合成することで、推論レイテンシをSynapseと比較して**16%**削減する。
• クロスモデルの汎用性: オフポリシー設定（Qwenによって生成されたメモリを使用し、Gemma-27b-itを使用）において、ADAMEM-LOWは堅牢な改善を維持しており、フレームワークがストレージとポリシー・モデルを効果的に分離していることを示している。

5. 重要性と主張

本論文は、ADAMEMが現在のエージェント・メモリ・システムの根本的な硬直性に対処していると主張している。長期的なストレージと短期的な抽象化を分離することで、ADAMEMは以下のことを可能にする：

• デプロイ後の自己進化: エージェントは、高価なオンライン・パラメータ更新を行うことなく、動的な環境に適応し、古い事前分布を修正できる。
• 計算量のトレードオフの最適化: フレームワークは、柔軟な推論モード（LOW/HIGH）と訓練バリアント（STEP-MFT）をサポートしており、実務者がトークン効率と適応性のバランスを調整することを可能にする。
• 継続的な推論の実現: 本研究は、動的なメモリ・キュレーションが、静的な検索を超えて、オープンエンドで現実世界の環境で作動するエージェントにとって、必要なスケーリング次元であることを示唆している。

著者らは、「戦略の慣性」（ADAMEM-LOWにおいて、必要な時にリフレッシュをトリガーできない場合があること）や、メモリ構築に成功した軌跡のみに依存していることなどの限界を認め、これらを今後の研究課題としている。