技術的サマリー：Auto-Dreamer - 言語エージェントのためのオフライン記憶統合の学習

問題定義

言語エージェントは、孤立した相互作用ではなく、関連するタスクのストリーム上でますます展開されるようになっている。これらの設定において、長期的記憶は、過去のエンティティのための単なる検索キャッシュとして機能するだけでなく、生の実験を再利用可能な手順、環境知識、および行動の事前分布に変換するメカニズムとして機能しなければならない。既存の記憶システムは、2 つの主要な課題に直面している：

1. 統合問題（The Consolidation Problem）： 現在の手法は通常、記憶の獲得と統合を単一のオンラインプロセスに結合している。更新は現在のセッションからの限られた証拠に基づいて行われるため、反復パターンを発見したり、セッション間で共有される手順を抽象化したり、矛盾を解決したり、冗長なエントリを剪定したりすることが困難である。
2. 記憶有用性問題（The Memory-Utility Problem）： 強化学習（RL）で訓練された記憶マネージャーは、明示的な下流の有用性目的の下でのオフライン統合ではなく、オンライン構築または検索を最適化することが多い。その結果、どの記憶が「荷重を支える（load-bearing）」ものか、どのエントリが冗長か、あるいは成功と記憶のコンパクトさの間でどのようにトレードオフするかを直接学習することができない。

検索拡張エピソード型ストア、構造化記憶システム、リフレクションベースの手法を含む既存のアプローチは、効果的なセッション間抽象化を実行するためのセッション全体にわたるグローバルな視点を一般的に欠いている。

手法：Auto-Dreamer

エピソードの符号化のための高速な海馬システムと、共有構造の抽出のためのより遅い新皮質システムを想定する補完的学習システム（CLS）理論に触発され、著者はAuto-Dreamerを提案する。これは、セッションごとの高速な記憶獲得と、セッション間を跨ぐ低速な統合を分離する学習されたオフライン統合器である。

コアアーキテクチャ

このシステムは、意味的（事実的）および手続き的（方法論的）エントリを含む型付き記憶バンク上で動作する。各エントリには、短い名前、本文、およびソース軌道への由来リンクが含まれる。

• 高速オンライン獲得： 固定されたプロンプト付きの「ライター」モデルがセッションごとに動作する。これはローカルで追記のみ可能であり、既存のバンクを検索したり古い記憶を書き換えたりすることなく、ソース軌道への由来ポインタを伴う型付き記憶エントリを記録する。これは可塑性を優先する。
• 低速オフライン統合（領域書き換え）： 中核的な革新は、オフラインで動作する学習された方策である統合器（$C_\theta$）である。これは、エントリをその場で編集（CRUD）するのではなく、領域書き換えを実行する。
  • プロセス： 記憶バンクの選択された作業領域 $R$ と、それに関連する由来リンク付きソース軌道 $T_R$ が与えられた場合、統合器は限定されたツール使用ロールアウトを実行する。これは、記憶を検索し、候補エントリを検査し、生ソース軌道を取得するためにツールを使用する。
  • 出力： セッション間を跨いで抽象化された、新鮮でコンパクトな置換セット $S$ を合成する。元の領域 $R$ は読み取り専用証拠として扱われ、統合後のバンク（$B^* = (B \setminus R) \cup S$）において $S$ によって完全に置換される。
  • 含意： この置換意味論は、コンパクトさを構造的にする。情報は、置換セットに再合成されて初めて生存する。これにより、抽象化、重複排除、および省略に基づく忘却がデフォルトの動作となる。

GRPO による訓練

統合器は、**グループ相対方策最適化（GRPO）**を使用して訓練される。

• 目的： 訓練は、タスクエージェント、検索器、ライター、および記憶スキーマを固定することで、統合器の貢献を分離する。
• クレジット割り当て： オンライン手法とは異なり、置換セット $S$ は、合成されたエントリのみからなるローカルバンク（$B^*_g = S_g$）内で評価される。これにより、バンクの残りの部分からの交絡因子なしに、方策の出力に対して直接クレジットを割り当てることが可能になる。
• 報酬信号： 報酬 $r_g$ は、下流タスクのパフォーマンスと反実用的項を組み合わせる：
  $$r_g = U_V(S_g) + \alpha \cdot r_{cf}(S_g; V)$$
  • $U_V(S_g)$：保持された評価タスクセット $V$ における平均リターン。
  • $r_{cf}$：$S_g$ のエントリの一定割合をランダムにマスクすることで推定される。この項は、冗長なエントリ（マスクしてもパフォーマンスの低下がほとんどない）にペナルティを科し、荷重を支えるエントリ（マスクするとパフォーマンスが低下する）に報酬を与え、有害なエントリには負のクレジットを割り当てる。

主要な貢献

1. 2 時間スケール定式化： 本論文は、高速なセッションごとの獲得と低速なセッション間統合を区別し、後者を蓄積された証拠に対する学習された意思決定問題として定式化する。
2. 領域書き換えプリミティブ： 由来に基づく領域書き換えを、コンパクトさを誘発する統合プリミティブとして導入する。個々のエントリを編集するのではなく、領域を合成されたセットで置換することにより、セッション間抽象化と重複排除をデフォルトの更新意味論として強制する。
3. 領域ローカル・クレジットを伴う RL 訓練： 自己完結型の置換セットを直接評価することで、教師付き記憶ラベルなしに RL 訓練を可能にする。反実的マスクの使用により、システムはタスク有用性を維持しながら冗長な記憶を抑制することを学習できる。

実験結果

Auto-Dreamer は、3 つのドメインで評価された：ScienceWorld（テキストベースの科学実験）、ALFWorld（家庭内指示遂行）、およびWebArena（ウェブナビゲーション）。

• 継続的記憶展開：
  • ScienceWorldにおいて、Auto-Dreamer は**41.1%**の成功率を達成し、最強のベースライン（UMEM）を 7.0 ポイント、最強のプロンプト付きベースライン（ReasoningBank）を 10.2 ポイント上回った。
  • 重要なのは、アクティブな記憶バンクが最強のベースラインよりも12 倍小さい（UMEM の 80.9k トークンに対し 6.9k トークン）という条件でこれを達成した点である。
  • ALFWorldでは、6 倍少ないメモリを使用して**60.2%**の成功率（UMEM は 58.4%）を達成した。
  • WebArenaでは、わずか 927 トークン（LightMem は 370k）を使用して**52.3%**の成功率を達成し、すべてのベースラインをリードした。
• 一般化： 統合器はScienceWorld の軌道のみで訓練された。それにもかかわらず、再訓練なしで保持された ALFWorld および WebArena のパフォーマンスを向上させ、異なるライターバックボーン（Qwen3-14B 対 Gemini-3.1-flash-lite-preview）と組み合わせた場合でも同様であった。
• 制御された統合： 事前構築されたバンクに対して統合オペレーターを一度適用する固定バンク実験において、Auto-Dreamer は依然としてベースラインを上回り、利益がデータ蓄積そのものではなく、オフライン統合プロセス自体に由来することを確認した。

意義と主張

本論文は、Auto-Dreamer がオフライン学習統合が言語エージェントの成功とコストのトレードオフを大幅に改善できることを実証していると主張している。獲得と統合を分離し、領域書き換えを使用することで、このシステムは、プロンプト付きおよび RL 訓練されたベースラインの両方と比較して、はるかに小さいメモリフットプリントでより高いタスク成功率を達成する。

著者は、学習された統合器がタスクドメインやライターバックボーン間で転移することを強調しており、テキスト記憶エントリとソース軌道にわたる統合がドメインやライターに依存しないという見解を支持している。この研究は、エージェントの経験がセッション内で再編成される速度よりも速く蓄積される場合、オフライン学習統合がコンパクトで高有用性の記憶バンクを維持するための実行可能なメカニズムであることを示唆している。

本論文は範囲に関して控えめであり、評価がテキストベースの環境に限定されていること、および統合器が固定されたライタースキーマに依存していることを指摘している。代替のライターやマルチモーダル入力に対する堅牢性は、まだ確立されていない。