🤖 AI

Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks

本論文は、長期にわたるエージェントタスクにおける効率的かつ適応的なコンテキスト選別を可能にするため、作業記憶の管理を強化学習によって最適化される学習可能なポリシー行動として扱うフレームワーク「Memory-as-Action（MemAct）」を導入し、より大規模なモデルと同等の精度を達成しながら、コンテキスト長を大幅に削減することを可能にします。

原著者： Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な多段階のパズル、例えば複雑な旅行の計画を立てたり、大規模なソフトウェアプログラムのデバッグを行ったりしている状況を想像してください。あなたは、すべての思考、検索結果、発見した手がかりを書き留める巨大なホワイトボード（コンピュータのメモリ）を持っています。

問題点:
タスクが長くなるにつれて、ホワイトボードは散らかっていきます。あなたはすべてを書き留め始めます。「天気を調べた」「列車の時刻表を確認した」「その都市の歴史について読んだ」「再び天気を調べた」。やがて、ボードは書き込みで埋め尽くされ、重要な手がかりを見つけられなくなります。あなたは自分のメモの「真ん中」で迷子になってしまうのです。

現在の AI アシスタントも同じことをしています。ページの下にメモを付け加え続けるだけで、何も消去せず、ページが読み取り不可能になるまでその状態を維持します。

解決策：「記憶を行動として扱う（MemAct）」
この論文は、AI の思考方法に対する新しいアプローチを提案しています。受動的にメモを取るのではなく、AI は自らの記憶に対して行動するように訓練されます。AI にハサミと蛍光ペンを持たせるようなものです。

著者たちはこの枠組みをMemActと呼んでいます。その仕組みを簡単に説明します。

1. 「編集」ボタン

従来の方法では、AI はただ話し続けるだけでした。MemAct では、AI は**Prune & Write（剪定と記述）**と呼ばれる特別なツールを持っています。

Prune（ハサミ）: AI はその履歴を振り返り、「あの 10 件の古い検索結果はもう必要ない。その部分の答えはすでに知っている」と判断します。そしてそれらを切り取ります。
Write（蛍光ペン）: 切り取る前に、AI はその古いメモから学んだことを要約した、簡潔で整理された記述を書き加えます。
結果: 散らかって長い履歴は、清潔で短い要約に置き換わります。AI は意味は保持しつつ、散らかりは失います。

2. 「賢明な」判断

難しいのは、いつ切り取るかを知ることです。早すぎれば重要な事実を失い、遅すぎればボードが散らかりすぎます。

旧来の方法: 人間のプログラマーが「5 分ごとに最古のメモを削除する」といったルールを設定します。これは硬直的で、誤ったものを削除してしまうことが多いです。
MemAct の方法: AI が自ら判断することを学びます。まるで、数学の問題の最初の部分を解き終えたら、次の部分のためのスペースを作るために、計算過程のメモを消去できることを学ぶ生徒のようです。AI は試行錯誤（強化学習）を通じてこの戦略を学びます。

3. 「レール」の課題（DCPO）

大きな技術的障壁がありました。列車がレールの上を前方に進む状況を想像してください。もし AI が自らの背後にあるレールの一部を突然削除したら、列車（AI の思考プロセス）は衝突するかもしれません。なぜなら、レールは追加されるだけで削除されないという前提の上に構築されているからです。

著者たちは、**DCPO（Dynamic Context Policy Optimization：動的コンテキスト方策最適化）**と呼ばれる巧妙な解決策を考案しました。

比喩: 映画を撮影している状況を想像してください。俳優がセリフを忘れた場合、監督が「カット！そのシーンをやり直そう」と言ったとき、単に間違いの上から撮影を続けるわけではありません。あなたは戻ってシーンを再撮影し、新しく正しい映像をフィルムに編集（スプライス）します。
解決策: DCPO は AI の訓練に対してこれを行います。AI が記憶を編集する際、システムは論理的に「巻き戻し」を行い、訓練データをクリーンで独立したセグメントに再編成します。これにより、AI は自らの変更によって混乱することなく、記憶の編集方法を学ぶことができます。

結果：より小さく、速く、賢く
この論文では、140 億パラメータの AI モデル（大きいが最大ではない）を用いてテストを行いました。

比較対象: 彼らは、巨大なメモリを持つが整理の仕方を知らない「巨大な」AI モデル（2350 億パラメータ）と比較しました。
結果: より小さな MemAct AI は、巨大なモデルと同等の性能を発揮しましたが、メモリ使用量は 51% 少なくて済みました。
利点: 「ホワイトボード」を清潔に保ったため、処理速度が向上し、無関係な情報に混乱することがありませんでした。AI は必要なものだけを除去して焦点を鋭く保つ、「外科的」な編集者として学習したのです。

まとめ
この論文は、AI に自らの短期記憶を能動的に管理させること、つまり何を保持し、何を要約し、何を削除するかを決定させることで、複雑で長期的な問題をより効率的に解決できることを主張しています。これにより、記憶管理は受動的な保存の問題から、能動的で学習されたスキルへと変わり、より小さなモデルがそのサイズ以上の力を発揮できるようになります。

技術概要：記憶を行動として（MemAct）

1. 問題定義

深層調査やソフトウェアエンジニアリングなどの長期的なエージェントタスクでは、大規模言語モデル（LLM）に広範な作業記憶の維持が求められます。長文脈 LLM は容量を拡大しましたが、文脈が関連性の低い情報で飽和すると、注意の希薄化や「中間での消失（lost-in-the-middle）」という振る舞いを引き起こします。

この文脈を管理する既存のアプローチは、2 つの非最適カテゴリーに分類されます：

受動的圧縮: トークンレベルの圧縮や定期的な要約などの手法は、エージェントの特定の推論状態を認識せずに動作するため、意味的に重要な依存関係が失われるリスクがあります。
外部コントローラー: ヒューリスティックな規則や外部モジュールを用いて記憶を管理するシステムは、文脈の選別をエージェントの中核的な推論方針から切り離しています。これにより、タスク性能に対する情報保持のエンドツーエンド最適化が妨げられます。

特定された核心的な課題は**文脈選別（Context Curation）**です。これは、焦点の絞られた目標関連の推論トレースを維持するために、情報を戦略的に選択、統合、剪定する必要性を指します。既存の手法は、これをエージェントに内在する学習可能な能力として扱えていません。

2. 手法：記憶を行動として（MemAct）

本論文は、外部メカニズムではなく、統一されたポリシー空間内の学習可能な行動のセットとして文脈管理を再概念化するMemActというフレームワークを提案します。

2.1 コアフレームワーク

MemAct は、エージェントの行動空間（ $\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$ ）に文脈選別を直接統合します。

統一ポリシー: 単一のポリシー $\pi_\theta$ が、タスク行動（検索やツール使用など）と記憶行動の両方を決定します。
Prune&Write 演算子: 主要な記憶行動は、その場での編集操作です。トリガーされると、エージェントは以下の手順を実行します：
1. 剪定（Prune）: 固有 ID によって識別された特定の過去の相互作用ターンを削除します。
2. 記述（Write）: 新しいメモ（要約、事実、または計画を含む）を生成し、それを文脈に追加します。
状態表現: 作業記憶は、一意にアドレス指定可能な相互作用記録の系列 $H_t = [z_1, z_2, \dots, z_k]$ としてモデル化されます。ここで、各記録には行動、観測、および固有 ID が含まれます。

2.2 訓練の課題：動的な文脈更新

MemAct の訓練における大きな障壁は、訓練と推論の不一致です。因果 LLM は文脈の単調な増加を前提としています。MemAct が内容を削除すると、後続のトークンのキー・バリュー（KV）キャッシュに符号化された因果依存関係が無効になります（削除された情報は、削除前に生成されたトークンの隠れ状態に物理的に影響を与え続けます）。単純な注意マスクでは不十分です。なぜなら、これではこれらの因果依存関係を切断できないからです。

2.3 解決策：動的文脈ポリシー最適化（DCPO）

動的な文脈更新を伴う効率的な強化学習（RL）を可能にするため、著者はDCPOを導入します。

軌道セグメンテーション: DCPO は、すべての記憶編集ポイントにおいてエージェントの相互作用軌道を論理的に分割します。
独立セグメント: 軌道は $K+1$ の独立したセグメント $\{\sigma_i\}$ に再編成されます。各セグメント内では文脈プレフィックスが固定され、安定した勾配計算に必要な標準的な自己回帰的因果構造が回復します。
最適化: ポリシーは、再構築された論理的に整合性のあるセグメントに対して、グループ相対正規化スキーム（GRPO に類似）を用いて最適化されます。これにより、勾配が正しい文脈履歴に対して計算されることを保証します。

3. 主要な貢献

パラダイムシフト: 記憶を行動としてを提案し、作業記憶の管理を外部ヒューリスティックから、内在的で学習可能なポリシー能力へと移行させます。これにより、エージェントは文脈選別とタスク実行のバランスを自律的に取ることが可能になります。
技術的革新:
- 固有 ID によるアドレス指定可能な系列と、微細な編集のためのPrune&Write演算子を用いて、作業記憶をマルコフ決定過程（MDP）として定式化しました。
- 動的な文脈更新を標準的なインフラ上での効率的な RL 訓練と両立させるDCPO（軌道セグメンテーションアルゴリズム）を開発しました。これにより、専用の変更なしに実装可能です。
実証的検証: 学習された記憶戦略が効率的で、適応的であり、一般化可能であることを実証しました。

4. 実験結果

著者は、MemAct を合成マルチ目的 QA データセット（HotpotQA ベース）および公開ベンチマーク（2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus）で評価しました。

性能と効率性:
- MemAct-RL-14B（140 億パラメータ）は、マルチ目的タスクで59.1%の精度を達成し、Qwen3-235B（2350 億パラメータ、53.1%）や専門的なTongyi-DeepResearch（56.0%）を上回りました。
- 規模が小さいにもかかわらず、MemAct-RL-14B は Qwen3-235B と比較してステップあたりの平均文脈長を**51%削減（3,500 トークン対約 7,000 トークン）し、総トークン消費量を51%**削減しました。
- 16 倍大きなモデルと同等の精度を、大幅に低い計算コストで達成しました。
一般化:
- 最大3 つの目的を持つタスクで訓練されたモデルは、8 つの目的を持つタスクに成功裡に一般化し、ベースラインが性能飽和に陥る状況でも高い精度を維持しました。
- 異なるモデル規模（7B と 14B）および新しいツール環境（BrowseComp-Plus）においても堅牢性を示しました。
学習された戦略:
- 7B モデル: 限られた文脈容量を補うため、頻繁で攻撃的な剪定（行動あたり約 7 件の記録を削除）を行うことを学習しました。
- 14B モデル: 二峰性の戦略を開発しました。推論中はノイズを除去するために微細な剪定（約 2 件の記録）、サブ目標完了後は中間ステップを整理するために粗い剪定（約 6 件の記録）を行います。
レイテンシ: MemAct は、プリフィル時間の削減とプレフィックスキャッシュのヒット率向上により、記憶行動を持たない RL ベースラインである Search-R1 と比較して、推論時間を**40%**短縮しました。

5. 意義と主張

本論文は、自律的な文脈選別を学習可能なスキルとして内在化でき、エージェント行動のための基礎的かつスケーラブルなアーキテクチャの構築ブロックとして機能すると主張しています。

内在的能力: 結果は、エージェントが外部の記憶マネージャーを必要とせず、推論の焦点を維持するために自らの作業記憶を「編集」することを学習できることを示唆しています。
スケーラビリティ: このフレームワークにより、小規模モデルは単なる生容量ではなく情報密度を最適化することで、はるかに大規模なモデルと競合することが可能になります。
適応性: システムは、バックボーンモデルの特定の容量に合わせた戦略を自律的に発見し、タスクの複雑さに応じて記憶行動の強度を調整します。

著者は限界を認めており、このアプローチはアノテーションが困難になり得るスパースな報酬に依存していること、および圧縮の損失性により要約された元のデータを復元できないことを指摘しています。しかし、彼らはこのアプローチが、システムレベルのインフラを補完する意思決定層における原理的なインターフェースを提供すると提唱しています。