🤖 machine learning

CoMem: Context Management with A Decoupled Long-Context Model

CoMemは、 $k$ ステップオフの非同期パイプラインと報酬駆動型の学習を用いることで、メモリ管理を主要なエージェントのワークフローから分離し、長文脈のエージェントタスクにおいて高い性能を維持しつつ推論レイテンシを大幅に削減する新しいフレームワークである。

原著者： Yuwei Zhang, Chengyu Dong, Shuowei Jin, Changlong Yu, Hejie Cui, Hongye Jin, Xinyang Zhang, Hamed Bonab, Colin Lockard, Jianshu Chen, Zhenyu Shi, Jingbo Shang, Xian Li, Bing Yin

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuwei Zhang, Chengyu Dong, Shuowei Jin, Changlong Yu, Hejie Cui, Hongye Jin, Xinyang Zhang, Hamed Bonab, Colin Lockard, Jianshu Chen, Zhenyu Shi, Jingbo Shang, Xian Li, Bing Yin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、COMEMの論文を、独創的な比喩を用いて分かりやすく解説したものです。

大きな問題：「過負荷状態の司書」

想像してみてください。あなたには、膨大なソフトウェアのコードベースのバグを修正するといった、複雑なパズルを解く仕事を持つ、非常に賢い司書（AIエージェント）がいます。この仕事をするためには、司書はこれまでの会話の全履歴と、行われたすべてのアクションを読み返す必要があります。

会話が長くなる（数千ステップに及ぶ）につれ、司書は、どこへ行くにも巨大な本の積み重ね（インタラクション履歴）を抱えて歩かなければならなくなります。

ボトルネック： 司書が意思決定を行うたびに、この巨大な本の山の中から正しいページを探すために、ページをめくり直さなければなりません。
結果： 司書はどんどん動作が遅くなっていきます。コンピュータの用語では、これは**レイテンシ（遅延）**と呼ばれます。コンピュータのメモリ（本棚）がいっぱいになりすぎて、司書のスピードに追いつけなくなり、システム全体が停滞してしまうのです。

解決策： COMEM（「デカップリング（分離）」アプローチ）

この論文の著者であるCOMEMは、図書館を整理するための賢い新しい方法を提案しています。メインの司書に重い本を運ばせる代わりに、専門的で素早い助手（メモリモデル）を雇うのです。

その仕組みは、以下のステップで行われます。

1. 役割分担

メインの司書（エージェントモデル）： これは最終的な決定を下す、強力で大きな脳です。非常に賢いのですが、重い荷物を運ぶのは苦手です。
助手（メモリモデル）： これはより小さく、高速で軽量な作業員です。その唯一の仕事は、古い重い本を読み、何が起きたのかを短く簡潔な要約として書き出すことです。

2. 「Kステップ・オフ」パイプライン（リレーレース）

従来の方法では、司書は助手が要約を終えるのを待ってから次の行動に移っていました。これが列（待ち時間）を生んでいました。

COMEMは、リレーレース方式を導入しました：

助手が、k ステップ前の履歴をバックグラウンドで要約します。
メインの司書が要約を作成している間も、司書は「最新のメモ」と「前回の要約」を使って作業を続けます。
司書が「新しい要約」を必要とする頃には、助手がすでに作成を終えています。
魔法のような効果： 要約にかかる時間は、司書がすでに別の作業で忙しくしている間に実行されるため、「隠蔽」されます。司書が作業を止めて待つことはありません。

3. 「十分統計量」による学習（助手への教育）

ここで疑問が生じるかもしれません。「もし助手が要約しすぎて、重要な詳細を忘れてしまったらどうなるのか？」

これを解決するために、著者たちは単に助手に「良い英語」を書くよう教えたのではありません。彼らは報酬システムを用いて助手を訓練しました。

まず、助手に長い履歴を見せます。
次に、メインの司書にこう尋ねます：「もし『完全な』履歴を持っていたら、あなたはどうしますか？」（これが正解です）。
そして、司書にこう尋ねます：「もし『助手の要約』しか持っていなかったら、あなたはどうしますか？」
目標： 助手が、完全な履歴を持っていた時と全く同じ決定を司書が下せる場合にのみ、助手に「報酬」が与えられます。
これにより、助手は「十分統計量」、つまり正しい選択をするために必要な最小限の情報だけを残し、不要な部分は切り捨てる方法を学びます。

結果：より速く、よりスマートに

この論文は、ソフトウェアのバグ修正（非常に長く複雑なタスク）を伴う実世界の課題である SWE-Bench でこのシステムをテストしました。

スピード： COMEMは、標準的な手法よりも1.4倍から2.08倍高速になりました。多くのタスクが同時に走る高負荷な状況では、5倍近く高速になりました。
パフォーマンス： 要約を使用しているにもかかわらず、システムは、すべてを読み込む低速で重いシステムとほぼ同等のバグ解決率を達成しました。
スケーラビリティ（拡張性）： 同時に多くのタスクを実行すればするほど、COMEMの真価が発揮されます。システムがメモリによって「詰まる」ことを防ぎます。

まとめ

COMEMを、AIのためのスマートな交通管制官と考えてみてください。巨大なトラック（AI）が大量の荷物を運びすぎて渋滞に巻き込まれるのではなく、COMEMは、その荷物を小型で高速な配送バイク（メモリモデル）の艦隊へと積み替え、トラックと並行して走らせます。トラックはフルスピードで進み続け、バイクはバックグラウンドで重労働をこなし、ドライバーが立ち止まることなく常に最新の地図を手に入れられるようにするのです。

これにより、AIエージェントは、動作が遅くなったりコストがかさんだりすることなく、非常に長く複雑なタスクを処理できるようになり、実社会での活用がより現実的なものになります。

技術要約: COMEM - 分離された長文コンテキストモデルによるコンテキスト管理

1. 問題提起

本論文は、ソフトウェアエンジニアリングや科学的発見といった長期的なタスク（long-horizon tasks）において、LLMエージェントをデプロイする際に直面する深刻な計算レイテンシとメモリのボトルネックに対処している。現代のLLMは、数百万トークンに及ぶコンテキストウィンドウをネイティブに受け入れることができるが、オンラインのエージェント推論中にこれらを利用することは、コスト面で極めて困難である。

核心となる問題は、**自己回帰的デコーディング段階（auto-regressive decoding stage）にある。相互作用の履歴（ $\tau$ ）が増大するにつれ、Key-Value (KV) キャッシュのフットプリントは線形に拡大する。プリフィル（prefill）段階は計算量に依存し並列化が可能であるが、デコーディング段階はメモリ帯域幅に依存（memory-bound）**する。生成されるトークンごとにKVキャッシュ全体をフェッチすることは、GPUの高帯域幅メモリ（HBM）を飽和させ、ユーザー体験を低下させ、システムのスループットを制限する高いレイテンシを引き起こす。

既存のソリューションは以下の2つのカテゴリーに分類されるが、それぞれ限界がある：

コンテキスト削減: スライディングウィンドウ・アテンションのような戦略は、遠方の依存関係を想起する能力を犠牲にする。一方、検索拡張生成（RAG）は高レベルのプロシージャルな状態を捉えることに失敗することが多く、推論が断片化される原因となる。
システムレベルの最適化: PagedAttention、スパース・アテンション、KVキャッシュ量子化などの技術はスループットを向上させるが、毎ステップのデコーディングにおいて、膨大かつ静的な相互作用履歴に再注目するという冗長性を排除できない。最終的に、これらの最適化されたエンジンであっても、相互作用のトレースが増大するにつれて「レイテンシの壁」に突き当たる。

2. 手法: COMEMフレームワーク

著者らは、メモリ管理を主要なエージェントのワークフローから切り離すフレームワークであるCOMEMを提案する。単一の巨大なモデルに履歴の圧縮とポリシー生成の両方を強制するのではなく、COMEMは、専用の軽量な要約モデルに長文コンテキスト処理をオフロードする。

2.1 アーキテクチャの分離

システムは2つの明確なコンポーネントで構成される：

メモリモデル ( $f$ ): パラメータ数が少なく、軽量なデコーディングメカニズムを持つ、ネイティブな長文コンテキストモデル。その役割は、長期的な履歴（ $\tau_{<t}$ ）を簡潔な潜在的要約状態（ $s_t$ ）へと圧縮することである。
エージェントモデル ( $\pi$ ): 圧縮された要約と、直近の生の相互作用の短期バッファに基づいてアクションを生成する、より高性能で大規模なモデル。

形式的には、エージェントのポリシーは以下のように定義される：
$a_t \sim \pi(a_t | s_t, C_t; \theta_\pi)$
ここで、 $s_t = f(\tau_{<t-k})$ は圧縮された要約であり、 $C_t$ は直近の $k$ ステップの生のターンを表す。

2.2 $k$ -step-off 非同期パイプライン

メモリモデルが履歴を圧縮している間にエージェントがアイドル状態になるのを防ぐため、COMEMは $k$ -step-off 非同期パイプラインを導入している：

遅延する要約: メモリモデルは、エージェントから $k$ ステップ遅れてバックグラウンドで実行される。
オーバーラップ: メモリモデルがステップ $t$ までの履歴を圧縮している間、エージェントは、最新の利用可能な要約（ $s_{t-k}$ ）と直近の生の相互作用のバッファを結合して使用することで、ステップ $t+1$ から $t+k$ までを実行し続ける。
キャッシュ管理: 新しい要約が利用可能になると、エージェントのKVキャッシュは無効化され、フルでのアンキャッシュ・プリフィルが実行される。サイクルの続く $k-1$ ステップの間、エージェントはキャッシュされたプレフィックスを再利用するため、オーバーヘッドは無視できるほど小さい。

この設計により、長文コンテキストの圧縮という重い処理を非同期で行うことが可能になり、コンテキスト処理のレイテンシを隠蔽（masking）することができる。

2.3 報酬駆動型学習 (GRPO)

標準的な要約モデルは、最適なエージェントの意思決定に必要な「十分統計量（sufficient statistics）」を捉えることに失敗することが多い。これに対処するため、著者らは**Group Relative Policy Optimization (GRPO)**を用いた学習戦略を導入した。

目的: メモリモデルは、テキストの質ではなく、**機能的等価性（functional equivalence）**に基づく報酬を最大化するように訓練される。
メカニズム: エージェントモデル（ $\pi$ ）は凍結されたままにする。候補となる要約 $s$ に対して、エージェントはアクション $\hat{a}_t$ を生成する。報酬 $R(s)$ は、フルコンテキストのエージェントによって生成された正解アクション $a^*_t$ との類似度である。
結果: これにより、メモリモデルは、高価なオンライン環境との相互作用を必要とせずに、エージェントがフルコンテキストのポリシーを復元するために必要な情報のみを蒸留し、無関係なノイズを破棄するように強制される。

2.4 理論的分析

論文では、純粋なレイテンシ削減を確実にするために、フルコンテキストの長さ（ $L_{full}$ ）に対する要約の長さ（ $L_{sum}$ ）に関する理論的境界を提供している。デコーディングの高速化は、一度限りの要約のプリフィルコストを相殺する必要がある。導出された不等式は、典型的な高スループット設定（例：A100上のQwen3-32B）において、高速化を実現するためには、要約の長さがフルコンテキストの長さの約23%未満である必要があることを示唆している。

3. 主な貢献

分離されたアーキテクチャ: メモリ管理と推論を分離し、効率的な履歴圧縮のために特化した軽量モデルの使用を可能にするフレームワーク。
非同期推論: メモリの要約とエージェントの実行をオーバーラップさせる、新しい $k$ -step-off パイプラインにより、コンテキスト処理のレイテンシを効果的に隠蔽する。
機能的整合性: GRPOを用いて、メモリモデルをエージェントの意思決定ニーズに適合させる学習手法を提供し、圧縮された要約が十分統計量を捉えることを保証する。
実証的検証: フルコンテキストのベースラインに対して競争力のある性能を維持しながら、大幅なレイテンシ削減を実現することを広範な実験で示した。

4. 実験結果

本フレームワークは、3つのエージェント・バックボーン（DeepSWE (32B), Qwen3-Coder-Max (480B), GLM-4.7 (355B)）を用いて SWE-Bench-Verified で評価された。

レイテンシの改善: COMEMは、バニラの長文コンテキスト・ソリューションと比較して、エンドツーエンドの推論時間において 1.4倍から2.08倍 の高速化を達成した。
- 高い並列度（バッチサイズ 256）における GLM-4.7 では、2.52倍 の高速化に達した。
- 高い並列度レベルにおけるピーク時のステップあたりの高速化は 4.95倍 に達した。
性能の維持:
- DeepSWE バックボーンにおいて、COMEM (GRPO) は 41.0% の解決率を達成し、フルコンテキストのベースライン（40.4%）をわずかに上回った。
- より大規模なモデルについては、報酬駆動型学習がベースおよびSFT変体と比較して性能を大幅に回復させ、フルコンテキストの上限との差を縮めた。
スケーラビリティ: レイテンシの利点は、システムのスループットが増加するにつれて有利にスケールする。フルコンテキストのベースラインは、高い並列度におけるKVキャッシュの飽和による非線形なレイテンシ爆発に苦しむが、COMEMは線形なスケーリングを維持する。
リソース効率: 単一の 4B メモリモデルサーバーは、約 300 個の同時実行 GLM-4.7 エージェントインスタンス をサポートでき、アーキテクチャ上のオーバーヘッドがスケール時には無視できることを示している。

5. 意義と主張

本論文は、COMEMがエージェントの推論とメモリ圧縮を独立して最適化するためのモジュール化された道筋を提供すると主張している。計算負荷をクリティカルなデコーディングパスから並列化可能なバックグラウンドプロセスへと移行することで、COMEMは優れた効率性と有効性のトレードオフを実現する。

著者らは、このアプローチが以下をもたらすと強調している：

デプロイの障壁を低減: リアルタイムアプリケーションにおける高度なエージェントのデプロイにおけるレイテンシとメモリ要件を下げ、長文コンテキスト機能をリソース制約のあるハードウェアでも利用可能にする。
「グリーンAI」の実現: 複雑な長期的エージェントタスクに必要な計算リソースとエネルギーを大幅に削減し、大規模なLLM推論のカーボンフットプリントを低減する。
既存技術との補完性: 本フレームワークは、スパース・アテンションのようなアーキテクチャの最適化とは直交しており、COMEMにおける基礎となるメモリモデルは、さらなる効率化のためにそのような技術をさらに採用することができる。

結論として、メモリ管理を分離することは、現在のエージェント・システムに固有のレイテンシの壁を克服するための、実行可能かつ必要な戦略であり、法外な計算コストを負うことなく複雑な多段階の問題を解決することを可能にする。

大きな問題： 「過負荷状態の司書」