🤖 machine learning

CoMem: Context Management with A Decoupled Long-Context Model

CoMem 是一个新颖的框架，它通过使用 $k$ 步偏移异步流水线和奖励驱动训练，将内存管理从主要智能体工作流中解耦，从而在保持长上下文智能体任务高性能的同时，显著降低推理延迟。

原作者： Yuwei Zhang, Chengyu Dong, Shuowei Jin, Changlong Yu, Hejie Cui, Hongye Jin, Xinyang Zhang, Hamed Bonab, Colin Lockard, Jianshu Chen, Zhenyu Shi, Jingbo Shang, Xian Li, Bing Yin

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuwei Zhang, Chengyu Dong, Shuowei Jin, Changlong Yu, Hejie Cui, Hongye Jin, Xinyang Zhang, Hamed Bonab, Colin Lockard, Jianshu Chen, Zhenyu Shi, Jingbo Shang, Xian Li, Bing Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 COMEM 论文的解释，通过简单的概念和富有创意的类比进行了拆解。

核心问题：被“压垮的图书管理员”

想象你有一位才华横溢、极其聪明的图书管理员（AI Agent/智能体），他的工作是解决复杂的谜题，比如修复大规模软件代码库中的漏洞（Bug）。为了完成这项工作，他需要阅读至今为止所有的对话历史和采取过的每一个行动。

随着对话变得越来越长（达到数千步），这位图书管理员在移动时必须随身携带一叠越来越厚的书（交互历史）。

瓶颈： 每次图书管理员需要做决定时，他都必须翻阅这叠厚重的书，寻找正确的页面。
结果： 图书管理员变得越来越慢。用计算机术语来说，这就是延迟（Latency）。计算机的内存（书架）变得太满，无法跟上图书管理员的速度，导致整个系统陷入停滞。

解决方案：COMEM（“解耦”方法）

该论文的作者提出了 COMEM，这是一种组织图书馆的聪明新方法。他们不再强迫主图书管理员搬运沉重的书堆，而是雇佣了一位专门的、快速的助手（记忆模型/Memory Model）。

以下是其运作步骤：

1. 分工明确

主图书管理员（Agent Model/智能体模型）： 这是拥有强大大脑的核心，负责做出最终决策。他非常聪明，但在搬运重物时动作缓慢。
助手（Memory Model/记忆模型）： 这是一个更小、更快、更轻量级的员工。他的唯一任务就是阅读那些沉重的旧书，并写出一份简明扼要的摘要。

2. “K步偏移”流水线（接力赛）

在旧的方法中，图书管理员必须等待助手完成摘要编写后才能进行下一步，这造成了排队等待。

COMEM 引入了一个接力赛系统：

助手在后台工作，对 k 步之前的历史记录进行总结。
在助手编写摘要的同时，主图书管理员利用最近的笔记和上一个摘要继续工作。
当图书管理员需要新摘要时，助手已经完成了编写工作。
神奇之处： 总结所花费的时间被“隐藏”了起来，因为它发生在图书管理员已经在忙碌工作的过程中。图书管理员永远不需要停下来等待。

3. “充分统计量”训练（教导助手）

你可能会问：“如果助手总结得太多，把重要的细节给弄丢了怎么办？”

为了解决这个问题，作者并没有仅仅教助手如何写出“优美的英语”，而是使用了一种奖励机制来训练它：

他们向助手展示一段长长的历史记录。
然后询问主图书管理员：“如果你拥有完整的历史记录，你会怎么做？”（这是正确答案）。
接着，他们询问图书管理员：“如果你只有助手的摘要，你会怎么做？”
目标： 只有当图书管理员在使用摘要时做出的决策与使用完整历史记录时的决策完全一致时，助手才会获得“奖励”。
这教会了助手保留“充分统计量”——即做出正确选择所需的绝对最小信息量——同时丢弃掉那些冗余的废话。

结果：更快、更聪明

论文在 SWE-Bench 上测试了这个系统，这是一个涉及修复软件漏洞（一项非常漫长且复杂的任务）的真实挑战。

速度： COMEM 比标准方法快了 1.4 倍到 2.08 倍。在某些高压环境下（即同时运行许多任务时），它的速度提升了近 5 倍。
性能： 尽管使用了摘要，该系统的表现几乎与那个阅读所有内容的缓慢、沉重的系统一样出色。
可扩展性： 同时运行的任务越多，COMEM 的优势就越明显。它防止了系统因内存问题而变得“拥堵”。

总结

可以将 COMEM 看作是 AI 的智能交通控制器。与其让一辆巨大的卡车（AI）因为载货过多而卡在交通中，COMEM 将货物卸载到一群小型、快速的配送自行车（记忆模型）上，这些自行车与卡车并行运行。卡车保持全速前进，而自行车在后台处理繁重的搬运工作，确保驾驶员始终拥有最新的地图，而无需停下脚步。

这使得 AI 智能体能够处理非常漫长且复杂的任务，而不会变得缓慢或昂贵，使其在现实世界的使用中更具实用价值。

技术摘要：COMEM —— 基于解耦长上下文模型的上下文管理

1. 问题陈述

本文解决了在部署用于长程任务（如软件工程或科学发现）的大语言模型（LLM）智能体时所遇到的严重的计算延迟和内存瓶颈问题。虽然现代 LLM 原生支持数百万 token 的上下文窗口，但在在线智能体推理过程中利用这些窗口的成本是极其高昂的。

核心问题在于自回归解码阶段。随着交互历史（ $\tau$ ）的增长，键值（KV）缓存的占用空间呈线性扩张。与属于计算密集型且可并行化的预填充（prefill）阶段不同，解码阶段是**内存受限型（memory-bound）**的。为生成每个 token 而获取整个 KV 缓存会使 GPU 的高带宽内存（HBM）饱和，导致高延迟，从而降低用户体验并限制系统吞吐量。

现有的解决方案主要分为两类，但各有限制：

上下文缩减（Context Reduction）： 诸如滑动窗口注意力等策略会牺牲对远距离依赖关系的召回能力；而检索增强生成（RAG）往往无法捕捉高层级的程序状态，导致推理过程碎片化。
系统级优化： PagedAttention、稀疏注意力以及 KV 缓存量化等技术提高了吞吐量，但并未消除在每次解码步骤中重新关注大规模静态交互历史所带来的冗余。最终，随着交互轨迹的无限增长，这些优化的引擎仍然会撞上“延迟墙”。

2. 方法论：COMEM 框架

作者提出了 COMEM，一个将内存管理从主要智能体工作流中解耦的框架。COMEM 不再强迫单个大模型同时处理历史压缩和策略生成，而是将长上下文处理任务卸载给一个专门的、轻量级的摘要模型。

2.1 架构解耦

该系统由两个不同的组件组成：

内存模型 ( $f$ )： 一个参数量较小且具有轻量级解码机制的原生长上下文模型。其作用是将长期历史（ $\tau_{<t}$ ）压缩成简洁的潜在摘要状态（ $s_t$ ）。
智能体模型 ( $\pi$ )： 一个更强大、参数量更大的模型，它基于压缩后的摘要和近期原始交互的短期缓冲区来生成动作。

形式上，智能体的策略定义为：
$a_t \sim \pi(a_t | s_t, C_t; \theta_\pi)$
其中 $s_t = f(\tau_{<t-k})$ 是压缩后的摘要， $C_t$ 代表最近 $k$ 轮的原始交互。

2.2 $k$ -步偏移异步流水线

为了防止智能体在等待内存模型压缩历史时处于闲置状态，COMEM 引入了 $k$ -步偏移异步流水线：

滞后摘要： 内存模型在后台运行，比智能体滞后 $k$ 个步骤。
重叠执行： 在内存模型压缩截至步骤 $t$ 的历史时，智能体继续执行步骤 $t+1$ 到 $t+k$ ，使用最新的可用摘要（ $s_{t-k}$ ）并拼接一段近期原始交互的缓冲区。
缓存管理： 当新的摘要准备就绪时，智能体的 KV 缓存会被失效，并执行一次完整的无缓存预填充。在随后的 $k-1$ 个循环步骤中，智能体会重用已缓存的前缀，从而产生极低的开销。

这种设计允许沉重的长上下文压缩工作异步进行，从而掩盖了上下文处理带来的延迟。

2.3 奖励驱动训练 (GRPO)

标准的摘要模型往往无法捕捉对于最优智能体决策所需的“充分统计量”。为了解决这一问题，作者引入了一种使用**群体相对策略优化（GRPO）**的训练策略。

目标： 训练内存模型以最大化基于功能等价性而非文本质量的奖励。
机制： 智能体模型 ( $\pi$ ) 保持冻结。对于候选摘要 $s$ ，智能体生成一个动作 $\hat{a}_t$ 。奖励 $R(s)$ 是 $\hat{a}_t$ 与由全上下文智能体生成的地面真值动作 $a^*_t$ 之间的相似度。
结果： 这迫使内存模型仅提取实现全上下文策略所需的必要信息，丢弃无关噪声，而无需进行昂贵的在线环境交互。

2.4 理论分析

论文提供了一个关于摘要长度（ $L_{sum}$ ）相对于全上下文长度（ $L_{full}$ ）的理论边界，以确保实现净延迟降低。解码加速必须能抵消摘要的一次性预填充成本。推导出的不等式表明，在典型的吞吐量设置下（例如 A100 上的 Qwen3-32B），摘要长度必须小于全上下文长度的约 23%，才能实现加速。

3. 核心贡献

解耦架构： 一个将内存管理与推理分离的框架，使得使用专门的轻量级模型进行高效历史压缩成为可能。
异步推理： 一种新型的 $k$ -步偏移流水线，通过将内存摘要化与智能体执行重叠，有效地掩盖了上下文处理延迟。
功能对齐： 一种使用 GRPO 的训练方法，使内存模型与智能体的决策需求对齐，确保压缩后的摘要能够捕捉充分统计量。
实证验证： 通过广泛的实验，证明了在保持与最先进的长上下文基准模型相当的性能的同时，实现了显著的延迟降低。

4. 实验结果

该框架在 SWE-Bench-Verified 上进行了评估，使用了三种智能体骨干网络：DeepSWE (32B)、Qwen3-Coder-Max (480B) 和 GLM-4.7 (355B)。

延迟改进： 与传统的长上下文方案相比，COMEM 在端到端推理时间上实现了 1.4 倍至 2.08 倍 的加速。
- 在高并发（Batch Size 为 256）的 GLM-4.7 环境下，加速比达到了 2.52 倍。
- 在高并发水平下，单步峰值加速达到了 4.95 倍。
性能保持：
- 在 DeepSWE 骨干网络上，COMEM (GRPO) 实现了 41.0% 的解决率，略高于全上下文基准（40.4%）。
- 对于更大的模型，奖励驱动训练显著恢复了性能（相比于基础版和 SFT 版本），缩小了与全上下文上限的差距。
可扩展性： 延迟收益随系统吞吐量的增加而表现良好。由于全上下文基准在并发量高时会因 KV 缓存饱和而遭受非线性延迟爆炸，而 COMEM 则能保持线性扩展。
资源效率： 单个 4B 参数的内存模型服务器可以支持约 300 个并发的 GLM-4.7 智能体实例，证明了其架构开销在规模化应用时几乎可以忽略不计。

5. 意义与主张

论文声称，COMEM 为智能体推理与内存压缩的独立优化提供了一条模块化路径。通过将计算负担从关键的解码路径转移到可并行的后台进程，COMEM 实现了卓越的效率-有效性权衡。

作者强调，这种方法：

降低了部署门槛： 降低了在实时应用中部署复杂智能体的延迟和内存要求，使长上下文能力在资源受限的硬件上变得触手可及。
助力“绿色 AI”： 显著减少了执行长程智能体任务所需的计算资源和能源，降低了大规模 LLM 推理的碳足迹。
对现有技术具有互补性： 该框架与稀疏注意力等架构优化是正交的；COMEM 中的底层内存模型可以进一步采用此类技术以实现更高的效率。

研究结论认为，解耦内存管理是克服当前智能体系统固有延迟墙的一项可行且必要的策略，使智能体能够在不承担高昂计算成本的前提下，解决复杂的、多步骤的问题。