💻 计算机科学

Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents

本文通过引入“批处理观测掩码”（batched observation masking）和“ObsDrop”——一种在释放陈旧工具观测数据同时保留逻辑标记前缀的 KV 缓存级技术——解决了编码智能体中上下文压缩与前缀缓存之间的冲突，从而在不损害任务质量的前提下显著提升了吞吐量和延迟。

原作者： Musa Cim, Burak Topcu, Mahmut Kandemir

发布于 2026-11-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Musa Cim, Burak Topcu, Mahmut Kandemir

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个旨在编写代码、修复软件漏洞或解决复杂工程问题的计算机程序。这些“编码智能体”（coding agents）并非以单次爆发的方式工作，而是与大语言模型进行着长期的、循环的对话。在每一步中，智能体会进行思考，向工具（如打开文件或运行测试）发出指令，然后读取结果。接着，它重复这一过程，将新的结果添加到其历史记录中。随着时间的推移，这段历史会演变成一份包含数万个单词的海量文档。为了让系统持续运行，计算机必须记住这段对话中的每一个字，以便理解当前步骤。这种内存需求造成了沉重的负担，使系统变慢并增加了运行成本。

为了管理这堆不断增长的文本，工程师们开发了缩减历史记录的方法，这个过程被称为“上下文压缩”（context compaction）。最常用的方法是简单地删除对话中的旧部分，或者用一段简短的摘要来替换它们。然而，这种方法隐藏着一个陷阱。现代计算机在重复利用已完成的工作方面效率极高。如果一个新的请求与之前的请求开头完全相同，计算机就可以跳过繁重的计算，直接处理新的部分。但如果即使只是轻微地删除了或改写了对话的开头，计算机就会失去对过去的记忆，必须从头开始进行沉重的计算。这项研究背后的研究人员发现，通过编辑文本来节省空间的行为本身，往往会迫使计算机做更多的工作，从而抵消了任何节省下来的开销，有时甚至会让系统变得更慢、更昂贵。

来自宾夕法尼亚州立大学的研究团队致力于理解这种“节省空间”与“节省时间”之间的冲突。他们观察到，编码智能体在每一步中都会自然地重复几乎整个对话历史。因为历史记录主要是不断被添加的，就像一本你只在底部写新条目的日记一样，计算机可以近乎完美地复用之前的计算，实现 98% 到 99% 的复用率。内存成本最大的部分并非来自智能体的思考，而是来自它接收到的原始数据，例如文件的内容或软件测试的日志。研究人员发现，当他们使用标准方法删除或总结这些旧文件时，他们破坏了复用的链条。计算机被迫重新读取并重新计算删除点之后的所有内容，将一个快速的任务变成了缓慢且昂贵的任务。

为了解决这个问题，研究人员首先测试了一种对删除方式进行的简单调整。他们不再在每一步之后都删除信息，而是尝试每隔几步才删除一次。这种被称为“批量掩码”（batched masking）的小改动，使得计算机能够保持更长时间的记忆完整性。它将智能体需要携带的文本量减少了高达一半，同时仍能保持计算机极高的内存复用率，处于 95% 到 98% 之间。这种方法将运行智能体的成本降低了高达 18%，并使任务完成速度提高了高达 21%。这是一个实用的修复方案，不需要对底层计算机软件进行任何更改，只需采用更聪明的删除调度方式即可。

然而，团队意识到即使有了这种改进，仍然涉及对文本的改写，这不可避免地会在删除时刻破坏记忆链。随后，他们开发了一种更先进的解决方案，称为 ObsDrop。ObsDrop 不在智能体看到的文本中删除单词，而是在计算机内存内部进行操作。它保持文本原样，因此计算机仍然可以识别模式并复用之前的计算。但在后台，它会悄悄释放掉那些不再需要的旧数据的内存槽位，例如不再需要的文件内容。这使得计算机能够保持逻辑历史的完整性以保证速度，同时在物理层面释放出所需的空间，以便同时运行更多的智能体。

研究人员在运行多个智能体的强大服务器上测试了这个新系统。他们发现，随着智能体数量的增加，标准方法开始显得吃力，系统在内存耗尽或必须不断重新计算时，运行速度会大幅下降。相比之下，ObsDrop 系统保持了其速度和效率。在重负载下，它能够处理比以前多出 2.45 到 2.85 倍的工作量，在某些特定配置下，其性能提升甚至达到了原始速度的五倍以上。该系统在承受压力时，并未损失智能体产出工作的质量。

这项工作为人工智能的未来提供了一个至关重要的启示：管理智能体的内存不仅在于你保留了多少文本，更在于你如何保留它。通过理解计算机复用过去工作的能力是脆弱的，研究人员表明，有效的管理需要在丢弃数据的同时，保留对话的结构。他们的新方法 ObsDrop 提供了一种兼得之道：既有更精简的内存占用，又有更快速、响应更及时的系统，确保这些强大的编码工具在应对未来的复杂问题时，不会被自身的历史记录所拖累。

技术摘要：延迟或永不破坏：面向编码智能体的前缀保持型上下文压缩

问题陈述

编码智能体通过在不断增长的、仅追加（append-only）的历史记录（包含推理过程、工具调用和工具观测结果）上重复调用大语言模型（LLM）来工作。这种工作负载非常有利于前缀缓存（prefix caching），因为每次新请求通常会复用之前绝大部分的上下文，使得服务端引擎可以跳过针对重复 Token 的昂贵“预填充（prefill）”阶段。

然而，上下文压缩（随着轨迹增长，为了管理内存和成本所必需的步骤）与前缀缓存之间存在着关键冲突。传统的压缩方法（如截断、掩码或摘要化）会重写提示词历史。由于前缀缓存依赖于精确的 Token 匹配，对提示词进行的任何编辑都会使该前缀及其后续 Token 的键值（KV）缓存失效。这迫使系统重新计算（重新预填充）整个后缀，从而抵消了缓存带来的计算节省。本文指出，虽然工具观测结果（文件视图、测试日志）构成了上下文成本的大部分，但通过提示词层面的编辑移除它们会破坏前缀缓存，可能导致更短的提示词比未修改的长提示词更难进行服务。

方法论

作者从提示词层级和 KV 缓存层级两个层面对这一交互进行了表征并提出了解决方案。

1. 表征与提示词层级的缓解措施

成本解剖： 研究使用 Qwen3-Coder 和 Devstral-Small 模型，分析了 SWE-bench（已验证及多语言版本）上的编码智能体轨迹。研究发现，在不进行压缩的情况下，前缀缓存命中率高达 98–99%。成本主要由重新读取工具观测结果引起，而非重新计算。
现有策略评估：
- 滑动窗口（Sliding Window）： 丢弃最旧的轮次。虽然它减少了提示词长度，但会移动前缀的起始点，导致每一轮都要对窗口进行 100% 的重新预填充。这导致了高昂的服务成本和较低的任务成功率。
- 观测掩码（Observation Masking）： 用占位符替换旧的观测结果。虽然其对任务成功率的保持优于滑动窗口，但它在每一步仍会对提示词进行编辑，从而使前缀缓存失效并强制进行重新预填充。
- LLM 摘要化（LLM Summarization）： 用摘要替换历史。这引入了解码开销（生成摘要的过程），并且可能会丢失关键信息，从而降低在多语言基准测试上的任务成功率。
分批观测掩码（Batched Observation Masking）： 作者提出了一种简单的缓解方案，即观测掩码不是每一步都应用，而是每隔 $k'$ 轮（例如每 8 步）应用一次。这摊薄了破坏前缀的成本，在减少上下文长度的同时，保留了 95–98% 的前缀复用。

2. ObsDrop：KV 层级的压缩

为了彻底解决压缩与缓存之间的冲突，作者引入了 ObsDrop，一种将逻辑 Token 序列（发送给模型的提示词）与物理 KV 驻留（存储在 GPU 显存中的内容）解耦的机制。

机制： ObsDrop 保持提示词和 Token 位置不变，以确保前缀匹配依然有效。然而，它会从 GPU 显存中释放对应于陈旧工具观测结果的 KV 条目。
实现：
- SGLang： 在 RadixAttention 缓存中实现。ObsDrop 识别观测范围，将其 KV 插槽索引替换为预留的“死亡”插项（索引为 0），并将物理插槽返回给分配器。随后，注意力算子被指示跳过这些死亡插槽。
- Sparse-vLLM： 实现为一个独立的层，在保持逻辑前缀结构的同时释放旧观测结果的 KV 条目。
优化： 为了避免运行时开销，死亡插槽的追踪由 CPU 处理，且注意力索引列表在执行 CUDA 图（CUDA graphs）之前通过单次 GPU 传递进行剪枝。

核心贡献

表征： 本文证明了提示词编辑是此前被忽视的压缩成本组成部分。在编码智能体中，由于前缀复用率极高，破坏前缀缓存带来的成本往往高于通过压缩节省的内存成本。
前缀感知型提示词压缩： 作者展示了分批观测掩码（每 $k'$ 步进行一次掩码）是一种实用的、与引擎无关的解决方案，它在减少高达 50% 上下文长度的同时，保留了 95–98% 的前缀复用。
ObsDrop： 一种新型的 KV 层级压缩机制，它可以在不改变逻辑提示词的情况下回收陈旧观测结果的内存。这使得系统能够在维持前缀匹配的同时，减少 KV 驻留和注意力计算的工作量。
端到端评估： 在不同的并发水平下，使用 FlashInfer 和 Triton 后端，对 SGLang 和 Sparse-vLLM 进行了全面的评估。

结果

提示词层级（分批掩码）：
- 将平均上下文长度减少了高达 50%。
- 将服务成本降低了高达 18%，并将任务完成时间（TCT）缩短了高达 21%。
- 保持了与不进行压缩时相当的任务成功率。
KV 层级（ObsDrop）：
- 吞吐量： 在高并发（16 个智能体）下，与不进行压缩相比，ObsDrop 在使用 FlashInfer 时实现了 2.45× 至 2.85× 的吞吐量提升，在使用 Triton 后端时提升高达 5.37×。
- 延迟： ObsDrop 通过防止缓存驱逐以及随之而来的重新预填充循环（这是“无压缩”场景中的痛点），显著降低了内存压力下的尾部延迟（p95 TTFT）。
- 效率： ObsDrop 在不同模型和引擎下减少了 19–44% 的被注意 Token 量，直接降低了计算成本。
- 质量： 任务成功率与“无压缩”基准线保持接近，不像激进的摘要化或滑动窗口方法那样会导致性能下降。

意义与主张

本文认为，针对编码智能体的有效上下文管理不仅要考虑保留哪些 Token，还要考虑压缩如何与服务的缓存机制进行交互。

权衡： 作者声称，压缩与前缀缓存之间的冲突是根本性的。提示词层级的编辑不可避免地会破坏缓存复用，而 ObsDrop 通过在 KV 层级进行操作解决了这一问题。
系统性影响： ObsDrop 提供了一个原语，允许服务端引擎在不破坏前缀缓存所需的逻辑历史的情况下回收内存。这对于面临内存压力、进而导致尾部延迟剧增的并发工作负载尤为关键。
适度主张： 作者承认，最优的批处理间隔（ $k'$ ）可能因轨迹而异，且他们在 vLLM 中的实现仍需进一步实现块标识（block identity）与 KV 驻留的解耦。他们将 ObsDrop 定位为一种针对特定“仅追加、重观测”工作负载的解决方案，而非所有压缩技术的通用替代品。

总之，本文表明，通过在物理上丢弃陈旧观测数据同时保留逻辑前缀，智能体可以在不牺牲任务质量的前提下，实现显著的性能和成本提升。