💬 NLP

End-to-End Context Compression at Scale

本文介绍了潜在上下文语言模型（Latent Context Language Modelss, LCLMs），这是一个在海量数据集上训练的编码器-解码器压缩器家族，通过降低内存使用量和压缩时间，同时保持高模型质量，显著提升了长上下文推理的准确率-效率前沿。

原作者： Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, San

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢、超级聪明的助手（一个大语言模型），他可以阅读数百万页的文本。问题在于，他的“工作记忆”非常小（就像一个微型笔记本）。每当你给他们一份长文档阅读时，他们必须把每一行字都写在那个笔记本上才能记住。如果文档太长，笔记本就会填满，助手会感到不堪重负，整个过程会变得极其缓慢且昂贵。

这篇论文介绍了一种名为 潜性上下文语言模型 (Latent Context Language Models, LCLMs) 的新工具来解决这个问题。你可以把 LCLMs 想象成一个位于你和助手之间的超高效“总结专家”或“压缩专家”。

以下是它的工作原理，使用简单的类比：

1. 问题所在：“笔记本”瓶颈

目前，如果你要求 AI 阅读一本 100 页的书，它会尝试将这 100 页中的每一个字都保留在它的活跃记忆中（KV 缓存）。

类比： 想象一下，你在跑马拉松时试图在口袋里揣着一本 100 页的书。这很重，会减慢你的速度，最终你的口袋会被撑破（内存耗尽）。
旧方案： 以前的方法试图扔掉它们认为不重要的页面（比如删除章节），或者尝试缩小字体。但这些方法往往会导致助手忘记关键细节，或者需要花费大量时间去“编辑”这本书，因此并不划算。

2. 解决方案：“智能压缩” (LCLM)

作者创建了一个系统，它不仅仅是删除文字，而是将书翻译成一种高度浓缩的秘密代码。

编码器 (翻译官)： 这是一个更小、更专门的 AI，它逐块（例如按段落）读取你的文本，并将其转化为单个、稠密的“思想标记 (thought token)”。
- 类比： 与其给助手整本 100 页的书，不如让编码器读完一页，然后只写下一个完美的句子来捕捉这一页的全部含义。它对整本书进行此操作，将 100 页变成仅仅 10 个句子。
解码器 (助手)： 这是你想使用的主要 AI。它接收的是这 10 个压缩后的句子，而不是那 100 页的内容。因为“笔记本”现在变得小得多，助手可以瞬间阅读它，消耗更少的能量，并且依然能理解故事。

3. 它是如何构建的（“配方”）

作者并非凭空猜测如何构建它；他们测试了数千种变化，以找到完美的配方。

“均值 (Mean)” vs. “拼接 (Concat)” 测试： 他们尝试了不同的组合信息的方式。
- 类比： 想象你拥有 16 种食材来做汤。
  - 选项 A (拼接/Concat)： 你把所有 16 种食材分开放在一个大碗里。
  - 选项 B (均值/Mean)： 你把所有 16 种食材搅拌在一起，变成一碗浓郁顺滑的肉汤。
- 他们发现，对于非常长的文本，混合它们 (均值池化/Mean Pooling) 效果最好，能创造出一种平滑、信息密集的“浓汤”，让助手能够轻松消化。
训练： 他们通过向系统喂入海量数据（3500 亿个单词）来教导这个系统，在阅读普通文本和阅读压缩文本之间交替进行。这教会了系统即使在被缩减的情况下，也能保留原始文本的“风味”。

4. 结果：更快、更轻、更聪明

论文声称他们的系统开创了一个“新前沿”，让你获得两全其美：

速度： 处理长文档的速度显著提升。
- 类比： 与其在图书馆里走来走去寻找一本书，LCLM 给出了一个直接指向正确书架的地图。
内存： 它使用的计算机内存要少得多。
- 类比： 你现在可以用背包背起整个图书馆，而不是用手推车。
准确度： 不同于那些会让助手变“笨”或健忘的旧方法，LCLMs 保持了助手的高智能。它们仍然可以回答棘手的问题，并找到隐藏在文本中的特定细节。

5. “智能体 (Agent)”功能：“展开”按钮

论文还展示了这如何应用于 AI 智能体（执行任务的机器人）。

场景： 假设一个智能体需要在庞大的代码库（一个巨大的软件项目）中寻找一个特定的漏洞 (bug)。
技巧： 智能体首先阅读整个代码库的压缩版本，以获得“鸟瞰图”。它看到了整体结构，并大致知道问题可能在哪里。
“展开 (Expand)”工具： 一旦智能体在压缩视图中发现了可疑区域，它可以按下**“展开”**按钮。系统随后会将那个特定的小块重新解压回完整的、详细的文本，以便智能体能够精确地修复漏洞。
类比： 这就像是先看城市地图来找到正确的街区，然后放大查看具体的街道地址。你不需要同时观察城市里的每一条街道；只有当你需要时才进行放大。

总结

该论文提出了一种处理海量文本的新方法。与其强迫 AI 携带沉重、笨拙的原始数据负载，不如使用一个聪明的“压缩专家”将数据缩减为轻量级、高质量的摘要。这使得 AI 能够以更快的速度、更少的内存处理更长的文档，同时不会丧失理解细节的能力。

技术摘要：大规模端到端上下文压缩

问题陈述

长上下文推理在大型语言模型（LLMs）中日益受到内存和延迟的限制，这是由于键值（KV）缓存随上下文长度线性增长所导致的。虽然近期的 KV 缓存压缩技术试图通过剔除缓存条目或训练紧凑型缓存来缓解这一问题，但它们面临着显著的局限性：

质量与效率的权衡： 许多方法会大幅降低模型性能，或者需要不具备泛化能力的领域特定训练。
推理引擎兼容性： 在不同注意力头或层中非均匀地剔除条目的技术，难以集成到现代生产级推理引擎（如 vLLM、SGLang）中，因为这些引擎假设序列长度是共享的。
预填充开销： 许多方法要求在压缩前先完成完整上下文的预填充，这抵消了潜在的延迟收益，或者需要大量的额外计算时间。
软标记（Soft-Token）的局限性： 现有的编码器-解码器“软标记”方法通常依赖于离线预处理，无法保持基础模型的广泛上下文行为，或者仅在狭窄的领域特定任务上进行评估，而非在信息密集的长上下文基准测试中进行评估。

本文探讨的核心问题是：能否训练出一种通用的、与任务无关的压缩器，在显著减少内存使用和推理时间的同时，保留模型的原始能力。

方法论

作者引入了 潜在上下文语言模型（Latent Context Language Models, LCLMs），这是一个由端到端训练的编码器-解码器压缩器组成的家族。其核心架构通过一个编码器将输入标记序列 $x_{1:T}$ 映射为较短的潜在嵌入序列 $z_{1:M}$ ，随后通过一个适配器进行投影，并由解码器代替原始上下文进行消费。

架构设计

通过从零开始的大规模架构搜索，作者确定了最优的设计选择：

池化（Pooling）： 研究发现 均值池化（Mean pooling） 优于基于标记（EOS/CLS）的池化，并且在高压缩比（16×）下与拼接方式（concatenation）表现相当。
编码粒度： 采用了 1024 个标记 的编码器窗口大小 ( $W$ )，这使得编码器能够关注比压缩块大小 ( $N$ ) 更大的局部上下文，而不会产生过高的内存开销。
注意力掩码（Attention Masking）： 编码器内部的 因果掩码（Causal masking） 在表现上始终优于双向掩码。
适配器（Adapter）： 一个轻量级的 MLP 适配器（不含自注意力机制）被证明比基于注意力的适配器在将编码器潜在表示投影到解码器维度方面更有效且更高效。
初始化： 从预训练嵌入模型（Qwen3-Embedding-0.6B）而非标准 LLM 进行初始化，提供了更好的初始表示，尽管随着大规模训练的进行，这种差距逐渐缩小。

训练方案

作者开发了一个多阶段训练方案，以防止灾难性遗忘并确保稳定性：

阶段 0（适配器热身）： 冻结编码器和解码器；仅训练适配器。
阶段 1（编码器训练）： 解冻编码器；保持解码器冻结。
阶段 2（持续预训练）： 解冻解码器并使用较小的学习率；在混合了下一标记预测和重构数据的任务上进行端到端训练。
阶段 3（监督微调）： 在 SFT 数据上进行训练，以增强模型在使用压缩输入时的指令遵循和推理能力。

训练数据包含精心策划的混合数据，涵盖代码、文本、推理和长上下文文档。至关重要的是，预训练数据采用了 交错格式，其中压缩段（包裹在特殊标记中）与未压缩段交替出现，从而强制模型在多个位置对潜在上下文进行条件化，而非仅仅在开头进行。

智能体集成

作者提出了一个智能体系统，该 LCLM 智能体接收整个压缩后的上下文。智能体可以有选择地调用 EXPAND（展开） 工具，以检索特定段落的原始未压缩文本，从而实现一种“略读并缩放（skim-and-zoom）”的策略，用于处理长程任务。

关键结果

LCLM 系列（具体为 0.6B 编码器和 4B 解码器）在包括 RULER、LongBench、LongHealth 和 GSM8K 在内的基准测试中，分别在 4×、8× 和 16× 压缩比下进行了评估。

帕累托前沿（Pareto Frontier）： LCLMs 建立了准确性-效率权衡中的新帕累托前沿。与 KV 缓存压缩基准（如 SnapKV、KVzip、Attention Matching）相比，它们实现了显著更快的首字延迟（TTFT）和更低的峰值 GPU 显存占用，尤其是在高压缩比下。
准确性保持： 在 16× 压缩下，LCLMs 在长上下文基准测试中保持了较高的准确性（例如，在 RULER 16k 上约为 65%，而全量 KV 为 93%），显著优于那些准确率往往跌至 20-40% 以下的基准方法。
内存效率： 不同于 KV 缓存方法其内存随完整上下文长度扩展，LCLM 的内存使用量在长上下文下趋于平缓，因为编码器处理的是固定大小的窗口。这使得 LCLMs 能够在单张 H200 GPU 上处理高达 1M token 的上下文，而基准方法在 512K 或 1M token 时就会出现显存溢出。
细粒度性能： 在 GSM8K（短、高密度上下文）上，LCLMs 在所有压缩比下均实现了最高的准确性，证明了它们不仅限于长上下文问答，还能有效压缩信息密集的输入。
智能体性能： 具有自适应展开功能的智能体系统显著提高了“大海捞针（needle-in-a-haystack）”任务中的精确字符串匹配准确率，通常能达到与未压缩模型相当的性能，同时保留了压缩上下文的效率。

意义与主张

本文声称 LCLMs 为长上下文推理提供了一种实用、可扩展的解决方案，且与标准的生产级推理引擎兼容。通过将压缩负担转移到更小的、可并行化的编码器上，LCLMs 将上下文长度带来的内存和延迟成本与解码器的生成过程解耦。

作者强调，其方法：

保留通用能力： 与以往会导致性能下降或需要任务特定微调的软标记方法不同，LCLMs 在通用任务、推理和指令遵循方面保持了强大的性能。
实现自适应检索： 与智能体框架的集成允许动态展开相关上下文，弥合了全局语料库可见性与细粒度信息检索之间的鸿沟。
可扩展性： 该方法在商用硬件（H200 GPU）上能有效扩展至百万级 token 上下文，克服了目前限制长程 LLM 系统部署的内存瓶颈。

这项工作表明，学习型的端到端压缩是启发式 KV 缓存剔除的一种可行替代方案，为拥有持久工作记忆的长程智能体提供了稳健的基础。