💻 computer science

Still: Amortized KV Cache Compaction in a Single Forward Pass

该论文介绍了 Still，一种轻量级、可重用的逐层 Perceiver，它通过单次前向传播实现摊销的 KV 缓存压缩，在极高的压缩比和上下文长度下，实现了卓越的速度-质量权衡，并支持迭代式长时程推理。

原作者： Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Still: Amortized KV Cache Compaction in a Single Forward Pass》的解释，采用了简单的语言和富有创意的类比。

问题所在：“无限”笔记本

想象一个大型语言模型（比如一个超级聪明的 AI 助手）正在阅读一本非常长的书以回答问题。为了记住它读过的内容，AI 在大脑旁边准备了一个“笔记本”（称为 KV Cache）。每当它读到一个新词，它就会在笔记本上记下一条笔记。

问题在于： 如果这本书只有 100 页，笔记本还很小。但如果这本书有 1,000,000 页，笔记本就会变得巨大。最终，笔记本会大到无法放入计算机的内存（RAM）中。
目前的解决方案：
1. 丢弃信息： AI 查看它的笔记，并删除它认为无聊的部分。这种方法很快，但可能会不小心把包含答案的那句关键话语也扔掉。
2. 重写全文： AI 尝试将整本书总结成一段简短的话。这很聪明，但每次读新页面时都要花很长时间去做这件事。

解决方案：“Still”（智能总结者）

作者引入了一个名为 Still 的新工具。你可以把 Still 想象成一个极其高效、即时的编辑，它坐在 AI 和笔记本之间。

Still 不仅仅是简单地删除笔记或重写整本书，它做了一件聪明的事：它观察整个笔记本，并瞬间将其压缩成一张精炼且高质量的总结卡片。

工作原理（类比）

想象你是一位博物馆馆长，拥有一个巨大的文物库（完整的笔记本）。你需要将它们全部装进一个很小的展示柜（压缩后的缓存）中，以便于搬运。

旧方法（选择法）： 你随机挑选 10 件文物，然后把剩下的扔掉。你可能会丢失最重要的那件。
旧方法（综合法/针对特定上下文）： 你坐下来，为这个特定的图书馆精心制作一份完美的总结。这很棒，但需要耗费数小时。如果来了一个新的图书馆，你必须从头开始。
“Still”的方法： 你拥有一台神奇相机（Perceiver 模块）。你对着整个图书馆拍张照，相机瞬间将图像处理成一张完美的 4x6 尺寸卡片，这张卡片包含了图书馆的所有精华。
- 关键点： 你只需要学习如何使用这台相机一次。之后，你就可以在任何图书馆上使用它，无需停下来思考或计算，实现即时处理。

为什么 “Still” 很特别

1. 它很快（“单次前向传播”技巧）
大多数智能总结器在看到新文本时都需要进行大量的数学计算。Still 不同。它被训练成了一个“快速前向传播”过程。

类比： 想象一位厨师正在为汤切蔬菜。
- 旧方法： 厨师在切菜前要精确测量每一根胡萝卜和洋葱（慢）。
- Still： 厨师拥有预训练的肌肉记忆。他们动作流畅，一气呵成地切完整堆蔬菜。这发生在单个步骤中。

2. 它很聪明（综合 vs. 选择）
Still 不仅仅是挑选“最好的”笔记来保留；它会将它们混合在一起，创造出全新的、超高密度的笔记。

类比： 如果你有一个包含 1,000 本书的图书馆，一个“选择器”可能会保留其中最优秀的 50 本书。而 Still 会提取这 1,000 本书中的思想，并将它们融合进 50 本新的“超级书籍”中，这些书包含了原著的 DNA。这意味着即使答案隐藏在一条会被简单选择器删掉的句子中，Still 也能保留它。

3. 它适用于长篇故事（迭代压缩）
论文表明 Still 可以反复使用。随着 AI 一章接一章地阅读故事，Still 可以压缩第一章的记忆，然后压缩第二章的记忆，以此类推。

类比： 想象你在写日记。每天晚上，你不再保留每一页纸，而是写下当天的单页总结。第二天，你阅读昨天的单页总结，加入今天的事件，然后写下新的单页总结。你可以永远这样做，而不会让你的日记变得太重。

结果（论文的发现）

作者在不同的模型（Qwen 和 Gemma）以及不同的文本长度（从 8,000 字到 128,000 字）上测试了 Still。

速度 vs. 质量： 他们发现 Still 处于“黄金平衡点”。它比最聪明的总结器更快，也比简单的“删除无聊内容”的方法更准确。
极端压缩： 即使我们将记忆压缩了 200 倍（让 128k 文档的空间缩减到仅相当于 600 字的文档），Still 仍能让 AI 保持足够聪明来正确回答问题。
总结能力： 它不仅适用于回答多项选择题，也适用于撰写自由形式的总结。

局限性（不足之处）

论文诚实地说明了 Still 目前还不能做到的事情：

它不是魔法： 如果你压缩得过度（例如 200 倍）处理极长文本，你会丢失一些细节。它并非完美无缺。
需要训练： 你必须为每个使用的特定 AI 模型训练一个特定的 “Still” 模块。你不能直接把它插到任何模型中而不需要任何设置。
精确回忆： 如果你需要 AI 从 100,000 字前的某个地方逐字逐句地背诵出某个句子，Still 可能会感到吃力。它擅长理解含义，但不是一个完美的复印机。

总结

Still 是一个新工具，它让 AI 助手能够在不耗尽内存的情况下记住海量文本。它通过将整个记忆瞬间“蒸馏”成一张精炼且智能的总结卡片来实现。它足够快，可以用于实时处理；足够聪明，可以保留重要细节；并且足够灵活，可以处理持续数小时的故事。

技术摘要：Still：单次前向传播中的摊销式 KV Cache 压缩

1. 问题陈述

KV（键值）缓存是部署长周期大语言模型（LLM）（如多日编码智能体或仓库级推理任务）时的主要内存瓶颈。目前的部署策略面临着“全或无”的选择：

无损缓存（Lossless Caching）： 缓存随上下文长度线性增长，最终触及内存极限。
有损替代方案（Lossy Alternatives）： 微调、检索增强生成（RAG）或文档摘要等方法放弃了模型的内部表示结构和保真度。

现有的 KV 缓存压缩方法分为两类，各有其局限性：

选择法（Selection Methods）： 这些方法对 Token 进行评分并剔除一部分（例如 H2O, SnapKV）。它们虽然轻量，但受限于原始 Token 子集的结构，这意味着它们无法合成新信息，且在紧凑的压缩预算下性能下降迅速。
合成法（Synthesis Methods）： 这些方法通过组合内容来创建新的紧凑表示（例如 Attention Matching, Cartridges）。虽然具有表达能力，但它们通常需要在推理时进行针对特定上下文的优化（拟合），这在需要重复进行压缩的迭代式、长周期轨迹中计算成本过高，且不切实际。

本文确定了一个缺口，即需要一种既是摊销的（训练一次，重复应用而无需针对特定上下文进行优化）、又是合成的（能够融合信息超越简单的选择），且足够轻量以在推理期间运行的方法。

2. 方法论：Still

作者引入了 Still，一种专为冻结的预训练模型设计的学习型 KV 缓存压缩原语。

架构

Still 由一个针对冻结基座模型训练的、每层独立的微型 Perceiver 模块组成。

输入： 对于每个 Transformer 层，压缩器接收前缀的完整逐层 KV 缓存 ( $K, V$ )。首先对 Key 进行“去旋转”（un-rotated）处理以移除旋转位置嵌入（RoPE），将其置于无位置感的框架中。
潜在查询（Latent Queries）： 压缩器为每一层维护一组学习到的潜在查询 ( $Z$ )。这些查询通过交叉注意力机制与完整的 KV 缓存进行交互。
处理过程： 潜在变量通过包含以下内容的 Pre-norm 块进行处理：
1. 交叉注意力（Cross-Attention）： 从潜在变量到完整的 KV 缓存。
2. 自注意力（Self-Attention）： 在潜在变量之间。
3. 前馈网络（FFN）： 可选子层。
输出： 最终的潜在状态通过线性头投影，生成大小为 $t \times d$ 的紧凑 Key ( $C_k$ ) 和 Value ( $C_v$ )，其中 $t \ll T$ （原始序列长度）。
位置处理： 生成的紧凑 Key 在被写回缓存前，会在选定的输出位置重新进行旋转处理。Value 则保持不旋转状态。
偏置通道（Bias Channel）： 支持可选的偏置头 ( $\beta$ )，但在所有报告的结果中均将其禁用 ( $\beta=0$ ) 以简化部署。

训练

目标： 使用前向 KL 散度（forward KL divergence）来训练压缩器，其中“教师”是使用完整未压缩缓存的冻结基座模型，“学生”是使用紧凑缓存的同一模型。损失函数仅针对答案侧的 Token 进行掩码处理。
数据： 训练使用包含四个领域的抽取式多项选择问答数据集（金融、普鲁斯特/古腾堡计划、法律、代码）。
效率： 基座模型的权重保持冻结；仅训练压缩器的参数。压缩器仅增加了基座模型约 1% 的参数量（例如，对于 Qwen3-4B，约为 50M 参数）。

运行模式

单次通过压缩（Single-Pass Compaction）： 模型运行完整的 Prefill 以生成完整缓存，随后由 Still 进行压缩。生成过程继续使用紧凑后的缓存。
迭代分块压缩（Iterative Chunked Compaction）： 对于随时间到达的长周期上下文，Still 支持循环调度。模型处理分块 Token，并在每个块结束后将累积的缓存压缩至固定大小。这使得系统能够处理远超训练周期的上下文，前提是压缩器是在足够长的迭代周期上训练的。

3. 核心贡献

摊销合成（Amortized Synthesis）： Still 证明了摊销合成（学习一次编码器）优于摊销选择（学习一次评分器）在长上下文压缩中的表现。它避免了选择法的“子集限制”，也规避了合成法“针对特定上下文优化”的成本。
单次前向传播： 不同于需要为每个新上下文进行优化步骤的逐上下文合成方法，Still 通过学习到的模块在单次前向传播中完成压缩。
迭代长周期能力： 由于压缩是一个前向传播过程，Still 可以随着新上下文的到来进行迭代应用，从而实现了一种在逐上下文拟合方法中无法实现的长周期运行模式。
泛化性： 该方法可跨越不同模型规模（4B 到 32B）、架构（稠密模型和 MoE）以及注意力机制（全局注意力和滑动窗口注意力）进行迁移。

4. 结果

论文评估了从 8× 到 200× 的压缩率以及从 8k 到 128k 的上下文长度。

速度-质量前沿（Speed-Quality Frontier）： 在 Qwen 和 Gemma 模型上，Still 占据了速度-质量前沿的有利位置。它在整个矩阵中都能保持准确且快速，而基于选择的方法在紧凑预算下性能下降，且基于逐上下文合成的方法速度过慢。
RULER 基准测试： 在匹配训练设置下的 RULER 基准测试中，Still 在 18 个单元格中有 16 个表现优于最强的摊销选择基线（KV-Distill），准确率领先 8–22 个百分点。
迁移性能： 在零样本迁移设置（在混合领域 MCQ 上训练，在 RULER 上测试）中，尽管由于训练与测试不匹配导致差距缩小，但 Still 仍保持了对 KV-Distill 的显著领先。
摘要任务： Still 支持自由形式的摘要。在 HELMET (multi_lexsum) 上，它在 8k–64k 上下文中保留了 74–95% 的全上下文增益，优于 Attention Matching 和 KV-Distill。在 LongBench v1 上，它在与 KV-Distill 的成对比较中胜出 60%。
迭代压缩： Still 支持迭代分块压缩。虽然如果训练周期相对于部署周期过短（例如，在 8k 训练的压缩器在 128k 时崩溃），性能会下降，但通过在更长的迭代周期（16k, 32k）上进行训练，模型可以吸收远超其物理容量的上下文。

5. 意义与主张

论文声称，摊销使长上下文缓存压缩变得可行，而合成使紧凑状态在极端压缩下依然有用。

可行性： 通过学习优化器（压缩器）一次，系统避免了逐上下文方法不断叠加的拟合成本，使得迭代式长周期部署成为可能。
表达力： 合成允许紧凑缓存融合来自任意多个位置的信息，克服了 Token 选择的信息密度上限。
实用性： Still 足以轻量到可以在推理期间反复调用，支持答案选择和自由形式生成，且无需修改基座模型的权重。

作者承认的局限性

非无损： 在最困难的 128k 设置下，全上下文推理仍然更优。
训练周期约束： 迭代压缩并非免费的外推；压缩器的性能受限于训练周期。支持 1M Token 需要在比例更长的周期上进行训练，这非常昂贵。
精确检索： 当前的循环机制在精确检索和“大海捞针”（needle-in-a-haystack）任务上较弱，即使它能保留用于更广泛 MCQ 任务的语义证据。
内存 vs 延迟： 在单次通过模式下，Still 减少了保留的缓存大小，但并未消除初始的全上下文 Prefill 延迟。
部署要求： 每个基座检查点都需要其对应的训练好的压缩器，这增加了参数和训练数据的开销。