💬 NLP

S $^4$ R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching

该论文提出了 S $^4$ R，一种结合了通过提示感知选择性采样来构建低秩子空间与在解码过程中进行稀疏重构的新型 KV 缓存压缩方法，在实现高达 5 倍压缩率且保持接近全量精度的情况下，避免了离线方法对校准数据的依赖以及在线全提示重构的高昂计算成本。

原作者： Jialong Han, You Wu, Kewei Tu

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jialong Han, You Wu, Kewei Tu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图记住一个宏大的故事并讲给一位朋友听。故事越长，要在脑海中同时保留每一个细节所消耗的“精神能量”就越多。在人工智能（特别是大语言模型，LLMs）的世界里，这种“精神能量”被称为“记忆”。这些模型非常聪明，但当它们尝试阅读或编写非常长的文档时（比如整本书或数小时的对话），它们会因为试图保存见过的每一个单词而耗尽内存。为了解决这个问题，科学家们一直在研究如何总结脑海中的故事，同时又不丢失重要的部分。他们尝试了两种主要的方法：要么记住一个适用于任何故事的通用摘要（这很快，但往往会错过重点），要么尝试总结正在阅读的这个特定故事（这很准确，但需要消耗巨大的时间和脑力进行计算）。

由此诞生了 S4R，这是由上海科技大学研究人员提出的一种新方法，旨在兼顾两者的优点。把 S4R 想象成一位超级聪明的图书管理员，她不仅不会死记硬背整个图书馆，也不会仅仅靠猜测书里的内容。相反，她会快速扫描几页关键页面以了解故事的大致氛围，将最初的几个句子（这些句子通常奠定了基调）保持在完美的细节水平，然后只提取她认为对写下一句话至关重要的特定页面。这使得 AI 能够处理海量文本，而不会耗尽内存，同时仍能准确地回答问题。研究人员在流行的 AI 模型上对其进行了测试，发现它能将所需的内存缩减高达 5 倍，同时保持 AI 的性能几乎与完美记住所有内容时一样出色。

问题所在：“东西太多”的困境

大语言模型就像是读完了整个互联网的学生。当它们回答问题时，并不只是在瞎猜；它们会回顾之前读过的所有内容，以确保答案合理。这种“回顾”需要一个特殊的存储区域，叫做 KV Cache（键值缓存）。你可以把 KV Cache 想象成一块白板，模型在上面写下阅读故事时最重要的事实。

问题在于，随着故事变得越来越长（从几句话变成一整部小说），这块白板会变得巨大无比。如果故事有 128,000 个单词长，白板占据的空间甚至可能比模型的“大脑”本身还要大！这使得 AI 运行起来既缓慢又昂贵。

科学家们尝试过两种解决方法，但都有缺陷：

“一刀切”法： 一些方法试图用一条适用于任何故事的固定规则来压缩白板。这很快，但如果故事很奇特或很独特，压缩过程可能会丢掉错误的细节，导致 AI 产生混乱。
“分析一切”法： 其他方法试图在阅读的同时分析特定的故事，以决定保留哪些内容。这非常准确，但就像是在第一次读一本书的同时试图总结它——这需要花费太多的额外时间，导致 AI 变得极其缓慢。

S4R 的解决方案：“聪明图书管理员”策略

S4R 方法（选择性采样、子空间和稀疏重构）就像一位聪明的图书管理员，她知道如何在不感到不知所措的情况下管理一座庞大的图书馆。它使用了三个主要技巧：

1. “锚点”页面（Sink Tokens）
研究人员注意到，故事开头的最初几句话通常起到了将整个内容粘合在一起的“胶水”作用。无论后来发生了什么，这些开篇行始终非常重要。S4R 将最初的这几个词（称为“sink tokens”）视为珍贵的文物。它以原始的高质量形式保留这些词，从不压缩它们。这确保了 AI 始终能完美记住故事的开头。

2. “快速扫描”（选择性采样）
与其尝试一次性阅读并总结整个 128,000 词的故事（这很慢），S4R 会进行一次快速的“嗅探测试”。它从故事中挑选出一小部分具有代表性的词汇样本——包括开头的一些和结尾的一些——以此来确定信息的通用“形状”或“子空间”。这就像翻阅一本书的几个随机页面来获取情节的大意，而不是逐字逐句地阅读。这使得模型能够构建出一个紧凑、高效的故事结构摘要，而无需进行分析每一个 token 的繁重工作。

3. “即时”检索（稀疏重构）
这是神奇的魔术。当 AI 需要写下一个词时，它不会尝试重构整个压缩后的故事，因为那太慢了。相反，它会查看紧凑的摘要并询问：“哪些部分与我当前正在写的文字相关？”

它始终保留最近的几个词（“局部窗口”），因为这些词通常是最重要的。
然后，它会扫描摘要，寻找来自很久以前的、其他几个“全局重要”的词，看是否可能被用到。
它只“重构”（恢复到完整细节）这些特定的词和最近的词。对于剩下的故事，它在那个特定时刻会予以忽略。

研究结果显示了什么

研究人员在两个主要挑战上测试了 S4R：LongBench（测试 AI 对长文档的理解能力）和 RULER（测试 AI 在“大海捞针”式的文本中寻找特定信息的能力）。他们使用了像 Llama 和 Qwen 这样的流行 AI 模型。

以下是他们的发现：

巨大的内存节省： S4R 能够将 KV cache 所需的内存缩减高达 5 倍。这是一件大事，因为这意味着 AI 可以在较小的计算机上运行，或者处理更长的故事。
准确度保持高水平： 尽管进行了如此大规模的压缩，AI 的准确度仍然非常接近“全量记忆”版本。在 LongBench 测试中，S4R 的得分几乎与未压缩的模型一样高，击败了其他试图过度压缩的方法。
速度取胜： 与其他试图在运行过程中分析整个故事的方法（例如名为 xKV 的方法）相比，S4R 快得多。在一次测试中，它将生成答案的启动时间从约 80 秒缩短到了 27 秒，并使整体写作速度比那些缓慢、沉重的处理方法快了约 4 到 5 倍。

核心结论

S4R 表明，你不需要完美地记住一切，也不需要盲目地猜测。通过保护好故事的“锚点”，进行智能的快速扫描以理解大局，并仅在下一步需要时才找回特定的细节，AI 模型可以变得更加高效。研究人员展示了这种方法在不同类型的 AI 模型和任务中都表现良好，为让长文本 AI 变得更快、更便宜提供了一种实用的途径。虽然该方法并非完美（与全量记忆相比，在处理某些极其特定的“大海捞针”任务时仍略显吃力），但它代表了让长文档 AI 普及化的重要一步。

技术摘要：S4R —— 用于压缩长上下文 KV 缓存的选择性采样、子空间与稀疏重构

1. 问题陈述

大语言模型（LLM）的上下文窗口扩展到数十万甚至数百万个 token，这造成了关键的内存瓶颈。键值（KV）缓存用于存储自回归生成过程中的中间计算结果，其大小随上下文长度线性增长，往往超过了模型参数本身的内存占用。

现有的 KV 缓存压缩方案在效率与适应性之间面临着根本性的权衡：

离线/固定方法： 如 Palu、LoRC 和 Eigen Attention 等方法，在校准数据或权重上进行低秩分解（如 SVD）。虽然在解码时效率很高，但它们对分布偏移非常敏感，且依赖于固定的压缩设计，可能无法与特定的提示词（prompt）对齐。
在线/提示词依赖型方法： 如 ShadowKV 和 xKV 等方法，在推理过程中从当前提示词中估计低秩表示。虽然对上下文偏移更具鲁棒性，但它们会产生极高的计算成本，特别是在预填充（prefilling）阶段，分解整个长提示词的开销巨大；此外，它们通常需要在解码期间进行全量缓存重构，从而损害吞吐量。

本文确定了一个空白点：一种既能结合固定压缩的低预填充开销，又能具备提示词依赖型方法的上下文适应性，且无需承担全提示词分解或全缓存重构成本的方法。

2. 方法论：S4R

S4R（选择性采样、子空间与稀疏重构）通过一个两阶段过程来解决这一困境：预填充（Prefilling）与解码（Decoding）。

2.1 预填充阶段：选择性子空间构建

S4R 并非对整个长序列应用奇异值分解（SVD），而是通过一个选择性采样的 token 子集来构建低秩子空间。

保留 Sink Token： 前 $s$ 个 token（被识别为作为全局枢纽的“sink tokens”）不参与压缩，并以全精度存储，以维持稳定的长程依赖。
混合采样： 对于剩余的非 sink token，S4R 使用混合策略采样一个具有代表性的子集 $X[I]$ $X [I]$ ：
1. 对早期位置进行均匀采样。
2. 选取最近的一个连续块。
归一化与 SVD： 对采样的键（keys）和值（values）沿特征维度进行归一化，以防止高幅值向量主导分解。随后对该子集执行截断 SVD，以导出低秩基底（ $B_K, B_V$ ）。
系数存储： 非 sink KV 状态被投影到这些学习到的基底上，仅存储低秩系数（ $C_K, C_V$ ），而非全维度的向量。
查询投影： 本地查询（queries）也被投影到相同的低秩子空间中，以便后续进行高效的相关性估计。

2.2 解码阶段：稀疏重构

在生成过程中，S4R 避免重构整个缓存。相反，它仅重构被认为相关的稀疏 token 集。

潜空间相关性估计： 直接在潜系数空间中估计 token 的相关性。将投影后的查询系数与缓存的键系数相乘，从而在不进行全量重构的情况下计算注意力逻辑值（attention logits）。
稀疏选择： 根据以下标准选择用于重构的 token 子集：
1. 局部窗口： 最近的 $W$ 个 token 始终被保留。
2. 全局重要性： 根据从潜空间中导出的平均相关性得分，从剩余的历史记录中选择前 $k$ 个 token。
稀疏重构： 仅将选定的局部和全局 token 从其系数中重构出来，利用学习到的基底。这些 token 与全精度的 sink tokens 拼接，以执行最终的注意力计算。

3. 核心贡献

提示词感知低秩压缩： S4R 从选择性采样的提示词 token 中构建键/值基底，而非使用外部校准数据或全量提示词，通过牺牲少量的预填充适应性来换取更好的上下文对齐。
稀疏重构策略： 通过在解码期间保留信息丰富的特定位置（局部窗口 + 全局重要 token），S4R 避免了全量缓存重构的计算瓶颈，显著提升了吞吐量。
Sink Token 保留： 该方法明确保留了前几个“sink”token 的全精度，解决了压缩关键全局注意力枢纽常导致的稳定性问题。
效率-准确度权衡： 该设计成功结合了固定方法的低预填充开销与提示词依赖型方法的适应性。

4. 实验结果

作者在 LongBench 和 RULER 基准测试上对 Llama (1B, 8B) 和 Qwen (4B, 14B) 模型系列进行了评估。

准确度：
- LongBench： S4R 在实现高达 5 倍 KV 缓存压缩的同时，保持了接近全量缓存基准的准确度。在 Qwen3-4B 上，它达到了平均分 47.79（对比全量缓存的 47.79），优于 Palu 等固定基准和具有竞争力的提示词依赖型方法 ShadowKV。
- RULER： 在 128k 上下文及 2.5 倍压缩率下，S4R 实现了 93.61 的平均分，几乎与全量 KV 缓存（93.97）持平，并略微超过了 xKV（93.47）。它在多键（multi-key）和多查询（multi-query）检索任务中表现尤为出色。
效率：
- S4R 大幅降低了提示词依赖型方法的开销。与 xKV 相比，S4R 将首字时间（TTFT）从 79.90s 降至 27.65s，并将 512 个 token 的生成延迟从 260.76s 降至 61.54s。
- 虽然在未优化的实现中比 Palu 等固定方法稍慢，但 S4R 在激进的压缩率下提供了更优的准确度-效率权衡。

5. 重要性与主张

论文声称 S4R 为长上下文 LLM 推理提供了一条实现自适应 KV 缓存压缩的实用路径。其主要意义在于解决了现有低秩方法的“困境”：

它避免了离线方法的校准数据依赖性。
它避免了在线方法高昂的预填充与重构成本。

通过证明可以从精心选择的 token 子集中近似主要的 KV 子空间，并且在每个解码步骤中无需进行全量重构，S4R 实现了高保真度的长上下文推理，同时显著减少了持久化内存占用并保持了可控的计算开销。作者指出，其实现尚未经过系统级优化，这意味着所报告的效率指标反映的是算法开销而非完全部署的系统，通过内核级优化仍有进一步提升的空间。