💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold 是一种简单且无需训练的长上下文推理协议，它将 KV 缓存视为左折叠累加器，从而在不要求模型重新训练或架构变更的情况下，实现跨深层链的稳定且内存高效的序列处理。

原作者： Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、超级聪明的图书管理员（即 AI 模型），他能阅读一本书并回答关于这本书的问题。但有一个限制：这位管理员的桌子非常小。他一次只能摊开几页书。如果你给他一本 1000 页的小说，他无法一次性读完整本书，否则桌子会溢出来。

通常，为了解决这个问题，我们会告诉管理员要么：

忘记开头：只查看最后几页（就像滑动窗口）。
总结过去：尝试将整个故事压缩成一张小纸条（但这往往会丢失细节）。
建造更大的桌子：但这既昂贵，而且对于巨著来说往往是不可能的。

KV-Fold 是一种新颖巧妙的技巧，它让管理员能够在不需要更大桌子、不需要总结、也不忘记开头的情况下，阅读整本完整的书。

核心思想：“折叠”技巧

把书想象成一条长长的纸条。与其试图一次性读完整条纸条，不如将其切成小块、易于管理的段落。

第一段：管理员阅读第一段。在阅读过程中，他在一张特殊的“便利贴”上做笔记（这就是KV 缓存）。这张笔记包含了他们刚刚阅读内容的精髓，但以一种允许他们日后回顾具体细节的方式呈现。
下一段：当他们移动到第二段时，他们不会扔掉第一张便利贴。相反，他们将第二段的新笔记紧接在第一段的笔记旁边粘贴。现在，他们拥有了一条更长的笔记带。
递归过程：他们持续这样做。阅读一段，将笔记添加到不断增长的笔记带上，然后移动到下一段。

论文将这种方法称为“左折叠”。想象将一张长纸反复折叠。每一次折叠都增加新的一层，但之前的层仍然在下面，并且可以访问。管理员带着这堆不断增长的笔记，一步步向前推进。

重大惊喜：它不会变得“混乱”

你可能会想：“如果我不断往堆里添加笔记，最终管理员会感到困惑。第 1 页的笔记可能会在第 500 页的噪音中丢失。”

论文发现了一个惊人的事实：管理员并不会感到困惑。

“漂移”平台期：起初，当管理员从第一段切换到第二段时，他们的思维方式会略有转变（就像适应一个新房间）。但在仅仅几步之后，这种转变就停止了。它达到了一个“平坦的平台期”。
稳定状态：即使在阅读了数百个段落（在他们的测试中高达 511 步）之后，管理员的表现也不会变得越来越差。它保持稳定。就好像管理员找到了一个舒适的节奏并坚持了下来。
精度无关紧要：即使你改变管理员用来测量事物的“尺子”（从高精度数学改为低精度数学），结果依然保持不变。这种稳定性是内建在逻辑中的，而不仅仅是数学上的。

“大海捞针”测试

为了证明这行之有效，研究人员玩了一个名为“大海捞针”的游戏。

游戏规则：他们将一个特定的句子（“针”）隐藏在一份巨大的文档（“干草堆”）深处。
测试：他们要求管理员在阅读完整个文档后找到那个句子。
结果：
- 旧方法（流式处理）：如果针在前几页，管理员能找到。如果针在中间或末尾，管理员就忘记了，因为“桌子”太小了。
- KV-Fold：管理员100% 地找到了针，即使它被埋在 128,000 字文档的最开头。即使在阅读了随后的数百个段落之后，他们仍然能够回忆起第一段中的确切细节。

为什么这很重要（无需术语）

无需重新训练：你不需要教管理员一种新的思维方式。你只需要改变如何把书递给他们。管理员本身已经足够聪明，能够完成这项工作；我们只是给了他们一个更好的工作流程。
内存权衡：管理员仍然需要在桌子上保留所有笔记（KV 缓存）。因此，随着书变长，桌子也会变大。然而，这比试图在脑海中一次性容纳整本书要好得多，而这对当前的计算机来说是不可能的。
精确回忆：与那些总结或丢弃旧页的方法不同，KV-Fold 保留了每个细节的可访问性。如果你询问关于第一句话的内容，管理员仍然可以找到它。

总结类比

想象你在给朋友讲一个长长的故事。

旧方法：你只记得故事最后 5 分钟的内容。如果我问起开头，你会说：“我不知道。”
KV-Fold 方法：你保留一份清单，列出你到目前为止提到的每个角色和情节要点。当你讲述故事的下一部分时，你会瞥一眼清单以记住每个人是谁。即使清单变长了，你也不会因此感到困惑。你仍然可以回答：“第一句话里那只狗的名字是什么？”因为那个名字仍然在你的清单上，被完美地保存着。

这篇论文表明，AI 模型已经内置了这种“清单”能力。我们只需要意识到，我们可以将其用作一个重复循环，从而在不突破计算机内存限制的情况下阅读无限长度的书籍。

技术摘要：KV-Fold

问题陈述

大型预训练 Transformer 受限于全注意力机制的二次方内存成本以及单次前向传播的固定上下文窗口。尽管近期模型支持的上下文窗口可达数十万 token，但现实世界的工作负载（例如仓库级代码、纵向医疗记录）往往超出这些限制。现有解决方案面临一个持久的权衡：

流式方法（如 StreamingLLM）通过仅保留最近的 token 和“注意力 sinks"来维持有界内存，但它们一旦信息滑出滑动窗口，便失去了检索能力。
KV 缓存压缩和循环记忆方法通常需要对模型进行修改、微调，或引入有损近似，从而降低检索保真度。
全注意力在标准硬件上对极长序列进行计算是不可行的，因为注意力分数矩阵的规模巨大（例如，在 40GB GPU 上，128K 序列的注意力分数矩阵约为 1 TB）。

本文探讨了一个预训练冻结的 Transformer 能否在不改变架构或无需训练的情况下，将其内部状态跨越连续的数据块传递，以循环方式执行长上下文推理。

方法论：KV-Fold

作者提出了KV-Fold，这是一种无需训练的推理协议，将 Key-Value (KV) 缓存视为对序列数据块进行左折叠（foldl）时的累加器。

机制：长度为 $T$ $T$ 的长序列被划分为长度为 $C$ $C$ 的数据块。当处理第 $t$ $t$ 个数据块时，模型执行一次前向传播，其中：
1. 查询（ $Q$ ）由当前数据块的 token 生成。
2. 键（ $K$ ）和值（ $V$ ）通过将来自所有先前数据块（$0 $到$ t-1$）的累积 KV 缓存与当前数据块的 KV 状态拼接而成。
3. 位置编码（RoPE）在数据块边界处连续应用，以维持绝对序列对齐。
4. 扩大的 KV 缓存被传递到第 $t+1$ 个数据块。
状态：模型参数保持冻结。不引入特殊的记忆 token 或微调。KV 缓存随序列长度线性增长，充当模型过去计算的结构化、未压缩记录。
类比：该过程类似于函数式编程中的左折叠，其中 KV 缓存作为累加器状态，在每个数据块边界处由单步循环函数 $F_\theta$ 进行更新。

主要贡献

KV-Fold 协议：一种简单的操作性转变，通过跨数据块传递累积的 KV 缓存，将标准 Transformer 转化为循环长上下文模型。
循环的稳定性：实证证据表明，由此产生的循环不会遭受无界误差累积。相反，“漂移”（与全注意力相比的对数似然负值差异）会短暂上升，随后饱和为一个平坦的 plateau，并在深层链条中持续存在。
结构性漂移与数值性漂移：该 plateau 被证明是注意力动力学的结构性属性，而非数值伪影。它在数值精度提高 10,000 倍（从 bf16 到 fp32）的情况下保持稳定，并在不同模型系列（OLMoE、Qwen、Llama）和数据块大小下具有鲁棒性。
精确的长距离检索：该方法在长距离上保留了精确的事实信息。在“大海捞针”基准测试中，KV-Fold 在高达 128K token 的上下文和高达 511 的链条深度下实现了 100% 的精确匹配检索，与全注意力性能相当。
实际权衡：本文刻画了该方法在内存与检索谱系中的位置。虽然它需要线性内存增长（不同于有界内存的流式方法），但它实现了流式方法失效的任意深度的检索，使得在无法支持单一单体前向传播的硬件上运行全注意力等效检索成为可能。

主要结果

漂移饱和：在 Qwen2.5-7B-Instruct 上，漂移在第 7 层深度时饱和，并一直保持在第 63 层深度平坦，在第 15 到 60 层深度之间总变化仅为 -0.0003 nats。
检索性能：
- 单针：在 Llama-3.1-8B 上，跨越 16K 到 128K token 的上下文和高达 511 的链条深度，在 152 次试验中实现了 100% 的检索准确率。
- 多针：同时检索多个不同事实时，检索准确率为 99.4%（175/176）。
硬件可行性：在 40GB A100 GPU 上，128K 序列的单个全注意力前向传播是不可行的（注意力分数需要约 1 TB）。KV-Fold 在 171 秒内处理相同序列，峰值内存使用量为 35.6 GB，保持在硬件限制范围内。
与 StreamingLLM 的比较：在 128K 上下文下，StreamingLLM 维持有界内存（16.6 GB）和更快的运行时（22 秒），但一旦“针”退出其 1024 token 的窗口，检索率便降至 0%。KV-Fold 在所有测试距离上保持 100% 的检索率，但需要更高的内存（35.6 GB）和更长的运行时。

意义与主张

本文主张，冻结的预训练 Transformer 已经支持一种稳定的 KV 缓存循环形式。其主要意义在于证明，长上下文推理并不严格需要架构变更、训练或有损压缩即可实现高保真检索。

作者认为，KV-Fold 揭示了一种“略微偏移但稳定的注意力机制”，在此机制下，模型可以递归地处理信息而不损害其访问特定过去 token 的能力。这为在现有硬件上扩展上下文窗口提供了一条实用途径，即以线性内存增长为代价，换取在原本会被截断或近似处理的序列上进行精确检索的能力。本文结论指出，虽然该方法并未将总浮点运算量（FLOPs）或内存降低到全注意力以下，但它将计算重组为可处理的步骤，使得长上下文推理在以前不可能的情况下成为可能。建议的未来工作包括适度的微调以减少残留漂移，以及将该方法与位置扩展技术结合，以突破原生上下文限制。