🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog 是一种循环状态解码方案，它通过将完整的状态实例化延迟，转而采用向一个有界日志中追加紧凑更新并定期进行合并的方式，从而加速线性注意力模型，进而显著减少内存流量并提高端到端推理速度。

原作者： Junqing Lin, Jingwei Sun, Guangzhong Sun

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Junqing Lin, Jingwei Sun, Guangzhong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代生成文本的人工智能系统，从聊天机器人到创意写作助手，都依赖于一种被称为自回归解码（autoregressive decoding）的基础过程。在这个过程中，计算机逐一预测句子中的下一个词，并利用已经生成的词来为下一次预测提供信息。多年来，最强大的模型一直使用一种被称为“注意力”（attention）的机制，来决定哪些先前的词对于当前的预测最为重要。虽然这种方法非常有效，但它也产生了一个日益严重的瓶颈：随着对话变得越来越长，系统必须不断存储并检索之前见过的每一个词的不断扩大的列表，这消耗了大量的计算机内存并降低了响应速度。为了解决这个问题，研究人员开发了一类较新的模型，用一个固定大小的摘要或“状态”（state）取代了不断扩大的列表，该状态会随着每个新词的加入而更新。这一改变消除了记住每一个过去标记（token）的需求，但它引入了另一个问题：系统仍然必须在每次添加新词时不断重写整个摘要，从而在计算机内存中造成严重的“交通拥堵”。

中国科学技术大学的研究团队发现，这种不断的重写是一种主要的低效行为，并提出了一个名为 DeltaLog 的解决方案。DeltaLog 不再强迫计算机在每个词之后都重写整个对话摘要，而是允许系统保留一个稳定且完整的摘要版本，并仅仅附加一个描述最近变化的紧凑、小巧的笔记。系统只在积累了一定数量的这些小笔记后，才会偶尔重写一次完整摘要。这种方法就像是保留一本总账和一叠便签纸；与其每发生一笔交易就重写整本账簿，不如只需将交易添加到便签堆中，并仅在便签堆过高时才更新账簿。通过这种方式，研究人员发现他们可以大幅减少计算机需要移动的数据量，而数据移动通常是这个过程中最慢的部分。

研究人员在包括 Gated DeltaNet、Kimi Delta Attention 和 RWKV6 在内的几种不同类型的现代语言模型上测试了这种方法。在实验中，他们测量了计算机生成单个词所需的时间以及涉及的内存流量。他们发现，通过推迟对摘要的完整重写，他们可以将更新模型内存的核心计算速度在高端显卡上提高多达 1.86 倍。更重要的是，他们观察到写入计算机高速内存的数据量下降了多达 7.83 倍。这种流量的减少意义重大，因为在这些类型的模型中，速度往往不是受限于计算机计算的速度，而是受限于其在内存中进出数据的速度。

当研究人员将这种方法集成到一个旨在同时为多用户提供服务的完整系统中时，这些优势转化为了更快的用户端响应时间。在针对包含数百亿参数的大型模型的测试中，该系统生成单词的速度比以前快了 5% 到 20%。这种改进在系统同时处理大量请求时最为明显，而这正是现实应用中的常见场景。研究人员证实，这种提速并没有以牺牲准确性为代价；由修改后的系统生成的文本在数学上与原始系统保持等价，这意味着在提高交付效率的同时，输出质量得到了保留。

这项工作的核心洞察在于，计算机物理存储和更新信息的方式并不总是需要与模型采取的逻辑步骤相匹配。虽然模型在逻辑上随每个词更新其状态，但物理硬件并不需要立即重写整个状态来反映该变化。通过将稳定的历史记录与近期的变化分离，并仅定期进行合并，DeltaLog 减少了“状态更新税”（state-update tax），这是作者用来描述由急切、即时的更新所导致的过度内存流量的术语。这种策略并不改变底层模型或其权重；它只是改变了计算机处理数据的调度方式。结果表明，对于大规模语言模型而言，优化数据的物理移动与改进数学算法本身同样至关重要，这为实现更快、更高效的人工智能提供了一条清晰的路径。

技术摘要：DeltaLog

问题：线性注意力解码中的状态更新税 (The State-Update Tax)

线性注意力模型（如 GDN、KDA、RWKV6）通过将二次方前缀计算和随上下文增长的键值（KV）缓存替换为固定大小的循环状态更新，为 Softmax 注意力提供了一个极具吸引力的替代方案。在这些模型中，状态 $S_t$ 是一个大小为 $d_k \times d_v$ 的稠密矩阵，其大小与序列长度无关。

然而，现有的解码实现面临着一个显著的低效问题，被称为状态更新税。虽然单个 Token 贡献的逻辑更新是紧凑的（由大小为 $O(d_k + d_v)$ 的向量表示），但标准的“急切式”（eager）实现会立即将该更新实例化为完整的稠密状态，并在每生成一个 Token 后将整个 $[B, H, d_k, d_v]$ 张量写回高带宽内存（HBM）。

内存流量失配： 对于批大小 $B$ 和 $H$ 个头，实际增加的信息量为 $O(BH(d_k + d_v))$ ，但物理传输涉及读写 $O(BH d_k d_v)$ 个元素。
内存带宽瓶颈： 这种急切实例化产生的算术强度约为 0.5–1.0 FLOPs/byte，远低于现代 GPU（如 H200，约 208 FLOPs/byte）的机器平衡（machine balance）。因此，循环状态的维护成为了主要的内存流量来源，主导了解码延迟，尤其是在批大小和状态规模增加时。测量显示，在大批次场景下，这可能消耗高达 44.6% 的解码延迟。

方法论：通过 DeltaLog 实现延迟实例化 (Deferred Materialization)

本文提出了 DeltaLog，一种将逻辑循环与状态的物理实例化解耦的解码方案。DeltaLog 不改变模型权重或数学循环，它仅改变状态更新的物理调度。

核心机制：Base + Log

DeltaLog 将实时循环状态表示为两个部分：

稠密基态 ( $\bar{S}$ ): 一个存储截至上一个“合并”点所累积历史记录的稠密矩阵。
有界更新日志 (Bounded Update Log): 一个存储近期紧凑更新因子 ( $a_t, b_t$ ) 及其相关对数衰减元数据 ( $\Lambda$ ) 的缓冲区。

解码周期分为两个阶段运行：

追加阶段 (Append Phase - 常规情况): 在 $M-1$ 步内，系统不写回完整的稠密状态。相反，它将紧凑的更新因子和当前的对数衰减快照追加到日志缓冲区中。稠密基态 $\bar{S}$ 保持不变。
合并阶段 (Merge Phase - 定期执行): 每隔 $M$ 步，系统将累积的逻辑状态（基态 + 重放的日志条目）重新实例化回稠密基态 $\bar{S}$ ，重置日志并清除延迟更新。

流量模型

通过延迟稠密写回，DeltaLog 将频繁的全状态写操作替换为：

轻量级的紧凑因子追加 ( $O(d_k + d_v)$ )。
每 $M$ 步才发生一次的摊销（amortized）稠密写操作。
在合并步骤期间重放日志条目。

最优的合并间隔 $M$ 平衡了增加的重放流量成本与减少稠密写操作带来的收益。

核函数实现 (Kernel Implementation)

为了在 GPU 上高效实现，作者采用了分块核函数分解 (tiled kernel decomposition)：

数值分块并行 (Value-Tile Parallelism): 状态沿数值维度 ( $d_v$ ) 进行划分。每个工作单元处理稠密基态的一个切片以及对应的数值侧日志分片。
共享元数据: Key 侧因子和对数衰减元数据在数值分块之间共享，以避免冗余计算。
分阶段执行: 内核被分为一个共享的“重放准备”（ReplayPrep）阶段（为每个 slot-head 计算一次系数）和多个并行的“追加解码”（AppendDecode）阶段（针对数值分块）。

该方法被实例化于三个具有不同衰减粒度和更新语义的算子：

GDN (Gated DeltaNet): 头级标量衰减；使用 Delta-rule 校正。
KDA (Kimi Delta Attention): Per-key 衰减；使用 Delta-rule 校正。
RWKV6: Per-key 衰减；使用原始数值更新（无 Delta-rule 校正）。

主要贡献

识别状态更新税： 本文表征了大批次线性注意力推理中，由于急切稠密实例化导致的单 Token 开销，并将其识别为一种不同于逻辑循环成本的内存带宽瓶颈。
DeltaLog 执行策略： 一种延迟实例化方法，通过将状态表示为稠密基态辅以紧凑更新的有界日志，从而允许大多数步骤执行轻量级追加而非全状态重写。
系统实现与评估： 一个完整的实现，涵盖了集成到基于 vLLM 的服务栈中的 GDN、KDA 和 RWKV6，证明了该优化在保持精确算术等价性（在浮点容差范围内）的同时提升了性能。

结果

实验在 NVIDIA H200 和 RTX 4090 GPU 上针对各种批大小和上下文长度进行了。

核函数级性能：
- 与高度优化的 Fast Linear Attention (FLA) 基线相比，DeltaLog 将循环状态更新核函数的速度提升了 1.19× 至 1.86×。
- 它将剖析出的循环状态写回流量减少了高达 7.83×。
- GDN 获益最多，因为它具有紧凑的标量衰减元数据，而 RWKV6 和 KDA 尽管拥有更重的 per-key 元数据，仍表现出显著收益。
端到端服务性能：
- 集成到原型服务栈后，DeltaLog 在 Qwen3.6-35B 和 Kimi-Linear-48B 等模型上，相比于稠密循环基线实现了 1.05× 至 1.20× 的端到端加速。
- 由于阿姆达尔定律（Amdahl's law）的影响，其增益小于核函数级的提升，因为循环更新只是完整解码步骤（包括 MLP、归一化和调度）中的一部分。
数值正确性：
- 该方法保持了与急切解码的数值等价性，所有测试算子的最大输出相对误差均在标准仓库容差范围内（例如 < 0.005）。

意义

论文指出，循环状态实例化是线性注意力解码中一个关键且常被忽视的瓶颈，尤其是在大批次推理场景下。通过优化状态更新的物理调度而非算法本身的循环逻辑，DeltaLog 证明了在不修改模型架构的情况下，可以获得显著的效率提升。

这项工作强调，虽然线性注意力消除了 KV 缓存对上下文长度的依赖，但它引入了一种新的固定状态维护成本，而这种成本是受内存带宽限制的。DeltaLog 提供了一个实用的解决方案来应对这种“状态更新税”，表明延迟稠密写操作是提高循环线性注意力模型推理吞吐量的可行策略。作者指出，在循环状态写回构成主要内存流量的部分（大批次、大状态规模）中，其收益最为显著。