🤖 machine learning

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

本文通过使用 350M 参数模型对 Softmax 与四种线性注意力架构（DeltaNet、Gated DeltaNet、Kimi Delta Attention 和 Gated DeltaNet-2）进行对比研究，分析了它们的机制、性能权衡以及所提出的跨层值路由（Cross-Layer Value Routing）机制的有效性，发现结合 Muon 的 Kimi Delta Attention 实现了最低的验证损失，而结合 AdamW 的 Gated DeltaNet 则提供了最高的吞吐量。

原作者： Tommaso Cerruti, Tim Rieder, George Rowlands, Lingfeng Jin, Imanol Schlag

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tommaso Cerruti, Tim Rieder, George Rowlands, Lingfeng Jin, Imanol Schlag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营一个规模巨大的图书馆，每一本新书（即一个“token”）都需要将其笔记与之前出现过的每一本书进行比对。这就是标准 AI 模型的工作方式，它非常出色，但也极其耗费精力。随着图书馆的规模增长，检查每一对书籍所需的时间会呈爆炸式增长，使得训练变得异常缓慢且昂贵。

这篇论文就像是一个侦探故事，讲述了如何寻找一种更聪明、更快速的方法来运行这个图书馆，同时又不丢失记忆重要细节的能力。作者将旧的、缓慢的方法（Softmax Attention）与四种新的、快速的“线性注意力”（linear attention）方法进行了对比：DeltaNet、Gated DeltaNet、Kimi Delta Attention 以及 Gated DeltaNet-2。

核心理念：“纠错型”笔记本

这些新方法并不是每次都把整本新书写进图书馆的记忆里，而是使用了一个巧妙的技巧——delta 规则。想象你有一个笔记本，它已经能够预测下一本书会说什么。与其重写整个页面，你只需要记录下你的预测与实际发生情况之间的差异（即误差）。这能保持记忆的整洁，并防止旧笔记与新笔记发生冲突。

随后，论文提出了一个问题：我们如何让这个笔记本变得更好？

DeltaNet 仅仅记录差异。
Gated DeltaNet 添加了一个“遗忘按钮”（标量门控），用于抹除陈旧、落满灰尘的笔记。
Kimi Delta Attention 将此升级为“通道级”遗忘按钮，让模型能够忘记特定类型的笔记，同时保留其他笔记。
Gated DeltaNet-2 则更进一步，将“擦除”按钮与“写入”按钮分离，赋予模型对删除和保留内容的完全控制权。

竞赛：速度 vs. 智慧

作者运行了一项大规模实验，使用了包含 3.5 亿个参数的模型，并在 150 亿个 token（海量文本）上进行了训练。他们不仅观察了谁更聪明，还观察了谁更快。

以下是他们的发现：

速度冠军： 使用 AdamW 优化器训练的纯 Gated DeltaNet 堆叠是最快的。它的数据处理效率极高，成为了速度的基准（100%）。然而，它并不是最聪明的；它的“验证损失”（validation loss，分数越低越好）较高，为 2.433。
最强竞争者： 最低损失（即最聪明模型）的头衔归属于使用不同优化器 Muon 的 Kimi Delta Attention，并采用了“混合”（hybrid）堆叠（将快速的线性层与较慢的标准层混合）。它达到了 2.273 的损失值。
权衡取舍： 论文展示了一个明显的拉锯战。如果你想要绝对的最佳性能，通常需要混入较慢的标准注意力层（混合堆叠），但这会降低你的速度。如果你追求纯粹的速度，则坚持使用线性层，但你可能会损失一些准确性。

至关重要的是，论文否定了一个大想法： 他们发现学习率（模型学习的速度）与架构本身一样重要。一个模型看起来表现不佳，可能不是因为其设计错误，而是因为它被赋予了错误的学习率。例如，Muon 偏好较低的学习率（约 3 × 10⁻⁴），而 AdamW 则喜欢较高的学习率（约 10⁻³）。你不能只是更换优化器并期望得到相同的结果；你必须将它们进行协同调优。

新技巧：跨层共享秘密

深度神经网络面临一个问题：随着信息从底层向顶层传递，信息可能会被“稀释”或丢失。作者尝试通过在层与层之间创建一个“秘密隧道”，让底层将信息传递给高层，从而修复这个问题。

他们测试了关于传递内容的两种主要想法：

“错误”（Error）： 传递误差（预测值与实际发生情况之间的差异）。
“目标”（Value）： 传递目标值（模型试图写入的内容）。

令人惊讶的发现： 论文明确反对了认为传递“误差”是最佳方式的观点。当他们尝试将误差直接传递到下一层的目标中时（他们称之为 CLER 方法），这完全没有起到作用。这就像是通过向隔壁房间大喊漏水的声音来试图修理漏水的管道一样，毫无效果。

解决方案： 他们发现传递目标值（即“目标”）的效果略好。他们称之为跨层值路由（Cross-Layer Value Routing, CLVR）。

在其 3.5 亿参数的实验中，这种新方法降低了最终的验证损失（幅度约为 0.01）。
例如，在 Gated DeltaNet 模型中，损失从 2.8331 降至 2.8228（差值为 -0.0103）。
在 DeltaNet 模型中，损失从 2.8469 降至 2.8350（差值为 -0.0119）。

他们有多确定？ 作者非常谨慎。他们指出这些结果来自单次运行（而非多次尝试的平均值），因此增益很小，可能受到随机性的影响。然而，模式是一致的：传递“值”总是比传递“误差”效果稍好。他们也在一个更大的 13 亿参数模型上进行了测试，其中的增益甚至更小（-0.0019），这表明随着模型变得更大、更智能，这种收益可能会缩减。

未来如何？

这篇论文并未声称解决了所有问题。他们明确表示，他们没有在 Kimi Delta Attention 或 Gated DeltaNet-2 等其他架构上测试这些路由技巧，因此我们目前还不清楚“值路由”技巧是否适用于这些架构。此外，他们也未测试这些模型在“阅读”（推理）方面的速度，只测试了它们在“学习”（训练）方面的速度。

总结

这篇论文并没有宣布一个唯一的“赢家”。相反，它描绘了一幅景观图。

如果你需要速度和长上下文，纯线性堆叠是你的首选。
如果你需要最高准确度且能承受一定的缓慢，带有 Kimi Delta Attention 和 Muon 的混合堆叠看起来很有前景。
如果你想连接各层，不要传递误差；要传递值。

作者暗示，虽然这些路由技巧能带来微小的提升，但真正的魔力在于优化器、学习率和架构是如何共同起舞的。这不仅仅是建造一个更快的引擎，更是要调校整辆赛车。

技术摘要：线性注意力架构：机制、权衡与跨层路由

问题陈述
标准的 Softmax 自注意力机制使每个 Token 能够检索完整上下文中的信息，这是 Transformer 语言模型表达能力的核心机制。然而，这种 Token 之间的信息交换在训练和推理时都会产生相对于序列长度的二次方成本（ $O(T^2)$ ），随着上下文窗口的扩大，这成为了主要的瓶颈。虽然线性注意力架构通过将注意力重新表述为对常数大小记忆矩阵的循环更新（从而实现线性训练时间和恒定的单 Token 推理时间）提供了一种解决方案，但早期的变体由于存储关联之间的干扰以及缺乏遗忘或选择性编辑机制，导致了显著的精度损失。包括 DeltaNet 及其后续版本在内的最新进展，通过引入误差修正的 Delta 规则和细粒度的控制门控，缩小了这一差距，然而这些机制之间的具体权衡、它们的缩放行为以及轻量级跨层信息共享的潜力，仍有待系统性的梳理。

方法论与框架
作者提出了一项关于 Softmax 注意力和四种近期循环线性注意力架构的对比研究：DeltaNet、Gated DeltaNet、Kimi Delta Attention 以及 Gated DeltaNet-2。

统一符号： 本文建立了一种通用的循环记忆符号来表达这些机制。该框架隔离了循环记忆矩阵 $W$ 、Delta 规则残差 $r$ （当前值与记忆预测值之间的误差）以及各种衰减、擦除和写入控制机制的作用。
- DeltaNet： 用误差修正的 Delta 规则取代了朴素的加法更新，仅将残差 $r = v - \bar{v}$ 写入记忆。
- Gated DeltaNet： 在计算残差之前，在记忆状态中加入了一个学习到的标量衰减门 $\alpha$ ，引入了一种粗粒度的遗忘机制。
- Kimi Delta Attention： 通过使用通道维度的衰减向量 $\alpha$ 细化了遗忘过程，允许不同的特征维度以不同的速率衰减。
- Gated DeltaNet-2： 通过引入独立的通道级擦除门和写入门进一步解耦了更新，允许独立控制哪些键（Key）通道被移除以及哪些值（Value）通道被存储。
实验设置： 研究使用了在 15B Token（FineWeb-Edu）上训练的 350M 参数解码器模型。实验比较了验证损失、训练吞吐量、优化器敏感度（AdamW vs. Muon）以及序列长度缩放。作者还进行了更大规模的运行（1.3B 和 3B 参数），并评估了下游任务（HellaSwag, PIQA, WinoGrande）。
跨层路由： 为了解决深层堆叠中的信息稀释问题，本文引入并评估了轻量级的路由机制。它从两个维度进行探索：路由什么内容（写入误差 vs. 写入值）以及注入到哪里（下一层的 Value 目标 vs. 共享隐藏流）。
- CLER（跨层误差残差）： 将 Delta 规则的写入误差转发到下一层的 Value 目标中。
- CLER-H： 将写入误差路由到共享隐藏流中。
- CLVR（跨层值路由）： 通过一个零初始化的投影，将该层的写入值（减法之前的目标值）路由到共享隐藏流中。

关键结果

架构与优化器权衡： 在 350M 参数、15B Token 的扫描实验中，使用 Muon 优化器并在混合堆叠（与 Softmax 层交错）中运行的 Kimi Delta Attention 实现了最低的最终验证损失（2.273）。然而，使用 AdamW 训练的纯 Gated DeltaNet 堆叠展示了最高的归一化训练吞吐量（设定为 100% 基准）。混合堆叠通常会提升损失表现，但以牺牲部分吞吐量为代价；而纯堆叠则保留了最强的长上下文迭代时间缩放能力。
优化器敏感度： 优化器的选择与学习率调优密不可分。对于线性注意力变体，Muon 更倾向于较低的学习率（ ~~$3 \times 10^{-4}$ ），而 AdamW 变体则倾向于较高的学习率（~~ $10^{-3}$ ）。在匹配的架构设置下，Muon 一致地比 AdamW 降低了最终的验证损失。
缩放行为： 纯循环堆叠在序列长度缩放方面表现更优。在 32k Token 时，纯 Gated DeltaNet 的迭代时间增加极小（相对于 4k 仅约 1.1 倍），而 Softmax 注意力增加了约 2.9 倍。混合堆叠介于两者之间，其迭代时间的增加程度大致与其 Softmax 层的密度成正比。
跨层路由发现：
- CLER（误差至 Value 目标）： 将 Delta 规则的写入误差转发到下一层的 Value 目标中，并未能在性能上优于匹配的基准模型。作者将其归因于“空间不匹配”，即路由的残差会与接收者自身的学习到的 Value 几何结构产生竞争。
- CLVR（值至隐藏流）： 将写入值路由到共享隐藏流中，对于 DeltaNet 和 Gated DeltaNet，均能带来稳定且微弱的最终验证损失改善。这表明有用的跨层信号是该层的写入目标，而非 Delta 规则的修正项。
- 收益递减： CLVR 的收益较小（在 350M/1B Token 时降低了约 0.01 的损失），并且随着模型规模或训练 Token 总数的增加而递减，这表明该收益在基础记忆尚未捕获所有必要信息时最为显著。

意义与主张
本文并未宣布某种单一的“最佳”架构，而是旨在使设计空间变得清晰易读。其主要贡献在于：

一个统一的框架： 提供了一种通用的符号表示，阐明了近期线性注意力变体在表达能力、记忆衰减和控制粒度方面的差异。
经验性的权衡映射： 证明了在选择线性堆叠与混合堆叠，以及在选择优化器时，涉及的是验证损失、吞吐量和序列长度缩放之间的多目标权衡。
路由洞察： 指出虽然朴素的误差路由（CLER）由于基底不匹配而失败，但将写入值路由到对齐的隐藏流（CLVR）提供了一种轻量级的、线性时间的跨层信息共享路径，在不破坏循环结构的前提下提升了性能。

作者强调，其结论是基于单次运行比较和特定的 Token 预算得出的，因此在没有经过重复种子验证的情况下，在推广微小的验证损失差异时应保持谨慎。这项工作为理解驱动线性注意力性能的具体机制奠定了基础，并指出了将路由策略推广到更复杂架构（如 Gated DeltaNet-2）时的开放性问题。

核心理念：“纠错型”笔记本

竞赛：速度 vs. 智慧

新技巧：跨层共享秘密

未来如何？

总结

类似论文