技术摘要：Delta 注意力残差

问题陈述

深度 Transformer 中的标准残差连接通过固定加法系数累积所有前序子层输出（$h_l = h_{l-1} + f(h_{l-1})$）。虽然这提供了梯度高速公路，但缺乏一种跨深度选择性聚合信息的机制。注意力残差（Kimi, 2025）提出用基于先前层输出的学习 softmax 注意力来替代固定聚合，以实现选择性跨层路由。

然而，本文指出了标准注意力残差中的一个关键失效模式：路由崩溃源于源冗余。在注意力残差中，源表示（$s_i$）是累积隐藏状态（$h_i = \sum v_j$）。随着深度增加，相邻累积状态共享大量公共前缀，导致其成对相似度增长。这种冗余降低了路由候选项之间的对比度，迫使 softmax 注意力权重趋向于近乎均匀的分布。经验表明，深层中的最大路由权重退化至约 0.2，使得该机制无法有效选择信息丰富的状态，实际上是对所有源进行平均。

方法：Delta 注意力残差

为解决源冗余问题，作者提出了 Delta 注意力残差，该方法对 Delta（每个子层引入的变化）而非累积状态进行路由。

核心机制

该方法不再对 $s_i = h_i$ 进行路由，而是对 $v_i = h_{i+1} - h_i$ 进行路由，代表子层的具体贡献。这是通过 加法路由 公式实现的：
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
其中：

• $\tilde{h}_l$ 是当前残差流（默认保留）。
• $v_i$ 是 Delta 源（每个子层的输出）。
• $\alpha_{i \to l}$ 是通过归一化 Delta 上的 softmax 计算得到的学习注意力权重。

粒度变体

该原则应用于两个粒度：

1. Delta AttnRes：对每个单独的子层输出（注意力和 MLP）进行路由，为 $L$ 层提供 $2L$ 个源。
2. Delta Block：将块内连续子层输出聚合为单个块 Delta（$\Delta_b$），将源数量减少至约 $L/B$ 以提高效率。

关键设计优势

1. 结构多样性：与收敛至近乎线性关系的累积状态不同，Delta 具有结构多样性，因为注意力和 MLP 输出占据不同的子空间并捕捉不同的抽象层级。这保持了高路由对比度（最大权重 $\approx 0.6$）。
2. 残差保留：加法公式保留了残差流，确保在块边界处没有信息丢失（不同于丢弃流的替换路由）。
3. 安全初始化：使用零初始化的查询权重时，路由权重变得均匀，路由输出变为有界扰动。这将机制在初始化时简化为恒等映射，使得微调预训练模型成为可能，而不会破坏已学习的残差流。

主要贡献

1. 路由崩溃的识别：本文证明了累积状态注意力残差中的源冗余导致深层中的路由锐度退化至 $\sim 0.2$，从而导致近乎均匀的注意力分布。
2. Delta 注意力残差：一种新架构，对 Delta 而非累积状态进行路由。该方法保持了锐利路由（$\sim 0.6$），并在从 2.2 亿到 76 亿参数量的各种规模上，始终优于标准残差和注意力残差。
3. 微调兼容性：加法公式允许现有的预训练 Transformer 通过标准微调转换为 Delta 注意力残差，克服了模型在微调期间无法利用跨层权重的“损失景观谷底”问题。

实验结果

作者在 FineWeb-Edu 上从头训练 Qwen3 架构模型，并在下游任务上进行微调，评估了该方法。

• 从头训练：

  • 性能：Delta 方法始终优于基线。在 10.44 亿参数规模下，Delta AttnRes 实现了 29.13 的验证困惑度（基线为 29.70，提升 -1.9%）。在 76 亿参数规模下，Delta Block 实现了 16.00 PPL（基线为 17.43，提升 -8.2%）。
  • 替代方案的失败：标准注意力残差（AttnRes）在更大规模下显著退化（例如，在 10.44 亿参数规模下比基线差 6.9%），这是由于替换路由和周期性重置导致的累积信息损失。
  • 效率：虽然每个子层的 Delta AttnRes 提供了最佳的困惑度，但它带来了高昂的内存开销。Delta Block（块级分组）提供了一个实用的默认选项，以显著更低的内存和吞吐量成本匹配 Delta AttnRes 的质量（例如，在 10.44 亿参数规模下，内存开销为 26%，而完整 Delta AttnRes 为 3.5 倍）。

• 微调：

  • 在微调预训练的 Qwen3-0.6B 模型时，Delta Block 在 8 个下游基准测试中实现了 55.6% 的平均准确率，优于标准基线（55.0%）和 AttnRes（54.1%）。
  • 关键的是，Delta Block 避免了 AttnRes 在初始化时观察到的巨大损失尖峰，由于其安全初始化特性，收敛过程平滑。

• 路由分析：

  • 可视化证实，Delta Block 在整个深度中保持了锐利路由（最大权重 $\sim 0.6$–$1.0$），而 AttnRes 在深层中崩溃至 $\sim 0.2$。
  • Delta 模型中的深层有选择地将权重集中在特定的早期输出（包括 Token 嵌入）上，而 AttnRes 则分散地分布注意力。

意义与主张

本文声称 Delta 注意力残差 解决了跨层路由中源冗余的根本问题。通过对“发生了什么变化”（Delta）而非“累积了什么”（累积状态）进行路由，该方法实现了可扩展至深层网络的选择性、高对比度路由。

作者强调，这种方法与其他架构改进是 正交 的。其主要意义在于：

1. 可扩展性：它实现了更深、更有效的跨层连接，而不会出现以往基于注意力的残差方法中看到的退化。
2. 实用性：加法公式和安全初始化允许通过微调将跨层路由无缝集成到现有的预训练检查点中，这一能力此前因初始化不稳定而受阻。
3. 效率：Delta Block 变体提供了一种高性能、低开销的解决方案，适用于大规模训练，在路由表达能力与计算约束之间取得了平衡。