技术摘要：不要阅读一切：一种基于曲率条件的线性注意力查询

1. 问题陈述

线性注意力机制已成为解决标准 Softmax 注意力中二次方计算复杂度 ($O(T^2)$) 和内存开销问题的方案。通过将 Softmax 内积替换为核化点积，线性注意力将读取操作重新定义为一个具有矩阵值状态的线性循环神经网络（RNN），从而实现了线性时间复杂度 ($O(T)$) 和常数级缓存 ($O(1)$)。

然而，尽管最近在写入侧机制（例如 GLA、Mamba 和 RWKW 中的数据依赖门控；Gated DeltaNet 中的 Delta 规则更新）方面取得了进展，线性注意力模型在上下文检索和长上下文任务上的表现仍持续低于标准 Softmax 注意力。作者认为，这种性能差距不仅源于如何将信息写入内存，更关键的是在于如何读取信息。

在标准 Softmax 注意力中，Log-Sum-Exp 归一化项创造了一个竞争环境，使得最显著的键（Key）主导输出，从而有效地抑制了那些位于高密度区域的匹配项。线性注意力为了效率丢弃了这个归一化项。因此，每一个过去的键都会永久性地对输出产生加性贡献。这导致“有用的目标”（即“针”）被存储向量的“主体”（即“干草堆”）所稀释，特别是当查询（Query）与内存中的高密度方向重叠时。现有的补救措施侧重于写入侧（决定什么进入状态），但无法对未来查询将针对哪些方向进行读取做出反应。

2. 方法论：曲率调节查询 (Curvature-Conditioned Query, CCQ)

本文提出了曲率调节查询 (CCQ)，这是一种受缺失的 Softmax 归一化项局部几何特性启发的轻量级读取时修正机制。

理论推导

作者观察到，一旦键（Keys）固定，Softmax 竞争项 $A_t(q_t) = \log \sum_{j \le t} \exp(k_j^\top q_t)$ 仅是关于查询 $q_t$ 的函数。他们在各向同性注意力点 ($q=0$) 附近对该对数配分函数进行了二阶泰勒展开：

$$A_t(q) \approx \text{const} + \mu_t^\top q + \frac{1}{2} q^\top (\bar{C}_t - \mu_t \mu_t^\top) q$$

在这里，该展开式的 Hessian 矩阵对应于键的运行样本协方差 $\Sigma_t = \text{Cov}_{\le t}[k]$。该协方差矩阵捕捉了内存中的高密度方向。

机制

CCQ 利用这一几何洞察，在查询与线性注意力状态交互之前构建一个“清洗后”的查询。模型不是使用原始查询 $q_t$ 来读取状态，而是应用一个线性收缩：

$$q_t^{\text{clean}} = (I - \lambda_t \Sigma_t) q_t = q_t - \lambda_t \Sigma_t q_t$$

• $\Sigma_t$：运行中的键协方差，通过与骨干状态相同的循环或分块机制进行维护（每个头额外需要一个 $d_k \times d_k$ 矩阵和一个 $d_k$ 向量）。
• $\lambda_t$：由查询调节的标量门控（$\lambda_t = \sigma(W_\lambda q_t + b_\lambda)$），控制收缩的剧烈程度。
• 效果：该算子沿着内存的高方差（高密度）方向收缩查询。这惩罚了那些与存储向量主体对齐的键，有效地将查询从拥挤的方向“拉离”，从而偏好孤立的目标。

集成

CCQ 仅修改读取步骤。它是完全可组合的，可以应用于任何线性注意力骨干网络（如 GLA、Gated DeltaNet），因为它不改变写入规则或状态递归 $S_t = \text{Update}(S_{t-1}; k_t, v_t, \dots)$。最终输出计算为 $o_t = S_t q_t^{\text{clean}}$。

3. 核心贡献

1. 识别读取步瓶颈：论文指出读取步是一个独特的、尚未被充分探索的杠杆，用于缩小线性注意力和标准注意力之间的性能差距，这与现有的写入侧补救措施形成了互补。
2. CCQ 机制：提出了一种基于单个 Softmax 对数配分函数的曲率感知线性收缩。它是任何线性注意力写入规则的增量式改进。
3. 实证验证：通过大量实验表明，将 CCQ 附加到 GLA 和 Gated DeltaNet 骨干网络时，能够提升困惑度（Perplexity）、零样本下游准确率、大海捞针（S-NIAH）检索能力、长度外推以及 LongBench 性能。

4. 实验结果

作者在基于 FineWeb-Edu 子集的 500M 和 1.3B 参数模型上评估了 CCQ。

• 语言建模与下游准确率：
  • 在 1.3B 模型下，CCQ-GLA 实现了最佳的 WikiText 困惑度 (16.92) 和 LAMBADA 准确率 (47.82%)，在循环模型中表现最优，显著超越了其骨干网络。
  • CCQ-Gated DeltaNet 在 7 项任务平均准确率 (56.24%) 上达到了循环模型中的最高水平。
• 合成检索 (S-NIAH)：
  • CCQ 在长度外推任务上显著挽救了骨干网络的表现。例如，在 1.3B 模型下，在 4K 上下文时，CCQ-GLA 比 GLA 骨干网络的 S-NIAH-1 (pass-key) 准确率提升了 +49.0%。
  • 虽然标准 Transformer 在 8K 上下文时由于 4K 训练限制而崩溃至 0% 准确率，但 CCQ 变体保留了实质性的准确率。
• 长度外推：
  • 在六个长上下文语料库（GovReport, QSum 等）上，CCQ 变体在 4K 到 20K 上下文中始终比其骨干网络获得更低的困惑度。
  • 在 20K 长度下，CCQ 变体比各自的骨干网络降低了 1–2.5 个困惑度点。
• 长上下文理解 (LongBench)：
  • CCQ-GLA 在 14 项 LongBench 任务中的平均得分 (15.77) 是循环模型中的最佳，超过 Mamba2 达 +2.64 分。
  • 两种 CCQ 变体在需要长输出生成的任务（如 GovReport, MultiNews）和少样本推理方面均表现出显著改进。

5. 重要性与声明

论文声称，线性注意力的性能差距不仅是容量问题，也是几何问题：读取步骤中缺乏竞争导致内存密度淹没了特定目标。

• 几何洞察：作者证明了线性注意力中“缺失”的竞争可以通过 Softmax 对数配分的局部曲率（Hessian）来近似，而该曲率与键的协方差一致。
• 内存感知修正：不同于仅基于输入的查询投影，CCQ 是“内存感知”的，因为它利用存储键的运行统计数据来调节查询。
• 模块化：该方法被呈现为读取步骤的即插即用替代方案，可以在不修改写入动力学的情况下兼容任何线性注意力骨干网络。
• 局限性说明：作者明确指出了局限性，指出目前的结果仅限于 500M/1.3B 规模、两种特定的骨干网络（GLA, Gated DeltaNet）以及特定的基准测试。他们并未声称 CCQ 解决了所有线性注意力问题，也没有声称其在未进一步研究的情况下能推广到 7B+ 规模或 Mamba 等状态空间模型。

总之，本文认为，通过“不阅读一切”（即沿着高密度内存方向收缩查询），线性注意力可以回收因丢弃 Softmax 归一化项而损失的大部分检索和长上下文能力，且计算成本极低。