技术摘要：当“足够好”即是“最优”：针对量化 Gated DeltaNet 的仅限矩阵乘法（MatMul-Only）矩阵求逆近似算法

问题陈述

随着大语言模型（LLMs）向更长上下文长度扩展，标准注意力机制面临着二次方级的内存和运行时成本。线性注意力机制（如 Gated DeltaNet）通过维护固定大小的循环状态来解决这一问题。然而，最近的实现（例如 Qwen3.5 和 KiMi 中的 Gated DeltaNet）采用了分块并行策略（chunk-wise parallel strategy），以在 token 序列中暴露并行性。虽然这消除了外部的逐 token 依赖，但也引入了一个新的瓶颈：每个块内的三角矩阵求逆。

具体而言，分块更新需要计算 $T = (I - A)^{-1}$，其中 $A$ 是一个严格下三角矩阵。传统方法依赖于前向替换（forward substitution），这是一种对于 $k \times k$ 矩阵需要 $k-1$ 次迭代的顺序算法。该方法在神经网络处理器（NPU）上的并行性有限且硬件利用率较低，因为它过度依赖向量操作而非密集矩阵乘法。在 Qwen3.5-4B 中，这一求逆步骤占到了总周期成本的 22%–31%，且随着块大小（chunk size）的增加，其开销也随之增长。

此外，现有的通过分块分解或 Neumann 级数展开进行并行化的尝试面临着挑战：

1. **分块求逆（Block-wise inversion）**限制了矩阵的大小，从而限制了可用的并行度。
2. 直接 Neumann 级数展开（$(I-A)^{-1} = \sum A^n$）在有限精度（FP16/INT）下存在数值不稳定性。高阶项会迅速增长，导致溢出和重尾分布，从而降低量化性能。

方法论

作者提出了一种专门针对分块线性注意力中严格下三角矩阵的**仅限矩阵乘法（MatMul-Only）**近似算法。其核心理念是“足够好即是最优”：如果近似能够保持模型的准确性并实现硬件高效执行，那么精确求逆是不必要的。

该方法由三个关键部分组成：

1. 低阶截断 Neumann 展开

该方法并非计算完整的有限展开（这需要 $k$ 项），而是将 Neumann 级数截断在较小的项数 $N$ 之后（$N \ll k$）。

• 理论基础： 引理 3.1 确立了对于严格下三角矩阵 $A$，其 $n$ 次幂 $A^n$ 仅对第 $n$ 条次对角线及其以下的部分有贡献。因此，逆矩阵的能量集中在主对角线附近。
• 实现： 初始近似为 $T^{(0)} = \sum_{n=0}^{N} A^n$。实证分析表明，低阶项（例如 $N \approx 3$）即可捕捉到逆矩阵的大部分结构，从而避免了全量展开的计算成本。

2. 结构化对角线掩码

为了解决由高阶项快速增长引起的数值不稳定性（可能超出 FP16/INT 的范围），作者应用了一个对角线掩码 $M^{(N)}$。

• 机制： 该掩码规定，如果条目距离主对角线的距离超过截断阶数 $N$，则将其设为零（即：若 $i-j \le N$，则 $M_{ij} = 1$，否则 $M_{ij} = 0$）。
• 效果： 这移除了矩阵左下区域中那些对逆矩阵准确性贡献微小、但会导致溢出和量化噪声的“无关”大数值。这使得该近似在低比特整数（INT）量化下具有鲁棒性。

3. 并行残差修正

截断和掩码会引入近似误差。为了在不重新引入顺序依赖的情况下恢复准确性，作者采用了一种并行残差修正方案。

• 公式化： 该方法没有使用迭代更新（$T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$，这是顺序执行的），而是将修正重新表述为残差误差 $E = I - (I-A)T^{(0)}$ 的矩阵幂累加。
• 执行： 最终的近似计算为 $T \approx T^{(0)} \sum_{s=0}^{S} E^s$。这使得整个过程可以完全通过**矩阵乘法（MatMat）**算子执行，从而充分向 NPU 暴露并行性。

对量化的适配

该方法专门针对低比特推理（如 INT8/INT16）进行了调优。作者观察到，增加截断阶数 $N$（例如从 3 增加到 4）会剧烈扩大数值的动态范围，导致严重的量化误差。通过限制 $N$（例如 $N=3$）并辅以残差步数（$S=8$），该方法在数值稳定性、准确性和效率之间取得了平衡。

核心贡献

1. 近似但充分的仅限 MatMul 求逆： 本文用低阶 Neumann 近似结合结构化掩码和并行残差修正，取代了顺序的三角求解。这使得主要的计算任务映射到了 MatMul 算子，在浮点数和整数量化下均能保持准确性。
2. 硬件高效的 NPU 执行： 通过消除三角求解的依赖关系，该公式暴露了密集矩阵乘法。这在 NPU 上实现了高达 5 倍的算子级加速，并在不降低准确性的情况下减少了 20% 的解码层开销。
3. 低精度下的鲁棒性： 该方法缓解了重复矩阵幂运算中的动态范围扩张问题，使得在以往方法失效或性能大幅下降的情况下，仍能实现稳定的 INT16 和 INT8 量化推理。

实验结果

该方法在 Qwen3.5 系列模型（0.8B 至 9B 参数）和 Qwen3-Next 模型上进行了评估。

• 准确性：
  • 单算子层面： 该方法在 FP16 和 INT16 下保持了极高的信噪比（SNR），与 FP32 基准相当。
  • 端到端层面： 其困惑度（PPL）和下游任务准确率（MMLU, CSR, RealWorldQA）在所有模型规模上均与 Flash Linear Attention (FLA) 基准持平。
  • 量化表现： 在 W4A16 量化下，该方法比标准 FLA 更好地保持了性能，尤其是在 RealWorldQA 上，其 PPL 和 MMLU 分数的差异可以忽略不计。
• 性能：
  • 加速比： 对于块大小分别为 32、64 和 128 的矩阵求逆算子，分别实现了 5.2×、4.2× 和 4.6× 的加速。
  • 开销降低： 将矩阵求逆的成本从 FLA 中的约 22–31% 降低到了约 5–9%，从而实现了 18.1% 至 24.6% 的整体周期缩减。
• 消融实验：
  • 单独使用低阶截断（$N=3$）会导致低精度下的发散；然而，加入对角线掩码和残差修正（$S=8$）后，稳定性与准确性得以恢复。
  • 对于 64×64 的矩阵，最优配置为 $N=3$ 且 $S=8$。

重要性与主张

本文声称为可扩展的线性注意力提供了一种高效且硬件友好的解决方案，特别针对 NPU 上的长上下文建模瓶颈。

• 可扩展性： 通过支持更大的块大小（最高达 128）而无需承担前向替换的顺序惩罚，该方法支持更高效的长上下文处理。
• 部署： 该方法通过降低计算和能耗需求，促进了长上下文模型在资源受限设备（移动端和边缘平台）上的部署。
• 权衡哲学： 本研究强调，“精确”求逆对于高质量的模型性能并非必需。通过接受一种与硬件能力（以 MatMul 为主、高度并行）相匹配的“足够好”的近似，该方法实现了实际上的最优性能。

作者指出，虽然该方法提高了效率，但它依赖于仔细的评估以确保可靠性，特别是针对低精度约束，并且并未声称解决了所有潜在架构中的所有数值不稳定性问题，而是专门针对 Gated DeltaNet 上下文进行了优化。