💬 NLP

Sink-Aware Pruning for Diffusion Language Models

该论文指出扩散语言模型中的注意力汇聚点具有高度不稳定性，因此提出了无需重训练的“汇聚感知剪枝”方法，通过自动识别并剪除这些不稳定的汇聚点，在同等计算开销下实现了优于现有基线的质量与效率平衡。

原作者： Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要讲的是如何给一种新型的人工智能语言模型（叫做“扩散语言模型”）“减肥”，让它跑得更快、更省资源，同时还不影响它说话的质量。

为了让你更容易理解，我们可以把整个过程想象成**“修图”和“整理房间”**的故事。

1. 背景：两种不同的“写作”方式

首先，我们要区分两种 AI 模型：

传统模型（自回归模型，AR）： 就像写文章。它一个字一个字地写，写完上一个字，再根据上下文写下一个字。在这个过程中，它非常依赖文章的开头（比如标题、第一句话）。这些开头的字就像“定海神针”，无论写到后面哪里，它们都稳稳地在那里，指引着方向。
- 比喻： 就像盖房子，地基（开头）一旦打好，就永远不能动，后面的砖都要围着它砌。
新型模型（扩散语言模型，DLM）： 就像修图或从一团乱麻中理出头绪。它一开始看到的是一团全是噪点的乱码（就像一张全是雪花点的旧照片），然后通过一步步“去噪”，慢慢把清晰的文字显现出来。在这个过程中，它不是从头写到尾，而是同时修改整段文字，一遍又一遍地 refinement（精修）。
- 比喻： 就像在画一幅画，一开始全是模糊的色块，随着你不断擦拭和描绘，画面的重点会不断转移。有时候重点在左边，有时候重点跑到了右边。

2. 发现的问题：老经验不管用了

研究人员发现，以前给传统模型（AR）做“减肥”（剪枝，Pruning）时，有一个铁律：

“绝对不能剪掉开头的‘定海神针’（Attention Sink）！”

因为传统模型里，开头的字确实非常重要，剪掉它们，模型就“失忆”了，写出来的东西就乱了。

但是！ 当研究人员把这个铁律用到新型模型（DLM）上时，发现行不通了。

新发现： 在“修图”（扩散过程）中，那些所谓的“定海神针”（注意力集中的地方）是飘忽不定的。
- 比喻： 在修图的过程中，有时候你盯着左上角的细节看，过一会儿可能就要去修右下角的阴影。那个“最重要的地方”一直在变。如果你死板地认为“开头最重要”而拼命保护开头，反而可能忽略了当前步骤真正需要的重点，导致模型“顾头不顾尾”，效率低下。

3. 解决方案：聪明的“动态减肥法”

基于这个发现，作者提出了一种叫**“感知 sink 的剪枝”（Sink-Aware Pruning）**的新方法。

以前的做法（笨办法）： 不管三七二十一，只要看到开头有“定海神针”，就把它锁死，坚决不剪。
现在的做法（聪明办法）：
1. 观察： 先看看这个模型在“修图”的过程中，那些“定海神针”是不是在到处乱跑（方差很大）。
2. 判断： 如果发现它们变来变去，不稳定，那就说明它们不是真正的“核心资产”，只是暂时的“过客”。
3. 行动： 既然它们是过客，那就大胆地把它们“剪掉”或者“降低权重”。把省下来的资源，留给那些真正稳定、有信息量的部分。

4. 结果：更轻、更快、更好

实验结果显示，这种新方法非常有效：

省资源： 模型变小了，推理速度变快了（就像把房间里的杂物清理了，走路更顺畅）。
质量好： 因为不再死板地保护那些其实不重要的“开头”，模型反而能更灵活地处理信息，输出的文字质量比那些死守旧规矩的模型更好。
不用重练： 这个方法不需要重新训练整个模型（这通常非常昂贵），只需要在现有的模型上动一点“小手术”就行。

总结

这就好比整理房间：

旧模型像是一个按顺序摆放的书架，第一本书的位置绝对不能动，否则整个书架都会乱。
新模型像是一个正在整理中的衣橱，衣服的位置随着整理过程在不断变化。如果你死守着“第一件衣服不能动”的规矩，反而会让整理工作变得低效。

这篇论文告诉我们：不要生搬硬套旧经验。 对于这种新型 AI，我们需要一种更灵活、更懂它“动态变化”特性的管理方式，才能让它发挥最大的潜力。

这篇论文提出了一种针对扩散语言模型（Diffusion Language Models, DLMs）的新型剪枝策略，名为“感知 Sink 的剪枝”（Sink-Aware Pruning）。该研究挑战了从自回归（AR）模型继承而来的传统剪枝假设，即“必须保留注意力 Sink（Attention Sinks）”，并证明了在扩散模型中，这些 Sink 往往是瞬态的，保留它们反而可能阻碍高效的剪枝。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

扩散语言模型（DLMs）的推理成本： DLMs 通过多步迭代去噪生成文本，相比自回归（AR）模型的单次前向传播，其推理计算和内存成本显著增加。因此，模型压缩（特别是剪枝）对于 DLMs 的实际部署至关重要。
现有方法的局限性： 现有的 DLM 剪枝方法大多直接沿用针对 AR 大语言模型（LLMs）的启发式规则。在 AR 模型中，注意力 Sink（通常是开头的特殊 token，如 BOS 或系统提示词）被视为稳定的全局锚点，负责传播条件信息并稳定残差流，因此剪枝时通常强制保留这些 Sink 位置。
核心假设的失效： 作者发现，AR 模型中"Sink 必须保留”的假设不适用于 DLMs。在 DLMs 中，由于每一步都在更新整个序列，注意力的组织方式随去噪过程动态演变。早期的 Sink 可能仅在去噪初期（高噪声、全局结构形成阶段）重要，而在后期（低噪声、局部细化阶段）变得不再重要。

2. 核心发现：Sink 的动态性 (Key Observation)

作者通过量化分析揭示了 AR 模型与 DLMs 在 Sink 行为上的根本差异：

AR 模型： Sink 位置高度稳定（低时间方差），一旦形成（通常在序列开头），在整个生成过程中保持不变。
DLMs： Sink 位置表现出极高的时间方差（Temporal Variance）。主导的 Sink 位置会随着去噪步数的推进而显著漂移（从序列前端向后端移动）。许多 Sink 是**瞬态（Transient）**的，它们在某些步数吸引大量注意力，但在其他步数则失去重要性。
结论： 在 DLMs 中，盲目保留所有 Sink 位置不仅不是必须的，反而可能保留了冗余的、非结构性的注意力路径。

3. 方法论：感知 Sink 的剪枝 (Methodology: Sink-Aware Pruning)

基于上述发现，作者提出了一种无需重新训练（Post-training）的剪枝框架，旨在识别并剪除不稳定的 Sink。

3.1 核心流程

计算 Sink 分数（Sink Score）：
- 在去噪轨迹的多个时间步上，计算每个 Token 位置接收到的聚合注意力质量（Attention Mass）。
- 定义 Sink 分数 $\bar{\phi}(j)$ ：如果一个 Token 的注意力质量显著高于平均水平，则其 Sink 分数较高。通过 Sigmoid 函数将硬阈值转化为软分数。
识别不稳定 Sink：
- 计算 Sink 位置在去噪过程中的时间方差。
- 对于 DLMs，高方差的 Sink 被视为“不稳定 Sink"。
感知 Sink 的激活重加权（Sink-Aware Importance Reweighting）：
- 构建一个Sink 掩码（Sink Mask）：对于 Sink 分数高的位置，赋予较低的权重（ $\omega_j = 1 - \bar{\phi}(j)$ ），从而抑制这些位置的激活值贡献。
- 生成新的激活值 $\tilde{X}$ ： $\tilde{X}_{j,:} = \omega_j \cdot X_{j,:}$ 。
应用现有剪枝标准：
- 将抑制后的激活值 $\tilde{X}$ 代入现有的剪枝算法（如 Wanda 或 SparseGPT）中计算重要性分数。
- Wanda: 使用 $|W_{ij}| \cdot \|\tilde{X}_{\cdot j}\|_2$ 作为重要性分数。
- SparseGPT: 使用 $\tilde{X}$ 计算经验 Hessian 矩阵，从而在重构权重时减少对不稳定 Sink 的依赖，将容量分配给语义更有意义的 Token。

4. 实验结果 (Results)

作者在多个 DLMs（LLaDA, Dream, LLaDA-1.5, MMaDA）和多种基准测试（MMLU, ARC-C, GSM8K 等）上进行了评估。

性能提升： 在相同的计算预算下，Sink-Aware Pruning 在非结构化剪枝和结构化剪枝设置下，均优于或持平于强基线（Wanda, SparseGPT, Magnitude Pruning）。
高稀疏度下的优势： 在中等至高稀疏度（50% - 75%）下，性能提升最为显著。例如，在 75% 稀疏度下，该方法能有效避免传统 AR 启发式规则导致的性能崩溃。
通用性： 该方法作为通用的修正层，能够适配不同的底层剪枝算法（Wanda 和 SparseGPT）。
可视化分析： 实验显示，Sink-Aware 方法改变了 Head 级别的剪枝决策，特别是在那些 Sink 强度波动较大的层中，它倾向于剪除那些在 AR 模型中会被保留但在 DLMs 中不稳定的连接。

5. 主要贡献 (Key Contributions)

提出了 Sink 位置方差（Sink-Position Variance）指标： 首次量化了 DLMs 中注意力 Sink 随去噪步数的动态漂移现象，证明了其方差远大于 AR 模型。
挑战了 AR 启发式规则： 证明了"Always Keep Sinks"这一在 AR 模型中行之有效的规则并不适用于 DLMs，因为 DLMs 中的 Sink 往往是瞬态的。
提出了 Sink-Aware Pruning 框架： 一种针对扩散模型的剪枝策略，能够自动识别并剪除不稳定的 Sink，无需重新训练即可实现更好的质量 - 效率权衡。

6. 意义与影响 (Significance)

范式转变： 该研究强调了模型压缩策略必须与**生成范式（Generation Paradigm）**的动态特性相一致。不能简单地将 AR 模型的优化技巧直接迁移到扩散模型中。
效率提升： 为 DLMs 的实际部署提供了更高效的加速方案，特别是在高压缩比场景下，能够释放更多的计算资源用于保留真正语义重要的参数。
理论洞察： 加深了对扩散语言模型内部注意力机制动态演变的理解，指出 Sink 在去噪过程中的角色是动态变化的，而非静态锚点。

总结： 这篇论文通过深入分析 DLMs 中注意力 Sink 的瞬态特性，打破了传统剪枝中“保留 Sink"的教条，提出了一种自适应的剪枝方法，显著提升了扩散语言模型在压缩后的推理性能。