💻 computer science

Attention Sinks in Diffusion Transformers: A Causal Analysis

本文提出了一项因果分析，表明尽管抑制扩散变换器中的注意力汇聚会引发显著的感知偏移，但移除它们并不会损害文本 - 图像对齐或偏好指标，从而揭示了轨迹级扰动与语义对齐之间的经验性解耦。

原作者： Fangzheng Wu, Brian Summa

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Fangzheng Wu, Brian Summa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

核心问题：“注意力汇聚”（Attention Sinks）重要吗？

想象你正在执导一场拥有数百名演员（Token）的大型戏剧。在某些类型的戏剧中（称为自回归语言模型，就像你对话的聊天机器人），导演会注意到，某一个特定的演员——通常是第一个走上舞台的——几乎总是独占聚光灯。其他演员几乎得不到任何关注。

研究人员将这些“霸占聚光灯”的演员称为**“注意力汇聚”**。在聊天机器人中，人们曾认为这些汇聚点是必不可少的。它们被视为支撑整场演出的“锚点”或“粘合剂”。如果移除了它们，整场戏就会分崩离析。

本文提出了一个不同的问题： 这条规则是否适用于扩散 Transformer（即像 Stable Diffusion 那样根据文本生成图像的 AI 模型）？

在图像生成中，“戏剧”的运作方式不同。演员们不是一一发言，而是整个舞台被同时、逐步地重新绘制，从一团模糊的混乱逐渐变成清晰的画面。研究人员想知道：这些霸占聚光灯的演员是否仍然是维系图像整体的粘合剂，还是说它们只是可以被移除而不会毁掉演出的布景的一部分？

实验：关掉聚光灯

为了查明真相，研究人员没有只是观察演员，而是进行了干预。他们使用了一种“因果”测试，这就像是一个科学实验：改变一件事，然后观察会发生什么。

识别汇聚点： 在图像生成过程的每一步，他们找出哪一个"Token"（提示词或图像数据的一部分）获得了模型其余部分最多的关注。
干预措施： 他们不仅仅是忽略这些演员，而是有效地告诉模型停止关注它们。他们通过数学方法将这些 Token 接收到的注意力“归零”来实现这一点。
对比： 他们将移除了汇聚点生成的图像与正常生成的图像进行对比，使用了完全相同的随机种子，因此唯一的变量就是汇聚点的移除。

结果：演出继续（大部分如此）

研究结果令人惊讶且清晰：

1. 含义保持不变
当他们移除注意力汇聚点时，生成的图像仍然完美地匹配了文本描述。

类比： 想象你要求生成“一个蓝色的披萨和一个黄色的棒球手套”。即使关掉了“汇聚”演员的聚光灯，AI 仍然画出了一个蓝色的披萨和一个黄色的手套。
数据： 衡量图像与文本匹配程度的指标（如 CLIP-T）以及衡量人类偏好的指标（如 ImageReward）显示没有显著下降。AI 并没有搞混它应该画什么。

2. 外观发生变化（但含义未变）
虽然含义保持不变，但图像的外观确实发生了偏移。

类比： 如果原始图像是一张披萨的照片，那么“移除汇聚点”后的版本可能看起来像同一张披萨的绘画，或者从略微不同的角度拍摄的照片，或者是不同光照下的照片。它仍然是一个蓝色的披萨，但“氛围”或“质感”有所不同。
数据： 研究人员发现，移除汇聚点导致的视觉外观变化，比随机移除其他演员所导致的变化大了6 倍。这表明汇聚点确实携带了一些关于视觉风格或轨迹的信息，但它们对于保持核心概念的正确性并非必需。

3. “粘合剂”的神话被打破
在聊天机器人中，移除“汇聚点”会破坏模型。而在图像生成器中，移除“汇聚点”就像从一面被粉刷过的墙上取下特定的砖块。墙壁（图像概念）依然稳固，即使油漆工作（具体的视觉细节）发生了轻微偏移。

“更强”的测试：我们能移除多少？

研究人员还测试了如果移除更多的汇聚点（不仅仅是前 1 个，而是前 5 个或更多）会发生什么。

结果： 即使移除了大量的汇聚点，文本到图像的对应关系依然保持强劲。AI 仍然知道它在画披萨。
细微差别： 存在一个非常微小的特定界限。当他们移除许多汇聚点时，一个特定的“偏好”分数（HPS-v2）略有下降，这表明对于像人类一样的评判者来说，图像可能看起来有一点点不那么“完美”，但核心含义从未破裂。

结论：新的理解

该论文得出结论：在图像生成 AI 中，注意力汇聚点对于 AI 理解要画什么在功能上并非必要。

旧观念： “那些获得所有关注的演员是最重要的；我们必须保留它们。”
新发现： “那些演员只是做了很多工作，但如果我们让他们静音，演出也不会崩溃。AI 仍然能画出正确的东西。”

这是一个重大突破，因为它表明未来的 AI 模型可以通过忽略这些“汇聚”Token 来变得更快、更高效，而无需担心 AI 会忘记它本应创造的内容。这种“粘合剂”实际上并不是胶水；它只是模型的一种习惯，可以被打破而不会毁掉画面。

技术摘要：扩散 Transformer 中的注意力汇聚：因果分析

问题陈述

在自回归大型语言模型（LLM）中，“注意力汇聚”（attention sinks）——即无论语义重要性如何都会积累不成比例注意力质量的特定令牌或位置——被广泛解读为功能上至关重要的结构。人们假设它们作为键值缓存的稳定锚点，防止注意力熵崩溃，并充当残差信息的隐式寄存器。因此，在自回归模型中破坏这些汇聚往往会降低生成质量。

然而，这种直觉是否适用于**扩散 Transformer（DiTs）**仍不清楚。与在因果掩码下逐令牌进行的自回归解码不同，扩散模型在多个去噪步骤中执行非因果的双向注意力，同时优化所有位置。在这种设定下，注意力显然不作为先前上下文的持久记忆锚点。这一架构差异提出了一个根本性问题：在文生图扩散中，注意力汇聚对于高质量生成功能上是否必要，或者它们仅仅代表可替换的路由模式？ 在缺乏因果证据的情况下，DiTs 中注意力稀疏化和压缩的设计选择缺乏对必须保留的高质量接收者的 grounded 理解。

方法论

作者对扩散 Transformer 中的注意力汇聚进行了系统的因果分析，超越了观察性研究，转向干预性测试。

1. 动态汇聚定义

与汇聚通常与固定位置（例如序列开始令牌）对齐的自回归模型相反，作者动态地定义了汇聚。对于每个注意力头、层和去噪时间步，他们识别接收最大传入注意力质量的前 $k$ 个键位置。这一定义承认扩散模型中的主导接收者随时间步和层而变化，而不是固定于如索引 0 之类的结构令牌。

2. 因果干预

该研究在推理过程中采用无需训练、成对的干预来测试这些汇聚的必要性。干预沿两个独立路径应用：

分数路径（Score Path）： 在 softmax 操作之前，向汇聚令牌的 logits 添加对数偏置（ $\log \eta$ ），从而有效地缩放其注意力概率。设置 $\eta=0$ （或添加较大的负偏置）可有效地将注意力质量归零。
值路径（Value Path）： 用替代方案（零值、均值或线性插值）替换汇聚令牌的向量。

3. 实验设置

模型： 主要在Stable Diffusion 3 (SD3)（图像/文本令牌的联合注意力）上进行主要实验，并在SDXL（具有独立自注意力/交叉注意力的 U-Net）上进行佐证。
提示词： 来自GenEval基准的 553 个提示词，并补充 5,000 个 COCO 标题用于 SDXL 验证。
协议： 严格的种子匹配成对生成，以将干预效果与采样方差隔离。结果报告带有 95% 自助法置信区间。
指标：
- 对齐度： CLIP-T（文本 - 图像语义对齐）。
- 偏好： ImageReward 和 HPS-v2（人类偏好代理）。
- 感知/分布： LPIPS（感知距离）和 FIDshift（基线与干预输出之间的分布距离）。
- 等价边界： 基于经验噪声底，建立了 CLIP-T 的实用等价边界 $|\Delta| < 0.002$ 。

主要结果

1. 注意力汇聚的动态特性

非固定位置： 动态识别的前 1 个汇聚与固定索引 0 位置之间的重叠微不足道（<0.2%），证实扩散汇聚不像自回归 LLM 那样锚定在结构令牌上。
阶段依赖性： 注意力集中度在去噪早期步骤（高噪声状态）达到峰值，并随着步骤推进而减弱。
层分布： 中间层（例如 SD3 中的第 12 层）表现出最强的集中度，最大传入质量达到约 9.5%，且熵最低。
模态： 在 SD3 的联合注意力中，超过 99.9% 的动态识别汇聚对应于文本条件令牌，而非视觉潜在令牌。

2. 语义对齐的因果必要性

标准强度下无退化： 移除动态识别的汇聚（前 1 个，单层或多层）不会降低语义对齐（CLIP-T）或偏好指标（ImageReward, HPS-v2）。所有指标变化的 95% 置信区间均包含零。
对强度的鲁棒性： 即使在更强的干预下（移除前 5 个），CLIP-T 仍保持稳健。虽然 HPS-v2 在移除前 5 个时显示出微小的负向偏移，但其幅度很小（<1%）且位于实用等价边界附近，表明这是一种依赖于指标的权衡，而非根本性的质量崩溃。
跨架构有效性： 结果对 SD3（联合注意力）和 SDXL（交叉注意力）均成立，交叉注意力引起稍大的感知漂移，但未造成对齐损失。

3. 感知与分布偏移

汇聚特异性扰动： 虽然对齐度得以保留，但抑制汇聚会引发显著的感知偏移。基线与移除汇聚输出之间的 LPIPS 距离约为等预算随机掩码的6 倍。
解释： 这表明汇聚携带结构化的、轨迹级别的信息，影响视觉实现（布局、风格、视角），但对于维持与提示词的语义对齐并非必要。干预在模型输出流形内移动样本，而不会使分布崩溃。

4. 剂量 - 反应与边界条件

平坦反应曲线： 跨越抑制比率（ $\eta \in [0, 1]$ ）和值替换的剂量 - 反应扫描显示出均匀的平坦曲线，对齐指标无显著退化。
指标依赖的边界： 在非常强的干预下（ $k \ge 10$ ），与随机掩码相比，HPS-v2 表现出汇聚特异性退化，而 CLIP-T 保持稳定。这表明汇聚可能有助于简单对齐代理未捕捉到的偏好导向维度。

意义与主张

该论文声称提供了首个因果证据，证明扩散 Transformer 中的注意力汇聚在标准推理设置下对于语义对齐并非功能上必要。

解耦质量与必要性： 研究结果挑战了“高传入注意力质量意味着功能必要性”的假设。在扩散 Transformer 中，即使主导接收者显著改变了感知轨迹，也可以被抑制而不降低文本与图像之间的对齐度。
设计启示： 对于高效的扩散注意力设计（例如稀疏化、令牌剪枝），这表明高质量接收者无需被硬编码为必须保留的特权令牌。只要监控目标指标（对齐度与感知一致性），它们可被视为预算化移除的候选对象。
与自回归直觉的区别： 该研究明确警告不要将自回归汇聚的直觉转移到扩散模型中。汇聚在自回归生成中的“锚点”角色似乎并未转化为扩散的双向、迭代优化过程。
局限性： 作者指出，其主张的范围限于广泛使用的代理指标（CLIP-T, HPS-v2），并未解决细粒度的组合保真度（可能需要基于检测器的基准）或端到端效率提升（速度/浮点运算次数），后者仍是工程挑战。

总之，该论文确立，虽然扩散 Transformer 中的注意力汇聚会引发结构化的感知漂移，但它们对于维持语义对齐并非不可或缺，这为生成式扩散模型中的注意力压缩和加速提供了新的理论基础。