🤖 machine learning

A Unifying View of Attention Sinks: Two Algorithms, Two Solutions

本文揭示了 Transformer 中视觉上相似的注意力汇（attention sinks）实际上代表了两种截然不同的机制——自适应“nop”抑制与全局“广播”聚合——这需要一种结合门控（gating）与寄存器（registers）的双重干预策略来有效应对两者。

原作者： Lukas Fesser, Mozes Jacobs, Thomas Fel, Andy Keller, Sham Kakade

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lukas Fesser, Mozes Jacobs, Thomas Fel, Andy Keller, Sham Kakade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察一个拥挤的房间，里面的人（即 AI 模型中的“token”）正试图互相交流。在一种特定类型的 AI——视觉 Transformer（Vision Transformer）中，研究人员注意到一个奇怪的模式：无论谁在说话，所有人似乎都在不停地转头看向其中一两个特定的人。在 AI 的“注意力图”（attention map）中，这表现为一条深色的垂直条纹。

长期以来，科学家们一直认为这是一个 bug——是一个 AI 盯着一个地方不放的故障。但本文指出，这种“凝视”并不是错误。相反，它实际上是 AI 正在使用两种完全不同的策略，而这两种策略在外部看来却长得一模一样。

以下是这两种策略的拆解，使用了简单的类比：

1. “不做任何事”按钮 (Adaptive NOP)

类比： 想象一位在教室里的老师。有时，老师没有什么有用的信息可以补充到对话中。与其说“嗯”或“也许”，老师指着一名特定的学生（即“汇聚点/sink”）说：“就看着亚历克斯吧；他没说什么，所以我们就保持原样。”

发生了什么：

目标： AI 希望停止改变当前的思维状态。它需要表达：“我现在没有什么新信息要添加了。”
技巧： 因为 AI 被迫必须指向某个人，它便指向了一个“空”token（一个几乎没有任何信息的 token）。通过指向这个空的 token，AI 有效地按下了“不做任何事”的按钮。
线索： 如果你检查这个特殊 token 的“能量”（value），它的能量几乎为零。它是一个幽灵 token，仅用于抵消更新。

2. “咖啡馆” (Broadcast)

类比： 现在想象另一种场景。老师有一个非常重要的消息（比如“外面下雨了”）需要让每个人都知道。老师并没有逐一向每个学生低声耳语，而是站在房间中央（即“汇聚点/sink”）大声宣布。每个人都转头看向老师，以接收这条更新。

发生了什么：

目标： AI 希望将一条全局信息分享给房间里的每一个人。
技巧： “汇聚点”token 充当了一个枢纽。它收集信息，然后将其“广播”给每一个 token。每个人通过添加这个共享的信息来更新自己的状态。
线索： 如果你检查这个特殊 token 的“能量”，它是高能且充满内容的。它正在积极地向群体写入一条信息。

为什么这很重要

该论文的核心发现是：你无法仅通过观察注意力图来区分这两者。 两种策略看起来都是一条垂直条纹，表现为所有人都在盯着一个点。

如果你看到一条条纹，你不知道 AI 是在按下“不做任何事”按钮，还是在喊着“重要新闻！”
问题在于： 先前试图“修复”这些条纹的方法（例如添加特殊的“寄存器/register” token 或“门控/gating”机制）都是在盲目猜测。
- 有些修复方案假设 AI 在做“不做任何事”的操作，并试图阻止它。
- 另一些则假设 AI 在进行“广播”，并试图帮助它。
- 因为研究人员不知道究竟发生了哪种情况，他们的修复方案往往是不完整的。

解决方案：双管齐下的方法

作者创建了一种诊断 AI 正在使用哪种策略的方法：

检查“能量”： 如果 token 是空的（低能量），它就是“不做任何事”按钮。
检查“结构”： 如果 token 充满了数据并创造了一个简单的共享模式，它就是“广播”。

结果： 当他们将此应用于真实的 AI 模型（如识别图像的模型）时，他们发现 两种策略同时都在发生，但发生在不同的部分：

早期层通常使用“不做任何事”策略。
深层层通常使用“广播”策略。
甚至连那些（为了帮助 AI 而添加的）“寄存器”token 也在被用于两种目的。

修复方法： 论文表明，要真正解决由这些模式引起的问题，你需要同时使用这两种工具：

使用 门控 (Gating) 来处理“不做任何事”的 token（让它们能够干净利落地抑制更新）。
使用 寄存器 (Registers) 来处理“广播”的 token（为它们提供一个分享信息的专门空间）。

当他们结合使用这两种方法时，AI 变得更加稳定，并且在理解图像详细空间布局（例如识别图片中物体的位置）方面表现得更好，尽管它仅仅是“命名”图片的能力并没有发生太大变化。

总结

这篇论文告诉我们，仅仅因为一个 AI 看起来像是在盯着一个点，并不意味着它是坏掉的。它可能是在休息（不做任何事），也可能是在分享秘密（广播）。要修复 AI 的行为，我们首先需要理解它为什么在盯着看，然后针对性地使用正确的工具。

技术摘要：注意力汇（Attention Sinks）的统一视角

问题陈述

注意力汇（Attention sinks）——即在许多查询中吸引不成比例的注意力质量、在注意力图中表现为垂直条纹的标记（tokens）——在基于 Softmax 的 Transformer 中（尤其是视觉 Transformer (ViT) 和大语言模型 (LLM)）普遍存在。虽然这些模式已被广泛记录，但其底层的计算机制仍具有模糊性。本研究解决的核心问题是：视觉上完全相同的汇模式可能反映了截然不同的算法。目前的缓解策略（如门控机制和寄存器标记）通常是在缺乏统一框架的情况下进行启发式应用的，无法区分汇存在的“原因”。因此，旨在“修复”汇的干预措施可能会在无意中移除有用的计算，或者无法解决真正的稳定性来源。

方法论

作者提出了一个统一的框架，将注意力汇分解为两种不同的计算假设，并为每种假设推导出具体的、可衡测的诊断指标。

1. 关于注意力汇的两种假设

论文认为，汇的产生源于以下两种机制之一：

自适应 NOP（无操作）： 汇充当一种抑制机制。当一个注意力头对于特定标记没有有用的信息贡献时，它会将注意力路由到一个“空”标记，从而有效地对残差流执行恒等操作。
- 特征： 汇标记表现出极低的数值范数 ( $\|v_s\| \approx 0$ )。
- 机制： 为了触发此行为，模型学习了一种门控机制，这可以通过查询-键交互矩阵 ( $W_Q W_K^\top$ ) 中的主奇异值或汇位置处巨大的激活范数来证实。
广播（Broadcast）： 汇充当一个通信枢纽。它聚合全局信息并将其重新分配给其他标记。
- 特征： 汇标记具有非零的数值范数，并诱导产生**低秩（近似秩为 1）**的注意力输出。
- 机制： 汇标记向残差流写入共享载荷，增加了序列中各标记表示之间的相似性。

2. 合成验证

为了隔离这些机制，作者在两个特定任务上训练了极简的合成模型：

条件阻尼（NOP 任务）： 一个单头 Transformer，经过训练以抑制与特定向量对齐的标记。结果显示，收敛后的汇具有接近于零的数值范数以及交互矩阵中的频谱尖峰。
全局广播任务： 一个两层 Transformer，经过训练以将特定标记的信息分发到所有其他位置。结果显示了一个模块化方案：一层作为广播枢纽（秩-1 更新，高数值范数），而随后的另一层则作为恒等映射。

3. 预训练模型的经验诊断

作者将这些诊断应用于预训练的 ViT（DINOv2, OpenCLIP）以及带有寄存器标记的模型。他们分析了：

数值范数比率： 比较汇标记的数值向量范数与平均值的关系。
稳定秩（Stable Rank）： 测量注意力诱导的更新矩阵的秩。
层间转换： 追踪在不同网络深度下哪些标记充当了汇的角色。

关键结果

1. 机制的共存

对预训练 ViT 的分析表明，两种机制在同一个模型中并存，但具有专业化分工：

层级专业化： 在早期层中，[CLS] 标记通常充当汇。在深层中，这一角色转向了特定的补丁（patch）标记。
头级专业化： 汇行为在所有注意力头之间并不均匀；特定的头会对近 80% 的输入充当汇，而相邻的头则不会。
双重机制区间： 当投影到诊断轴上时，汇分离为两个截然不同的簇：
- NOP 汇： 主要存在于中早期层，其特征是受抑制的数值范数（< 0.2x 基准值）。
- 广播汇： 主要存在于深层，其特征是标准的数值范数和严格的秩-1 更新。

2. 寄存器标记的重新解读

研究调查了寄存器标记（添加到输入序列中的学习型标记），这些标记最初被提议用于吸收用于广播的注意力质量。

功能重塑： 诊断显示，寄存器标记并不完全用于广播。大多数寄存器汇表现出 NOP 特征（受抑制的数值范数），这表明模型将其重新定义为用于抑制更新的“垃圾桶”，而非仅仅作为存储全局信息的“咖啡杯”。
启示： 单纯使用门控（针对 NOP）或寄存器（针对广播）都不足以解决所有的汇行为。

3. 协同缓解

作者测试了门控注意力（允许头抑制输出，解决 NOP 问题）与寄存器标记（为广播提供基质）的结合。

密集预测增益： 在 LeJEPA 训练的 ViT-L 模型中，结合门控和寄存器在密集空间预测任务（ADE20K 和 Pascal VOC 2012）上取得了最佳性能，优于基准模型和单一缓解方案变体。
分类稳定性： 全局分类准确率（ImageNet-1k）在不同变体之间保持基本不变，这表明汇的缓解主要改善了局部补丁级的表示，而非全局图像理解。
机制确认： 组合方法成功抑制了 NOP 汇（降低了标记范数），同时将广播汇重定向到了寄存器标记。

意义与主张

本文声称，注意力汇的视觉特征在计算上是模糊的，有效的干预需要首先识别其潜在的算法。

统一性： 本工作提供了一个统一的框架，将“NOP”和“广播”假设区分开来，并提供了可操作的诊断工具（数值范数和稳定秩）来区分它们。
互补性： 研究证明，门控和寄存器标记是互补的，因为它们针对不同的计算机制。结合两者可以获得更强的稳定性和在需要高保真空间表示的任务中的性能。
机械论洞察： 研究结果表明，“伪影”（如注意力汇）往往是真实的计算原语（无论是抑制还是全局协调），而非纯粹的病理性失败。

作者总结道，虽然这些诊断和组合缓解策略改善了密集预测，但如何设计注意力架构以支持广播而不引发病理性汇，仍然是未来研究的一个开放领域。