How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective

该论文从可解释性视角揭示了大语言模型中“注意力汇聚”现象的成因，提出了一种不依赖语义信息的"P0 汇聚电路”机制，解释了模型如何在输入序列首个令牌处形成注意力汇聚，并发现该机制在训练早期出现且随训练进程逐渐集中，可作为预训练收敛状态的潜在指标。

要点

这篇论文就像是在给大语言模型（LLM）做一次“深度体检”，发现了一个非常有趣且普遍存在的“怪癖”：模型总是过度关注输入的第一个词。

为了让你轻松理解，我们可以把大语言模型想象成一个正在听故事的超级听众，把输入的一串文字想象成一列正在进站的火车。

1. 核心发现：那个“忘不掉”的第一个乘客

在大多数情况下，这个“超级听众”（模型）会非常公平地听每一个乘客（单词）说话。但论文发现，它有一个奇怪的毛病：无论火车上坐了谁，它总是死死盯着第一个上车的人（位置 0 的 Token），甚至有点“走火入魔”。

• 现象：在模型的注意力机制里，第一个词的权重（关注度）异常高，像是一个巨大的“黑洞”（Sink），把其他乘客的注意力都吸过去了。
• 以前的误解：大家以前以为，这是因为第一个词通常是特殊的 [BOS]（开始标记），就像火车头挂着一个特殊的“车头灯”，大家自然都看它。
• 论文的新发现：即使我们把那个特殊的“车头灯”（[BOS]）拆掉，换成普通的乘客，模型依然会死死盯着第一个上车的人。这说明，这不是因为“车头灯”特殊，而是模型自己学会了一种识别“第一个”的机制。

2. 秘密武器：P0-Sink 电路（“位置 0 识别器”）

模型是怎么做到这一点的呢？论文发现，模型内部有一个简单的“双层电路”（P0-Sink Circuit），就像是一个自动感应门。

• 工作原理：
  想象一下，火车进站时，第一个乘客（位置 0）只能看到自己（因为因果掩码，它看不到后面的人）。而第二个乘客能看到前两个，第三个能看到前三个……
  模型利用这种**“只有第一个人是孤独的”**这种不对称性，设计了一个简单的逻辑：
  1. 识别：通过前两层神经网络的“扫描”，模型发现：“哦，这个位置只看到了自己，没有混合别人的信息，这一定是第一个！”
  2. 放大：一旦确认是第一个，模型就会给这个人的“信号”（隐藏状态的向量）加一个超级大的**“扩音器”**（放大 $\ell_2$ 范数）。
  3. 固化：这个被放大的信号变得非常稳定，方向固定，就像一根定海神针。后面的所有层（火车的后续车厢）都紧紧抓住这根针，把它当作整个故事的“锚点”。

比喻：这就好比你在听一群人说话，虽然大家都在说，但你的大脑自动把第一个说话的人的声音音量调到了最大，并且给他的话加上了“加粗、高亮、闪烁”的效果，让你觉得“只要记住这个人，整个对话的基调就稳了”。

3. 训练过程：从“迷路”到“定型”

论文还追踪了一个从 0 开始训练的大模型（30B 参数），观察它是如何学会这个技能的。这个过程分三个阶段，就像学骑自行车：

• 阶段一（早期）：到处乱撞
  刚开始训练时，模型在深层网络里偶尔会盯着第一个词，但很不稳定。有时候它盯着第 2 个，有时候盯着第 3 个。就像刚学骑车的人，摇摇晃晃，不知道重心在哪。
• 阶段二（过渡期）：临时找支点
  随着训练继续，模型发现盯着“第 2 个词”似乎也能凑合，于是它暂时把注意力移到了第 2 个词上。但这只是个临时的“拐杖”，因为它发现第 2 个词的信息太杂了（混合了第 1 个和第 2 个的信息），不够纯粹。
• 阶段三（成熟期）：回归本源
  最终，模型意识到：只有第 1 个词是纯粹且不变的。于是，它把那个“识别电路”牢牢地固定在了前两层，并重新把注意力死死锁在第 1 个词上。从此，这根“定海神针”就再也没变过。

4. 这意味着什么？

• 不是 Bug，是 Feature：以前大家觉得“注意力集中”是个坏毛病（Sink），想把它修好。但这篇论文说，盯着第一个词其实是模型的一种“生存智慧”。它提供了一个稳定的参考系，防止在长文本中“迷路”或“晕车”。
• 训练进度的“晴雨表”：论文提出，我们可以通过观察模型是处于“乱撞期”、“过渡期”还是“定型期”，来判断模型训练得怎么样了。如果模型还没学会把注意力稳定在第 1 个词上，说明它可能还没“毕业”（训练收敛）。
• 未来的设计：理解了这个机制，未来我们可以设计更聪明的模型，或者在模型“迷路”时，利用这个机制把它拉回来。

总结

这篇论文告诉我们，大语言模型并不是随机乱猜的。它们通过一种精妙的、基于**“位置不对称性”的机制，自动学会把第一个词当作整个对话的“锚”。这就像在茫茫大海中，无论风浪多大，模型手里始终紧紧握着一根“第一根稻草”**，以此来确定方向，保证整个推理过程不崩塌。

一句话总结：模型不是傻乎乎地看第一个词，而是聪明地利用“第一个词”的特殊性，把它变成了自己思考的“定海神针”。

技术摘要

这篇论文《How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective》（大型语言模型中注意力 sinks 的涌现：可解释性视角）深入探讨了大语言模型（LLM）中普遍存在的“注意力 sinks"（Attention Sinks）现象，特别是针对输入序列**位置 0（Position Zero, P0）**的注意力集中机制。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现象描述：LLM 在自回归生成过程中，往往会对序列中的特定 token 分配不成比例的巨大注意力权重，这种现象被称为“注意力 sinks"。虽然大多数 sinks 被视为有害（会干扰推理并降低准确率），但模型对**输入序列第一个 token（位置 0）**的持续关注是一个显著的例外。
• 现有认知局限：
  • 早期研究认为 P0 sink 主要源于 [BOS]（序列开始）token 的语义嵌入或其高 $\ell_2$ 范数。
  • 然而，现代模型（如 Qwen, OLMo）即使移除了 [BOS] token，P0 sink 依然存在，且伴随着隐藏状态范数的显著增加。
  • 目前尚不清楚这种机制是如何在模型内部形成的，以及它是如何在不依赖语义信息的情况下识别位置 0 的。
• 核心问题：P0 sink 的涌现机制是什么？它是如何从训练数据中学习到这种结构性偏置的？

2. 方法论 (Methodology)

作者采用了可解释性分析与从头训练（From Scratch）追踪相结合的方法：

1. 消融实验 (Ablation Studies)：
   • 在 LLaMA 等模型中移除 [BOS] token，观察 P0 sink 是否消失。
   • 通过头级消融（Head-level ablation）和 t-SNE 可视化，分析不同注意力头对 P0 识别的贡献。
2. 理论建模与推导：
   • 提出了P0-Sink Circuit（P0 汇电路）的概念，利用因果注意力掩码（Causal Mask）的不对称性进行理论推导。
   • 构建了基于圆锥（Cone-based）的向量模型，分析均匀注意力分布下，位置 0 与其他位置在注意力输出范数上的数学差异。
3. 预训练动态追踪：
   • 从头训练了一个 30B-A3B MoE 模型（基于 Qwen3 架构），并在不同训练阶段（Step 2000 到 Step 100000）追踪注意力模式和隐藏状态范数的演变。
   • 分析了不同规模模型（Pythia, Qwen2.5, Qwen3, LLaMA 系列）在 P0 sink 形成上的差异。

3. 核心发现与机制 (Key Findings & Mechanisms)

A. P0-Sink Circuit 的机制

论文发现，P0 sink 并非源于 [BOS] 的语义，而是源于因果掩码的结构性不对称，并通过一个两层的 Transformer 电路实现：

1. 位置识别 (Identification)：在 Layer 0 的注意力层中，由于因果掩码的限制，位置 0 只能关注自身，而后续位置关注的是混合了前文信息的向量。这种**均匀平均（Uniform Averaging）**导致位置 0 的注意力输出方向更加一致且未被混合。
2. 范数放大 (Amplification)：Layer 1 的 MLP 子层利用这种方向的一致性，将位置 0 的隐藏状态投影到一个**固定且高范数（High-norm）**的方向上。
   • 数学原理：在高维空间中，大范数向量在经过 Pre-norm 归一化后，对梯度更新的噪声更不敏感（根据雅可比矩阵分析），从而在训练过程中保持方向的稳定性。
   • 结果：这种高范数、固定方向的隐藏状态直接触发了后续所有层的注意力头将其作为“锚点”，形成 P0 sink。

B. 训练过程中的三阶段演化

通过对 30B MoE 模型的训练追踪，作者将 P0-Sink Circuit 的形成划分为三个阶段：

1. 早期阶段 (Early Stage, ~15B tokens)：
   • P0-Sink Circuit 首先在模型的中间层出现。
   • 此时 Sink Rate（注意力集中程度）较低，因为浅层尚未形成稳定的识别机制。
2. 过渡阶段 (Transitional Stage, ~230B tokens)：
   • 模型暂时性地出现一种“多位置 sinks"模式，注意力集中在序列的前几个 token。
   • 甚至出现 Sink 中心暂时转移到位置 1 的现象，随后迅速回归。
   • 这表明模型正在探索不同的锚点策略，但位置 1 由于聚合了位置 0 的信息，不如位置 0 稳定。
3. 最终阶段 (Final Stage, ~460B+ tokens)：
   • P0-Sink Circuit 完全收敛并集中在前两层（Layer 0-1）。
   • 位置 0 的隐藏状态范数显著增加，方向高度一致，成为整个网络稳定的注意力锚点。

C. 关于 [BOS] 的重新认识

• 在包含 [BOS] 的模型中，[BOS] 确实能在浅层提供辅助，加速 Sink 的形成。
• 但在现代大模型中，即使移除 [BOS]，模型也能通过上述结构电路在深层重建 P0 sink。
• 移除 [BOS] 仅影响浅层模式，深层的 P0 识别机制是独立于 token 语义的。

4. 主要贡献 (Key Contributions)

1. 机制解耦：证明了 P0 sink 源于因果掩码的结构性不对称，而非 [BOS] token 的语义嵌入。
2. 电路形式化：提出了P0-Sink Circuit，一个仅需两个 Transformer 块即可识别位置 0 并放大其范数的通用机制。
3. 训练动态刻画：揭示了 P0-Sink Circuit 在预训练过程中的三阶段演化规律（深层涌现 -> 浅层扩散/转移 -> 前两层集中），并指出这一过程可作为预训练收敛状态的诊断信号。
4. 实证验证：通过从头训练 MoE 模型和广泛分析现有模型（LLaMA, Qwen, Mistral, Pythia 等），验证了该机制的普遍性和鲁棒性。

5. 结果与意义 (Results & Significance)

• 理论意义：
  • 揭示了 Transformer 架构中隐含的结构性归纳偏置（Structural Inductive Bias）。模型不需要显式学习“第一个词很重要”，而是通过因果掩码的数学性质自动涌现出这种机制。
  • 解释了为何 P0 sink 能作为稳定的上下文锚点（Context Anchor），有助于长序列推理和 StreamingLLM 等应用。
• 实践意义：
  • 训练监控：P0-Sink Circuit 的收敛位置和形态可以作为判断模型预训练是否充分、是否达到稳定状态的指标。如果模型在浅层未能形成稳定的 P0 sink，可能意味着训练尚未收敛。
  • 模型设计：理解这一机制有助于设计更高效的注意力机制，或者在需要避免 Sink 干扰的任务中针对性地抑制该电路。
  • 数据效率：不同模型系列（如 Qwen3 vs Qwen2.5）在 Sink 形成层数上的差异，暗示了训练数据质量和架构复用策略对收敛速度的影响。

总结

这篇论文通过可解释性视角，将 LLM 中神秘的“注意力 sinks"现象还原为一种基于因果掩码不对称性和范数放大效应的确定性电路。它不仅解释了为什么模型总是“盯着”第一个 token 看，还提供了一个观察模型内部训练动态和收敛状态的窗口，为理解大模型的内部工作原理提供了重要的理论依据。