🤖 machine learning

When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

本文追踪了三款 1B 级语言模型中注意力电路的发展轨迹，揭示了归纳电路（induction circuits）的形成与注意力汇点（attention sinks）是两个截然不同且在时间上分离的转变过程，而非单一事件，并且特定的电路能力可以在无需最终模型的情况下在训练早期被识别出来。

原作者： Yongzhong Xu

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongzhong Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察一群由三名年轻学生（即 AI 模型）组成的群体，他们正在学习阅读和理解一座巨大的图书馆。这些学生的大小大致相同（拥有 10 亿个“脑细胞”），但他们有着不同的老师和不同的书籍。

研究人员想要回答一个简单的问题：这些学生究竟在什么时候学会了特定的技巧？

具体来说，他们寻找两件事：

“模仿者”技巧： 学习识别像“A... B... A”这样的模式，并正确预测下一个词应该是“B”。（这被称为归纳电路，即 induction circuit）。
“第一页”习惯： 无论句子关于什么，都学会始终关注句子的第一个词。（这被称为注意力汇点，即 attention sink）。

长期以来，科学家们认为这两件事是在同一时刻发生的，就像开关被打开一样。但这篇论文指出：不，事实并非如此。 它们发生的时间非常不同，而且发生的方式取决于学生的“大脑结构”以及他们正在阅读的内容。

以下是他们发现的过程，使用了简单的类比：

1. “禁区”（底层）

研究人员发现了一个永不打破的规则：大脑的前两层（第 0 层和第 1 层）永远不会学会“第一页”习惯。

类比： 想象一条工厂流水线。前两个工作站只是接收原材料，它们还没有经过处理。你不能在第一个工作站就让一个“工厂经理”（注意力汇点）来做决策，因为那里还没有足够的信息。
发现： 无论这些学生学习了多久，他们大脑的最底层永远不会发展出这种习惯。这是其架构的硬性规则，而不是由于他们未能学会。

2. “中间优先”的惊喜

你可能会认为“第一页”习惯会从底层开始，随着大脑变得更聪明而逐渐向上移动。研究人员发现事实恰恰相反。

类比： 想象一栋建筑。你可能期望灯光从底层向上逐层点亮。然而，情况是建筑中间层的灯先亮了，然后这种习惯向外扩散。紧邻“禁区”之上的那些层，反而是最后学会这种习惯的。
发现： “第一页”习惯首先在网络的中部结晶，而不是底部。

3. 两个不同的“开关”

这是最大的发现。研究人员追踪了“模仿者”技巧和“第一页”习惯分别出现的时间。

“模仿者”技巧（归纳）： 这发生得非常早。在接受 DCLM 书籍训练的学生中，这种技巧在他们阅读了大约 200 亿到 230 亿个单词时就已经完全掌握了。这就像一个孩子学习系鞋带；学得很快，然后就完成了。
“第一页”习惯（注意力汇点）： 这发生得要晚得多。在同样的这些学生中，直到他们阅读了 2600 亿到 4000 亿个单词后，这种习惯才真正显现。
类比： 这就像学习骑自行车（技巧）发生在第一周，但学习在每次比赛前都要看一眼起跑线（习惯）却要等到第五年。它们是两个完全不同的事件，中间有着巨大的时间间隔。

4. 学习的形态取决于“学校”

研究人员测试了三个不同的学生：

Pythia： 阅读“The Pile”书籍。
OLMo： 阅读“DCLM”书籍。
OLMoE： 阅读“DCLM”书籍，但拥有特殊的“混合专家”大脑（就像拥有 64 个不同的导师，但每次任务只使用其中的 8 个）。

他们发现，学习曲线的形态会根据学生的不同而改变：

渐进式坡度： Pythia 和 OLMoE 学习“第一页”习惯的过程是缓慢且稳定的，就像水填满浴缸一样。
剧烈跳跃： OLMo（阅读 DCLM 的标准密集型大脑）则是突然完成的。前一刻它几乎没有“第一页”习惯，而到了下一刻（在两个检查点之间），它从 7% 猛增到了 70%。这是一种突发的“相变”，就像冰突然变成水一样。

结论： 同样的一本书（DCLM）在不同的学生身上产生了慢速学习者和突然跳跃者的不同结果，仅仅是因为他们的脑架构不同。

5. 你不需要等到毕业

关于何时可以观察到这些技能，其中一个最实用的发现是：

发现： 如果你想找出大脑的哪些部分在进行“模仿者”技巧，你不需要等到学生读完整个图书馆。
类比： 想象你想知道一个学生是否擅长数学。你不需要等到他完成 4 年的学位。当他完成仅仅 1% 的课程时，你已经可以看到他最终将拥有的 67% 的数学技能了。
结果： 研究人员可以使用仅处于训练阶段 1% 的学生来识别这些大脑电路。你不需要等到模型“完成”才能了解它的思维方式。

总结

这篇论文告诉我们，AI 学习的“神奇时刻”并不是一个单一的大事件。

时机： 大脑学习模仿模式（归达）的时间，远早于它学会痴迷于第一个词（注意力汇点）的时间。
位置： 对第一个词的痴迷始于大脑的中部，而非底部。
多样性： 取决于大脑的设计，这种痴迷可以缓慢出现，也可以突然爆发。
效率： 我们可以在训练非常早期就看到这些技能的形成，因此我们不需要等待 AI “完成”才能研究它的思考方式。

技术摘要：能力发展轨迹与注意力汇（Attention-Sink）的涌现

问题陈述
本文旨在解决预训练过程中 Transformer 语言模型机制理解方面的空白。虽然先前的研究已经识别出两种截然不同的现象——归纳头（实现 $A \dots A \to B$ 的复制模式，与上下文学习相关）和注意力汇（无论内容如何，都能可靠地关注第一个 token）——但它们经常被笼统地归类在“注意力涌现”这一概念之下。Olsson 等人 [2022] 将归纳形成描述为一种剧烈的“相变”，而 Xiao 等人 [2024] 则记录了注意力汇是一种稳定的推理属性。本文探讨的问题是：这两种现象是作为单一转换同时涌现的，还是在时间上可分离的？此外，架构（稠密型 vs. 混合专家模型/MoE）和预训练语料库（The Pile vs. DCLM）如何影响 1B 级模型中这些涌现的时机与形态？

研究方法
作者追踪了跨越两种架构和两种语料库的三个 1B 级模型的注意力电路发展轨迹：

Pythia 1B： 稠密 Transformer，基于 The Pile 训练。
OLMo 1B-0724-hf： 稠密（Llama 式）Transformer，基于 DCLM 训练。
OLMoE 1B-7B-0924： 混合专家模型（1B 激活/7B 总参数）Transformer，基于 DCLM 训练。

本研究利用一个包含 30 个运行阶段的发展面板，对每个模型应用了 10 个对数间隔修订版的三个步骤机械解释学方案：

合成归纳批次（Synthetic Induction Batch）： 一个受控数据集，包含 2,000 个序列（ $A \dots A \to B$ ），用于探测归纳能力。
参与度比率（Participation Ratio, PR）谱信号： 在第二个 $A$ 位置的每头注意力输出上计算。PR 衡量头输出的谱多样性，作为专门化计算的信号。
能力特定选择性筛选（Capability-Specific Selectivity Screen）： 一种全头筛选方法，根据注意力选择性比例将头分为六类（归纳、前一个 token、重复 token、BOS/第一个 token、自身、局部），并基于选择性阈值（例如归纳头为 50 倍，BOS 头为 30 倍）对头进行分类。
因果验证： 通过对识别出的电路进行组消融（Group Ablation）来确认其功能作用。

核心发现

1. L0/L1 的零-BOS 底层（Zero-BOS Floor）是架构属性 (F1)
在所有 30 个修订阶段和所有三个模型中，第 0 层和第 1 层产生的被归类为 BOS 吸引器（BOS-attractors）的头数量均为零。这种“零-BOS 底层”现象从随机初始化到训练结束始终存在。作者将其解释为一种架构约束：L0 输入是未经过上下文化的 token 嵌入，且 L1 输出缺乏跨 token 的整合，这使得注意力汇（需要非平凡的跨位置信息）在这些层中无法形成。这是梯度信号的学习结果，而非数据伪影。

2. BOS 吸引器具有不同的涌现形态 (F2)
BOS 吸引器比例的形成表现出三种取决于“数据-架构”配对的定性不同轨迹：

Pythia 1B (Pile, 稠密型)： 一个渐进的、单调的上升过程，从 0% 增加到约 58%。
OLMo 1B (DCLM, 稠密型)： 一个剧烈的相变。该比例在 117B token 时为 7.4%，在 264B token 时跃升至 70.3%（在相邻检查点之间增加了 63 个百分点）。
OLMoE 1B-7B (DCLM, MoE 型)： 一个渐进的、单调的上升过程，类似于 Pythia，但达到了更高的饱和度（约 76%）。
这表明注意力汇转换的“剧烈程度”并非数据的普遍属性（DCLM），而是受架构（稠密型 vs. MoE）调节的。

3. 归纳与注意力汇在时间上是可分离的 (F3)
在经 DCLM 训练的模型中，归纳电路的形成比 BOS 吸引器的形成早了一个数量级的 token 数：

OLMo 1B： 归纳电路在 ~23B token 时形成；BOS 吸引器在 264B token 时达到 50% 饱和（差距约为 11.5 倍）。
OLMoE 1B-7B： 归纳在 ~20B token 时形成；BOS 吸引器在 419B token 时达到 50% 饱和（差距约为 21 倍）。
论文得出结论，能力电路的形成与注意力汇的形成是两个截然不同的转换，而非单一的相变事件。

4. 能力筛选的早期收敛 (F4)
能力特定筛选仅使用极小比例的训练预算即可收敛到最终的归纳电路。

OLMo 1B： 在 10B token 时已识别出最终归纳电路的 67%（约占总训练量的 0.3%）。
OLMoE 1B-7B： 在 41B token 时已识别出 67%（约占 0.8%）。
Pythia 1B： 在 6B token 时已识别出 67%（约占 2.0%）。
这意味着对于电路发现而言，并不需要最终模型；中间检查点已包含了大部分可识别的电路。

5. 谱信号先于选择性阈值出现 (F5)
对于每个被采样的最终检查点归纳头，其每头参与度比率（PR）在头部的能力-选择性比例跨越分类阈值之前或之时，已显著上升。在 Pythia 1B 中，顶层归纳头的 PR 信号比选择性阈值跨越的时间早了约 12 倍（以 token 数计）。这表明谱信号是专门化的早期指标。

意义与主张
本文将自己定位为更广泛研究中关于“涌现”的“激活空间侧”，以补充参数空间侧关于谱边缘动力学的分析。其主要贡献在于：

完善“归纳相变”的概念： 作者认为“归纳相变”一词具有歧义。在 DCLM 数据及 1B 规模下，它指的是两个不同的事件：早期的能力转换（归纳）和后期的、依赖于数据与架构的转换（注意力汇）。
为机械解释学理论提供约束： 本研究对任何关于注意力汇的理论提出了特定约束：
1. 该理论必须解释普遍存在的 L0/L1 零-BOS 底层。
2. 该理论必须解释为何相同的数据（DCLM）在稠密模型中产生剧烈转换，而在 MoE 模型中产生渐进上升。
3. 该理论必须区分能力涌现与汇涌现的时间差异。
方法论效用： 本文证明了无需等待最终模型，即可在中间检查点（训练量的 0.3%–2%）有效地进行机械解释学研究，并且需要特定的筛选方法才能在训练后期将能力头从占主导地位的 BOS 吸引器群体中区分出来。

作者明确指出，这些发现是基于特定的训练运行，并不声称代表所有可能种子下的完整预期，尽管他们指出 L0/L1 底层、转换分离等定性模式在所测试的配置中是稳健的。