🤖 machine learning

Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns

本文表明，Transformer 模型中的涌现能力是在训练过程中由于任务相关稀疏注意力模式的突发学习而随机产生的，且较大的模型由于学习效率的提升而更早地获得这些模式。

原作者： Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

发布于 2026-06-25✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个巨大的、超级聪明的机器人阅读和写作。你预期它会逐渐进步，就像一个在学期中慢慢提高成绩的学生一样。但对于现代人工智能来说，发生了一些奇怪的事情：机器人突然“开窍了”。前一秒它还在任务上失败，下一秒它就完美地解决了问题。这被称为涌现能力（emergent capability）。

这篇论文研究了为什么这些突然的突破会发生。作者认为，这并不是一个平滑、稳定的攀升过程。相反，它更像是机器人在黑暗的房间里寻找一个特定的、隐藏的开关。一旦它拨动了这个开关，一切都会瞬间改变。

以下是他们研究结果的拆解，使用了简单的类比：

1. “灯开关”时刻

把 AI 的大脑想象成一个装满了灯开关（这些被称为注意力头/attention heads）的大房间。大多数时候，机器人在黑暗中摸索。它不知道哪个开关控制着特定任务的灯光，比如“复制一个句子”或“弄清楚是谁给了谁一杯饮料”。

论文显示，这些能力的出现并不是缓慢发生的。它们是突然出现的。

随机性： 如果你训练十个起点略有不同的相同机器人（使用不同的随机种子），有些可能在第 10 天找到正确的开关，有些可能在第 100 天，还有些可能永远找不到。
巨大的飞跃： 一旦机器人找到了正确的开关，它的表现不会一点点提升，而是会飙升。这就像拨动了一个开关，瞬间打开了一盏泛光灯。

2. 秘密在于“注视”

机器人是如何知道该做什么的？它学会了注视正确的事物。
在 AI 术语中，这被称为“学习一种注意力模式”。想象你在读一个故事并试图猜测下一个词。聪明的读者知道要回头看前一个句子。困惑的读者则会盯着随机的词看。

作者发现，“突然的突破”恰好发生在机器人学会盯着过去的正确单词来预测未来的那一刻。

证据： 他们通过这种方式测试了机器人：拿出一个尚未学会该任务的机器人，然后手动强迫它的“眼睛”看向正确的单词（使用一种称为“修补/patching”的技术）。突然间，机器人就能完美解决任务，尽管它在自然状态下还没有“学会”它。这证明了学习如何注视正确的事物才是瓶颈。

3. “搜索”的难度

为什么寻找开关需要这么长时间？作者创建了两个“训练游戏”（合成任务）来测试这一点：

稀疏地图游戏（The Sparse Map Game）： 想象一个巨大的网格，只有一些特定的点是相连的。机器人必须弄清楚哪些点与哪些点相连。
元胞自动机游戏（The Cellular Automata Game）： 想象一排细胞，每个细胞的变化都取决于其相邻的细胞。

他们发现了让这种“搜索”变得极其困难的两个主要原因：

上下文长度（长长的走廊）： 如果机器人必须穿过一条非常长的单词走廊去寻找线索，它就会迷失方向。上下文越长，寻找正确开关就越难。
稀疏性（大海捞针）： 如果机器人必须忽略 99% 的信息，只专注于 1%（一个稀疏模式），它就会挣扎。这就像是在大草堆里寻找一根特定的针；如果草堆巨大而针很细小，机器人可能永远找不到。

4. 更多的眼睛有帮助，但规模很重要

论文还测试了如何帮助机器人更快地找到这些开关。

更多的头（更多的眼睛）： 给机器人更多的“注意力头”（更多对眼睛）会有所帮助。这就像是一个团队在房间里搜索，而不是只有一个人在搜索。眼睛越多，其中一个发现开关的机会就越高。
大眼睛 vs 多眼睛： 有趣的是，让单个“眼睛”变大（增加容量）并没有像单纯增加“眼睛的数量”那样有效，只要这些眼睛足够完成工作即可。

5. 不同的工具应对不同的工作

最后，他们问道：“标准的机器人设计（Transformer）是最好的工具吗？”

他们尝试了一种不同的设计，叫做 MLP-Mixer，它不使用标准的“向后看”机制。
结果： 在“稀疏地图”游戏中（寻找特定的、稀疏的连接），MLP-Mixer 比标准机器人快了 10 倍。它几乎瞬间就找到了开关。
然而，在“元细胞自动机”游戏中（需要按特定顺序观察邻居），标准的机器人仍然表现更好。

核心结论

论文得出结论：AI 突然变得聪明的“魔法”并不是真正的魔法。它是一个机械过程，模型在努力学习如何将注意力集中在那些正确的、通常是稀疏的信息碎片上。

更大的模型能更快、更可靠地找到这些专注模式。
更长的上下文会让寻找这些模式变得更加困难。
架构上的改变（比如增加更多的“眼睛”或改变机器人混合信息的方式）可以显著加速这种搜索。

简而言之，涌现不是一条平滑的曲线；它是当机器人终于弄明白该看哪里时，产生的一系列突然的“啊哈！时刻（Aha! moments）”。

技术摘要：涌现能力源于稀疏注意力模式的学习过程中的随机性

问题陈述

神经缩放法则（Neural scaling laws）预测，随着 Transformer 模型参数量的增加，预训练损失会呈现平滑的改善。然而，下游能力（如上下文学习和语法获取）却被观察到在特定的模型规模处发生突发性的涌现，并且至关重要的是，这种涌现表现出取决于模型初始化的随机性。虽然先前的研究已经确定了涌现具有跨种子（seed）的随机性和突发性，但其背后的机械机制仍不明确。具体而言，目前尚不清楚模型在能力涌现时内部发生了什么变化，为什么更大的模型能更可靠地获得这些能力，以及哪些因素决定了学习必要内部表示的难度。

研究方法

作者采用了一种结合了对预训练语言模型的机械分析与对合成任务进行受控训练实验的双管齐下方法。

1. 对预训练模型进行分析（Pythia 系列）：

模型： 本研究使用了 Pythia 系列语言模型（14M 到 410M 参数）以及多个随机初始化种子。
任务： 作者评估了包括字符串重复、上下文重复、模式补全和间接宾语识别在内的能力。
涌现检测： 他们将“涌现点”定义为模型贪婪预测首次匹配真实值的训练步数。通过二分查找法在不同检查点（checkpoints）之间精确定位该步骤。
因果消融（激活修补/Activation Patching）： 为了识别涌现机制，作者进行了因果干预。他们取一个“涌现前”的模型（尚未解决该任务）并将其特定注意力头的注意力图修补为“涌现后”模型（已解决该任务）的注意力图。他们测量由此产生的正确标记概率的变化（ $\Delta p$ ），以识别“因果注意力头”。

2. 合成任务训练：
为了在没有自然语言噪声的情况下隔离影响注意力学习的因素，作者在两个具有已知基准真相（ground-truth）注意力模式的合成数据集上训练 Transformer：

线性映射（Linear Map）： 一种模型必须计算先前状态的一个稀疏子集的奇偶性的任务（ $f(x) = Ax \mod 2$ ）。其基准真相注意力模式由稀疏矩阵 $A$ 定义。
细胞自动机（Cellular Automata）： 一种模型根据局部窗口内的单元格和查找表规则预测下一状态的任务。对于 $N > 1$ 的规则，模型必须从上下文中推断出活跃的规则。
变量： 作者系统地改变了上下文长度（状态大小 $S$ 、轨迹长度 $T$ ）、注意力模式稀疏度（ $s/S$ ）以及架构超参数（注意力头数 $H$ 、头维度 $d_{head}$ ）。
干预： 他们应用了注意力偏置干预，即人为地将基准真相注意力模式添加到 Logits 中，以测试学习该模式是否是唯一的瓶颈。

3. 架构比较：
作者在合成任务上将标准 Transformer 与其他替代的标记混合（token-mixing）机制进行了比较，包括 MLP-Mixer、Mamba、Gated DeltaNet 和 RWKV。

核心发现

1. 通过注意力学习实现的随机且突发的涌现：

能力在训练过程中随机涌现；对于固定的模型规模，某些初始化种子解决了任务，而其他种子则完全失败。
涌现与任务相关注意力模式的突发学习相吻合。例如，在重复任务中，当特定的头从均匀注意力转变为可解释的“复制”和“前一标记”模式时，模型预测正确标记的概率会剧烈上升。
因果证据： 将少量因果头（例如 $K=16$ ）的注意力模式修补到涌现前模型中，可以恢复大部分性能差距，这证明了学习这些特定的注意力模式是能力涌现的瓶颈。

2. 决定学习难度的因素：

上下文长度与稀疏度： 在合成任务上，学习注意力模式的难度由上下文长度和模式稀疏度共同决定。
- 稀疏度： 中等稀疏度的模式（既不太稀疏也不太密集）最难学习。
- 上下文长度： 随着上下文长度（状态大小）的增加，学习变得显著困难。对于较大的状态大小（如 $S=512$ ），模型往往无法取得任何进展，陷入长期的损失平台期。
注意力偏置： 应用指向基准真相注意力模式的偏置可以消除损失平台期，导致立即收敛。这证实了瓶颈在于寻找正确的注意力模式的过程，而非随后的计算过程。

3. 架构缩放与替代方案：

增加头数（Scaling Heads）： 增加注意力头的数量一致地提高了在合成任务上的表现，这表明更多的头为发现正确的稀疏模式提供了更多候选。
头维度（Head Dimension）： 存在权衡关系；虽然增加头维度有所帮助，但存在最小容量要求。对于线性映射任务，一个拥有多头和小维度（ $H=128, d_{head}=1$ ）的模型可以成功，而对于细胞自动机任务，则需要最小的头维度来存储规则信息。
MLP-Mixer： 在线性映射任务（需要学习复杂的固定位置模式）中，MLP-Mixer 的表现比 Transformer 高出一个数量级，学习速度显著更快。然而，在细胞自动机任务中，MLP-Mixer 表现较差，这可能是因为它无法像点积注意力那样高效地参数化上下文相关的标记混合模式。
深度（Depth）： 增加深度（层数）会损害在线性映射任务上的表现（可能是由于组合稀疏模式的难度），但在多规则细胞自动机任务上则有所帮助。

4. 预预训练（Pre-pretraining）：
初步实验表明，在合成形式语言（Dyck）或神经细胞自动机上进行预预训练可以加速上下文能力的涌现，尽管结果因任务和种子而异。

意义与主张

本文声称提供了一种对“涌现能力幻象”的机械性解释。作者认为：

涌现并非连续的缩放现象，而是由学习稀疏注意力模式驱动的一系列离散相变。
瓶颈在于注意力学习： 在高维空间中寻找正确的稀疏注意力模式的难度，决定了能力何时以及如何涌现。
更大的模型之所以更成功，并非因为它们在一般意义上学习到了“更好”的表示，而是因为由于增加了搜索容量（更多的头），它们有更高的概率在训练早期发现正确的稀疏注意力模式。
架构设计至关重要： 标记混合机制（如点积注意力与 MLP）的选择会显著影响学习特定模式的效率。

作者总结道，未来的研究应专注于设计能够促进稀疏注意力模式学习（例如通过注意力干预或归纳偏置）的数据集和架构，以消除能力涌现的瓶颈，并实现更高效的缩放。他们也谨慎地指出，目前的研究结果受限于 1B 参数以下的模型和基础能力，能否推广到更大的模型和复杂的推理任务仍是一个开放性问题。