🤖 machine learning

A Controlled Study of Attention-Only Transformers

这项研究表明，前馈网络对于 Transformer 的性能并非严格必要，因为在参数量、计算量和深度相匹配的情况下，仅含注意力机制的模型（SANs）所达到的损失值与标准 Transformer 几乎完全一致，而剩余的微小差距完全归因于参数化召回能力的差异，而非架构上的局限性。

原作者： Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Henry Ndubuaku, Karen Mosoyan, Jakub Mroz, Noah Cylich, Satyajit Kumar, Parkirat Sandhu, Roman Shemet, Justin H Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为机器人构建一个终极大脑。多年来，科学家们一直将两种类型的“神经元”堆叠在一起，以使这些机器人变得更加聪明。第一种类型就像是一个信使，它观察当下正在发生的事情，并决定该把注意力放在哪里。第二种类型则像是一个笔记本，用于存储从过去学到的事实和规则。机器人的大脑由一种重复的模式构建：一个信使，接着一个笔记本，然后是一个信使，再接着一个笔记本。

在人工智能领域，这些“信使”被称为注意力机制（attention mechanisms），而这些“笔记本”被称为前馈网络（FFoles/FFNs）。长期以来，大家一直认为笔记本是必不可少的。事实上，在现代机器人的大脑中，这些笔记本占据了大约三分之二的总空间（参数）。核心问题在于：这个笔记本真的必要吗？ 或者说，如果我们给信使足够的空间，它能否承担所有的工作？这篇论文是一场巨大的、受控的实验，旨在探究我们是否可以只使用信使，完全不使用笔记本，来构建一个超级聪明的机器人。

大脑手术实验

来自 Cactus Compute, Inc. 的研究人员决定对一个标准的 AI 模型进行一次非常精确的“大脑手术”。他们拿出了一个标准模型，逐层地将“笔记本”（前馈网络）彻底移除，只留下“信使”（注意力机制）。他们将这种全新的、精简后的模型称为简单注意力网络（Simple Attention Network, SAN）。

但棘手之处在于：你不能仅仅删除大脑的一大块区域就指望它能像以前一样工作。如果你移除了笔记本，你会发现突然多出了大量的空白空间。因此，研究人员运行了三个不同版本的实验，以观察究竟什么才是至关重要的：

相同深度（Same Depth）： 他们保持层数不变，但删除了笔记本。（这使得 SAN 变得更小、更弱）。
相同计算量（Same Compute）： 他们调整了规模，使得两个模型在思考时使用的电量（FLOPs）完全相同。
相同规模（Same Size）： 他们利用删除笔记本后留下的空白空间，增加了更多的信使层。这是最公平的测试：“如果我们给信使与笔记本相同的总脑力，它能胜任这项工作吗？”

令人震惊的结果：笔记本并非魔法

结果令人惊讶。当他们只是删除笔记本而不给予信使更多空间时，机器人的智力显著下降。但当他们将那部分“被删除”的脑力用于构建更深的信使堆叠时，两者之间的差距几乎消失了。

在最公平的测试（匹配总规模）中，带有笔记本的标准模型与新的“仅含信使”模型几乎完全相同。两者的差异仅为 0.006 nats（一个衡量预测错误程度的单位）。换句话说，性能差异仅为 0.27%。其微小程度足以说明，如果你使用不同的随机种子运行实验，结果在万分之一的精度内也是可重复的。

论文得出结论，对于他们使用的数据类型（一种侧重推理的合成语料库）而言，“笔记本”并不是一个神奇且不可替代的组件。它仅仅是一种存储信息的方式。如果你给“信使”足够的深度，它本身就可以存储这些信息。

微小的差距隐藏在哪里

既然它们几乎一样，为什么差距不是完全为零呢？研究人员深入挖掘，试图找出“仅含信使”的模型在何处表现不佳。他们发现问题并非无处不在，而是非常具体。

仅含信使的模型在处理那些上下文（提供的故事或文本）无法为其提供任何线索的问题时，表现稍逊一筹。

“基于上下文”的优势： 当答案隐藏在提供的文本中时（例如在维基百科文章中寻找事实），仅含信使的模型实际上表现得更好或持平。
“记忆”的缺失： 只有当模型必须凭空提取事实——即在文本没有提供任何线索时的纯记忆提取时，才会出现微小的差距。

你可以这样理解：信使擅长说：“嘿，我看到文本里有个线索，让我们看那里！”但笔记本则稍微擅长说：“我记得这个事实，尽管这里没有任何线索。”研究人员发现，仅含信使的模型仍然可以记忆事物，但它必须更努力地将其存储在“注意力”层中，而不是专门的“笔记本”层中。

大脑究竟是如何运作的

论文还通过“拆解”模型内部结构，观察了这些模型是如何学习的。他们发现了一个关于大脑增长的迷人节奏：

路由机制（Routing）过早结晶： 决定“看向哪里”的部分（路由）在训练的前四分之一阶段就已确定，之后便保持固定。
内容生长缓慢： 实际“存储”信息的部分在整个训练过程中会持续增长并变得更加复杂。

当他们移除笔记本时，“存储”的任务并没有消失，只是转移了。信使的输出层接管了存储事实的工作。这就像如果你从办公室里撤走了文件柜，员工们（信使）就会开始把文件随身带在口袋里。这行得通，但是一种略有不同的组织方式。

秘诀：归一化

其中一个最实用的发现是，如何防止这些深层的“仅含信使”大脑崩溃。研究人员发现，一种被称为 QK-归一化（QK-normalization） 的特定技巧是绝对关键的。如果没有它，深层的仅含信使模型将会崩溃并停止学习。事实证明，维持大脑稳定的并不是“笔记本”，而是这种特定的归一化技术。

总结

这篇论文并不是说笔记本是没用的。它说的是，对于他们测试的这类侧重推理的数据，笔记本并不是智能的一个基本要求。如果你有有限的脑容量预算，你可以用更多的信使层来交换笔记本，并获得几乎相同的结果。

只有在模型需要回忆与当前文本无关的事实时，笔记本才会真正展现出优势。但即便如此，这种差异也非常微小。主要的启示是，“信使”是非常强大且灵活的，只要给予足够的深度，它就能胜任“笔记本”的工作。两者之间的差距如此之小，以至于几乎可以忽略不计，这证明了 Transformer 的架构比我们想象的更加灵活。

技术摘要：关于仅注意力 Transformer 的受控研究

问题陈述
前馈网络（FFN）约占 Transformer 非嵌入参数的三分之二，并被广泛解释为模型的参数化记忆（Geva 等人，2021, 2022；Meng 等人，2022；Dai 等人，2022）。然而，FFN 的必要性从未在受控条件下得到严格测试。以往尝试移除 FFN 的做法要么通过持久记忆向量将容量折叠回注意力机制中（Sukhbaatar 等人，2019），从而使必要性问题悬而未决；要么是在不符合实际应用的、缺乏残差连接的理论设置下进行分析（Dong, Cordonnier, and Loukas 2021）。核心实验挑战在于，移除 FFN 会同时扰动三个关键变量：参数量、每个 token 的计算量（FLOPs）以及非线性组合步骤的数量（深度）。因此，单一维度的控制不足以隔离 FFN 的真实成本。

方法论
作者通过预训练简单注意力网络（Simple Attention Networks, SANs）——即移除了 FFN 的 Transformer——来针对标准 Transformer 进行“必要性测试”。为了控制混淆变量，研究采用了三种不同的匹配策略（表 1）：

等深（Iso-depth）： 匹配层数（20 层）。这移除了标准 Transformer 中 72% 的参数。
等参（Iso-param）： 匹配总非嵌入参数量。释放出的预算被重新分配到注意力深度中（20 层 SAN 对比 4 层标准 Transformer）。
等 FLOP（Iso-FLOP）： 匹配训练计算量（每个 token 的 GFLOPs）。由于注意力机制在序列长度上具有无参数的二次方成本，标准 Transformer 在此机制下携带更多参数。

实验控制与公平性：

超参数公平性： 每个架构分支都在 5B token 检查点处经历了自身的学习率搜索（0.5× 至 16×），以确保没有任何一个分支在另一个分支的首选超参数下进行竞争。
优化器控制： 训练使用 Muon 对抗 AdamW 控制组，并通过校准的 0.0015 nats 噪声底限建立了优化器等效控制。
数据范式： 模型在 SYNTH（一种推理密集型合成语料库）上进行预训练，直至 105B token。随后在 Fineweb-edu（知识密集型）上进行了单独的预注册测试。
架构： SANs 使用带有分组查询注意力（GQA）、RoPE 和特定归一化策略（ZCN、QK-normalization）的 Pre-norm 注意力。

关键结果
研究根据匹配策略将 SANs 与标准 Transformer 之间的性能差距分解为一个单调序列：

移除成本（等深）： 在匹配深度的情况下直接删除 FFN，会导致验证损失显著增加 0.47 nats。
计算效率（等 FLOP）： 在匹配训练 FLOPs 时，标准 Transformer 仍然领先 0.26 nats，因为仅注意力模型必须在无参数的二次方项上消耗更多计算量，导致留给容量的参数更少。
参数效率（等参）： 当释放的参数预算被重新分配到注意力深度时，差距收缩至一个极小且高度可复现的 +0.0055 至 +0.0054 nats（总损失的 0.27%），这是基于干净种子对的结果。该差异在 5B、30B 和 105B token 的预算下保持稳定，并在 29 倍的非嵌入参数规模范围内保持在 0.02 nats 左右。

残差差距的定位
剩余的性能亏损并非弥散性的，而是严格局部的：

Token 区域： 亏损完全集中在低上下文查询 token 上（即上下文提供的路由信息极少的地方）。在推理轨迹和答案区域（包括记忆练习），SAN 的表现往往优于或匹配 FFFM 模型。到 105B token 时，SAN 在所有答案区域均处于领先地位，亏损仅存在于查询 token 上。
任务类型： 在需要分布外召回的任务（如 Lambada）上，FFM 模型始终胜出。在答案已在上下文中提供的任务（如 SciQ）中，SAN 胜出，且随着训练推进，优势不断扩大。
分布依赖性： 在 Fineweb-edu（知识密集型文本）上的预注册测试显示差距为 0.040 nats，证实了以下预测：FFM 的优势在低上下文、知识密集型文本上最大。相反，在 Fineweb-edu 训练的 Lambada 上，偏好发生了逆转，这表明“存储 vs. 路由”是任务-分布匹配的属性，而非内在的任务属性。

机制：权重谱动力学
论文通过权重谱分析识别了这些结果背后的机制：

路由 vs. 内容： 路由矩阵（Query/Key）在训练的前四分之一阶段发生光谱结晶（冻结）。内容矩阵在整个稳定训练阶段积累稳定的秩。
存储重定位： 在标准 Transformer 中，内容积累发生在 FFN 的下投影层。在 SANs 中，这种积累转移到了注意力输出投影（ $W_o$ ），它成为了进入残差流的唯一写入路径。
稳定性： 研究确定 QK-normalization 是训练深层（48 层）仅注意力堆栈的关键组件。移除它会导致立即发散。标量残差门被发现对性能是中性的，但对诊断很有用。

意义与主张
本文声称提供了对 Transformer FFN 的首次受控必要性测试。其主要结论如下：

FFM 不是一种独特的计算原语： 移除它并不会破坏模型；相反，它代表了一种将参数容量分配给特定写入路径的特定方式。
功能形式 vs. 容量： 在推理密集型数据上，FFM 的功能形式在很大程度上并不重要；重要的是参数容量。将此容量重新分配到注意力深度可以恢复几乎所有的性能。
特定缺陷： 唯一的剩余成本是对于那些上下文无法提供信息进行路由、被迫依赖参数化记忆的 token 而言，存在微小且可预测的性能下降。
鲁棒性： 在学习率压力下，SANs 比标准 Transformer 表现出更强的训练稳定性，在 SAN 的运行中未观察到发散事件，而 FFN 运行中存在不稳定现象。

作者总结道，在测试范围内，“注意力完成了剩余工作”，前提是匹配参数预算并使用 QK-normalization 对架构进行稳定化。该研究将 FFN 重新定义为一种特定的知识存储机制，而非本质的结构组件，可以通过更深的注意力层进行有效替代，其代价是在低上下文、高知识密度的预测任务上产生局部的性能损失。