想象一个这样的世界：计算机通过阅读数十亿个句子，试图通过猜测故事中的下一个词来学习说话。为了做到这一点，它们使用了一种特殊的、类似大脑结构的结构，叫做 Transformer。把 Transformer 想象成一座多层工厂，原始数据从底部进入，在每一层进行处理，最后从顶部出来变成一个智能预测。为了让这些工厂发挥最佳性能，它们需要非常深——有时甚至高达数十层。然而，这里有一个棘手的问题：如果你使用原始蓝图建造得太高，底层的工作人员就会接收不到指令。来自顶层的信号会变得如此微弱，以至于底层直接放弃了，整个机器会陷入一个无聊的循环，它预测的每一个词都只是它见过的平均词汇的副本。这有点像一场“传声筒”游戏，信息在到达终点时变得如此模糊，以至于每个人都只是在重复同一个短语。

你即将阅读的论文深入探讨了为什么这会在一种被称为“Post-Norm”的特定工厂设计中发生。在这种设计中，工人们只有在完成工作并将其添加到主传送带之后，才会接受一次“体检”（归一化）。作者发现，这种设置有两个致命缺陷。首先，就在工厂开门营业时，工人们观察过去的方式（注意力机制）会无意中让所有人的工作看起来完全一样，就像一群克隆人。其次，一旦所有人都变得一模一样，工厂内部传递消息的规则（梯度）就会开始缩小指令，直到它们完全消失。结果就是，这台机器无法学习任何新事物，只会发出单一、沉闷的音调。作者不仅仅是靠猜，他们建立了一个数学模型来证明克隆是如何形成的，并运行了一个 48 层工厂的实验，实时观察这一过程的发生。

伟大的克隆工厂：为什么深度 AI 会陷入困境

让我们想象一座巨大的、有 48 层高的摩天大楼，每一层都是一个试图理解故事的工人团队。这是一个“Post-Norm Transformer”，一种类型的 AI 模型。目标是让顶层预测句子中的下一个词。为此，信息从底部向上流动，而指令（梯度）则向后向下流动，以教导工人们如何做得更好。

但问题在于：在这种特定的摩天大楼设计中，底层的工作人员正在遭受“冷暴力”。论文解释说，这发生在两个截然不同的阶段，就像一场展现悲剧的两幕剧。

第一幕：“开业日”的“克隆”效应

想象工厂刚刚开业。工人们很新鲜，经理们（AI 的注意力机制）正试图协调工作。在 Post-Norm 建筑中，经理们有一个怪癖：他们倾向于把所有人的想法平均化。

作者发现，在最开始时，“注意力”分支的工厂表现得像一个前缀平均算子（prefix-averaging operator）。把它想象成一位老师，他不是在听取每个学生独特的想法，而是直接取目前为止所说的一切的平均值，然后告诉所有人去模仿它。因为这座建筑很高（48 层），所以当信号向上移动时，这种平均化过程会反复发生。到信号到达顶层时，每个工人的输出看起来几乎完全一样。他们都变成了克隆人。

论文显示，这甚至发生在工厂开始学习之前！这就像是你建造了一座镜子塔，第一层反射就已经让一切看起来都一样了。作者测量了这一点，并发现“注意力”部分是主要罪魁祸首，它将工人推向了克隆化的道路。工厂的另一个部分，即“FFN”（前馈网络），试图反击并保持差异性，但这就像是一阵微风试图阻止一场飓风——它根本不足以阻止克隆现象。

第二幕：消失的耳语

现在，想象工厂正在运行，工人们已经变成了克联人。顶层的经理们意识到：“嘿，我们看起来都一样！我们需要解决这个问题！”他们向底层发送了一条消息来改变他们的行为。这是“反向传播”，或者说是梯度。

但就在这里，Post-Norm 设计背叛了他们。在这座建筑中，每当工人完成一项任务，他们都会接受一次“体检”（RMSNorm），该体检会根据其输出的大小来缩放他们的工作。随着工人们试图解决问题，他们的输出变得越来越大。体检机器看到这么大的输出，就会将其缩小以保持可控。

问题在于，这种缩小发生在工人将他们的工作添加到主传送带之后。因此，当“修复”消息试图传回下方时，它必须经过这个缩小机器。作者发现，随着工人们的输出增长，机器会极其激进地缩小“修复”消息，以至于当消息到达底层时，它已经消失了。这就像是在一个 48 层高的走廊里对着下方大喊纠正措施，但每一层都有一个声音阻尼墙，而且随着高度增加，墙变得越来越厚。当喊声到达底部时，它只剩下一声谁也听不见的耳语。

因为底层听不到指令，他们无法停止成为克隆人。工厂陷入了一个“高相似度状态”，在这种状态下，它唯一能做的就是预测训练数据中最常见的词。作者称之为“频率分布”。这是 AI 在说：“我不知道该说什么，所以我就说我听过的最流行的那个词吧。”

实验：观察崩溃过程

为了证明这不仅仅是一个理论，作者建造了一个 48 层的 Post-Norm 工厂，并在一个名为 C4 的大规模数据集上对其进行了训练。他们密切观察了训练过程：

1. 克隆增长： 他们测量了工人输出的相似度。正如他们的数学预测那样，相似度在开始阶段就迅速飙升，证实了“前缀平均”注意力正在将每个人变成克隆人。
2. 收缩过程： 他们追踪了“收缩因子”（RMSNorm 反向因子）。他们看到随着训练的进行和工人输出的增长，这个因子降到了 1 以下。这意味着工厂正在积极地缩小修复信号。
3. 消失的梯度： 他们观察了底层，发现梯度（学习信号）下降了数个数量级。底层实际上对顶层的指令视而不见。
4. 死胡同： 最后，他们检查了损失值（预测有多差）。一旦工厂崩溃，损失值就不再改善，而是停留在“频率损失”处——即一个只会猜测最常见词汇的机器所能达到的理论最小值。

为什么 Pre-Norm 不同

你可能会问：“为什么不是所有的 AI 工厂都有这个问题？”论文解释说，另一种被称为“Pre-Norm”的设计通过将“体检”放在工人将工作添加到传送带之前来解决这个问题。在 Pre-Norm 中，缩小机器只影响新的工作，而不影响整个传送带。这意味着“修复”消息仍然可以沿着走廊向下传递而不会被压碎，从而让底层保持清醒并进行学习。

总结

这篇论文并不只是简单地说“Post-Norm 很差”。它为我们提供了一个关于为什么它会失败的清晰的两部分故事。首先，注意力机制在开始时无意中创造了一群克隆人。其次，架构中传递消息的规则使得一旦克隆形成，就无法消除它们。工厂陷入了一个循环，只能重复它所知道的最常见的词，无论如何训练都无法唤醒它，因为改变的指令永远无法到达底部。

作者对此非常确定：他们拥有关于这种行为的数学证明，以及来自 48 层模型的实验数据，且数据完美符合他们的预测。他们甚至展示了，如果你移除注意力机制中的“平均”部分，克隆现象就会停止，从而证明了注意力机制确实是这个故事中的反派。所以，如果你想建造一个深度、智能的 AI，最好确保你的工厂设计不会意外地将你的工人变成一群沉默且完全相同的群体。