📊 statistics

Numerical stability analysis of large language models

本文对 Transformer 推理进行了混合精度分析，推导出了 LayerNorm、RMSNorm 和自注意力等关键组件的新型误差界限与稳定性条件，最终揭示了数值稳定性受权重幅度与残差流增长之间相互作用的影响，这一发现已通过在 GPT-2 上的实验得到了验证。

原作者： Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个大型语言模型（比如驱动聊天机器人的那些模型）就像一座巨大的、多层的工厂。在工厂内部，信息从底层向顶层流动，穿过数百个房间（层）。在每个房间里，信息都会被处理、混合并重塑，然后传递到下一个房间。

你提供的这篇论文就是这份工厂的安全检查报告。作者们在问：“如果我们从第一个房间里一颗几乎看不见的微小尘埃（一个微小的计算机舍入误差）开始，到它到达顶层时，这颗尘埃会变成多大？”

以下是他们研究结果的拆解，使用了简单的类比：

1. “低精度”捷径 (The "Low-Precision" Shortcut)

为了让这些工厂运行得更快、更便宜，工程师经常使用“低精度”数学计算。这就像是用一把只有英寸刻度而没有毫米刻度的尺子来测量食材。它更快，但你会损失一点点精度。

问题所在： 当你连续进行成千上万次计算时，这些微小的“英寸刻度”误差会不断堆积。作者们想知道：这座工厂会因为这些微小的误差而崩溃吗，还是能保持稳定？

2. “归一化”门 (The "Normalizing" Doors: LayerNorm vs. RMSNorm)

在信息进入下一个房间之前，它必须通过一道“归一化门”，这道门会调整数据的规模。

旧式的门 (LayerNorm)： 这道门会减去数据的平均值。作者发现，如果数据中有一个巨大的离群值（一个远大于其他数值的巨大数字），这道门就会变得摇摇欲坠。这就像是在尝试平衡一个跷跷板，其中一端坐着一头大象，另一端坐着一只老鼠；这种数学计算会变得非常敏感。
新式的门 (RMSNorm)： 这是现代顶级模型所使用的门。它不减去平均值，而只是根据总规模进行缩放。作者发现，这道门是无条件稳定的。即使跷跷板上坐着一头大象，这道门依然稳固。这是一种更鲁棒的设计。

3. “注意力”聚光灯 (The "Attention" Spotlight)

这些模型中最著名的部分是“自注意力机制”（Self-Attention），它决定了句子中哪些词与哪些词相关。

“Softmax”开关： 这是将原始分数转化为概率（百分比）的机制。作者分析了一种常见的技巧，叫做“平移”（在计算前减去最大值），以防止数学计算爆炸（溢出）。
研究发现： 他们证明了这种“平移”技巧是安全的。它可能会让系统对噪声稍微敏感一些（最多增加 4 倍），但不会破坏数学逻辑。这就像戴着墨镜看太阳；它改变了你的视觉感受，但不会让你失明。
“注意力汇聚” (The "Attention Sink")： 他们还注意到，在长对话中，模型往往会过度关注最开始的几个词（即“汇聚点”）。他们的数学证明显示，即使在这些长序列中，误差也不会像旧理论预测的那样失控。

4. “残差流” (The "Residual Stream" / The Conveyor Belt)

数据通过一条“残差流”在工厂中流动——这是一条承载着主要信息的传送带。

增长： 随着数据向更高层移动，传送带自然会变得“更重”（数字变得更大）。
权重： 传送带上的机器（权重）会随着工厂变高而按比例缩小，以保持平衡。
重大发现： 作者发现了一个黄金法则：如果你向上或向下缩放传送带，其“相对”误差保持不变。
- 类比： 想象你正在跑步机上行走。如果你将跑步机的速度增加一倍，同时也将你的鞋子尺寸增加一倍，那么你的步态（相对于你的体型而言）不会发生变化。
- 代价： 这仅在传送带表现出“线性”（可预测）特征时才成立。如果缩放权重过多，传送带可能会突然切换到一种完全不同的运行模式（“定性转变”）。在这种特定情况下，稳定性会遭到破坏。但只要传送带保持正常的节奏，缩放权重就不会损害准确性。

5. “GPT-2”实验

为了证明他们的数学理论不仅仅是理论，他们在名为 GPT-2 的真实模型上进行了测试。

随机权重： 当他们使用一个带有随机、未经训练权重的模型时，误差增长缓慢且可预测。
训练后的权重： 当他们使用真实的、经过训练的模型时，误差增长得稍快一些（呈指数级增长），但仍在可控范围内。
结论： 数学逻辑经受住了考验。除非他们通过剧烈改变权重，强行将模型推入一种怪异、不稳定的状态，否则“相对误差”（相对于数据规模的误差）始终保持一致。

总结

论文得出结论：大型语言模型在数值上是稳定的。
尽管它们使用“粗糙”的数学计算（低精度），并且必须处理巨大的数字，但其架构设计能够防止误差堆积成灾。这种稳定性的关键在于权重规模与数据流增长之间的相互作用。只要模型不被推入某种怪异、不稳定的状态，由低精度数学引入的“噪声”就只会是一粒微小的、可控的尘埃，而不是一场坍塌式的灾难。

技术摘要：大语言模型的数值稳定性分析

问题陈述

基于 Transformer 架构的大语言模型（LLMs）在高效训练和推理过程中高度依赖低精度算术运算。虽然量化和混合精度策略带来了显著的计算增益，但也引入了会在网络中传播的数值扰动。这些误差会因浮点（FP）运算固有的舍入误差而进一步复合。尽管经验研究已广泛记录了量化的影响，但针对深度 Transformer 架构数值稳定性的严谨理论分析仍然匮ın。本研究旨在通过开发一种确定性的、针对 Transformer 推理的混合精度数值分析方法，来填补这一空白，并推导其组成部分的条件数（condition numbers）和前向误差（forward errors）的界限。

方法论

作者采用了一种适用于混合精度环境的确定性舍入误差分析框架（Higham, 2002）。该分析区分了四种不同的精度：

量化精度 ( $u_q$ )： 用于通用矩阵乘法（GEMM）中操作数的舍入。
累加精度 ( $u_a$ )： 用于内积的求和。
工作精度 ( $u_w$ )： 用于评估非线性函数。
残差精度 ( $u_r$ )： 用于存储残差流中的状态变量。

本研究聚焦于一个具有预归一化（pre-normalization）、带有旋转位置嵌入（RoPE）的因果多头自注意力机制，以及采用 GELU 或 SwiGLU 前馈（FF）机制的代表性仅解码器（decoder-only）Transformer 架构。分析过程如下：

为各个组件（LayerNorm/RMSNorm、FF 模块、Softmax 和自注意力机制）推导条件数（包括范数型、分量型和混合型）。
在 FP 算术下建立这些组件的前向误差界限，并考虑特定的累加算法（例如递归求和与成对求和）以及 Softmax 中的吸收效应（absorption effects）。
通过聚合这些局部界限来分析深度 Transformer 架构的全局前向误差，并显式地对残差流的增长动力学进行建模。

核心贡献

1. 归一化稳定性（LayerNorm 与 RMSNorm）

本文针对现代 LLM 推理中典型的“大规模离群值（massive outliers）”场景，提供了 LayerNorm 与 RMSNorm 的比较数值稳定性分析。

发现： 在敏感度（条件数）方面，两者并非绝对优劣之分。然而，LayerNorm 的前向误差受离群值背景项大小的影响，而 RMSNorm 则表现出无条件的前向稳定性。
启示： 现代 LLM 向 RMSNorm 的转变在不降低数值稳定性的前提下降低了计算复杂度，尽管具体的误差行为取决于输入分布。

2. 前馈机制稳定性

作者分析了使用平滑类 ReLU 激活函数（如 GELU）和门控机制（如 SwiGLU）的前馈（FF）模块的前向稳定性。

发现： 已证明 GELU 和 SwiGLU 机制的 FP 评估是前向稳定的。其误差界限主要由底层 GEMM 的量化和累加误差主导，而非非线性函数本身。

3. Softmax 敏感度与注意力汇聚（Attention Sinks）

分析探讨了 Softmax 的数值行为，特别是在存在“注意力汇聚”（即概率质量集中在早期 token 上）的情况下。

偏移评估： 文中证实，虽然偏移评估算法（通过减去最大值来防止溢出）能防止数值不稳定，但与未偏移评估相比，它最多会将对扰动的敏感度增加 4 倍。
集中分布： 对于集中型概率分布（常见于注意力汇聚），作者推导出了一个新的舍入误差界限，该界限考虑了吸收效应。该界限随有效序列长度（即未被吸收的项数）而非总序列长度进行缩放，这解释了长上下文推理的经验成功原因。

4. 与序列长度无关的 Lipschitz 界限

一个重要的理论贡献是推导出了自注意力机制局部 Lipschitz 常数的全新界限，且该界限与输入序列长度 ( $N$ ) 无关。

改进： 这些界限在离散情况下优于之前的平均场界限（Castin et al., 2024）。这些界限相对于输入的范数呈严格二次方关系，而之前的离散界限则包含指数因子。
离群值： 分析表明，大规模离群值的存在可以进一步收紧这些界限，从而降低注意力头的条件数。

5. 全局架构稳定性与残差流动力学

论文通过聚合局部误差界限来分析整个深度 Transformer。

关键洞察： 推理的数值稳定性取决于权重大小与残差流增长动力学之间的相互作用。
缩放法则： 分析验证了残差投影权重（如 GPT-2 中引入的）随深度变化的缩放法则能够保持相对舍入误差的传播，前提是该缩放不会导致残差流动力学的性质发生质变。如果残差流对权重缩放呈线性响应，则相对误差保持不变。

结果与实验验证

作者使用 GPT-2 XL 模型通过对比随机初始化权重与预训练权重，对理论界限进行了实验验证。

误差增长： 对于随机初始化模型，经验误差增长是亚指数级的（ $O(e^{l^{0.24}})$ ），这与理论预测的亚指数增长一致，尽管经验增长率比最坏情况下的界限更为温和。
预训练模型： 预训练模型表现出缓慢的指数级误差增长。与多项式增长预测之间的差异归因于预训练模型中权重随深度的变化，这违反了定理中统一缩放的假设。
权重缩放实验： 对残差投影权重（ $W_O$ $W_{O}$ 和 $W_{down}$ $W_{d o w n}$ ）进行缩放的实验证实了理论假设：
- 在随机初始化模型中，绝对舍入误差随权重缩放因子 $\xi$ 线性缩放。
- 在预训练模型中，在缩放因子 $\xi=2$ 与 $\xi=5$ 之间发生了“性质转变（qualitative transition）”，导致绝对误差呈现非线性响应。一旦模型进入新阶段（ $\xi > 5$ ），误差恢复为严格比例缩放。
- 至关重要的是，在所有情况下，相对舍入误差对缩放保持不变，除非缩放引发了残差流动力学的分叉。

意义

本文为理解 Transformer 推理的数值稳定性建立了严谨的理论基础。其主要意义在于：

弥合理论与实践： 它提供了首个关于 Transformer 混合精度误差的全面确定性分析，超越了经验性的启发式方法。
验证架构选择： 通过展示在特定动力学条件下如何保持相对误差传播，从数学上证明了特定缩放法则（如 GPT-2 初始化）和归一化技术（如 RMSNorm）的合理性。
解释长上下文的成功： 针对吸收效应下的 Softmax 所推导的界限，为 LLM 尽管存在潜在误差累积却仍能处理长上下文提供了理论解释，因为由于注意力汇聚的存在，实际起作用的项数通常较小。
定义稳定性极限： 该工作明确了数值稳定性不仅是精度或权重大小的函数，而且与残差流的动力学行为本质相关。

作者总结道，尽管其最坏情况下的界限可能过于保守（如 GPT-2 XL 预训练权重的对比所示），但关于权重缩放与残差流动力学之间相互作用的推导原则，为分析和设计数值稳定的 LLM 提供了一个稳健的框架。