📊 statistics

Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes

本文证明，“弹射机制”（其特征为长期训练期间出现周期性损失尖峰和参数快速增长）并非内在的优化动态，而是由低精度浮点运算引发的数值伪影，其中梯度舍入误差破坏了零和约束，并触发了被称为数值特征膨胀（NFI）的正反馈循环。

原作者： Liu Hanqing, Jianjun Cao, Yuanze Li, Zijian Zhou

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Liu Hanqing, Jianjun Cao, Yuanze Li, Zijian Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人来识别不同的动物。你不断给它展示猫和狗的图片，直到它达到 100% 的完美准确率。此时，机器人变得如此自信，以至于当它看到一只猫时，它会用震耳欲聋的声音大喊“猫！”，其音量之大足以淹没所有其他可能性。

根据这篇论文，这种极端的自信实际上非常危险，因为计算机进行数学运算的方式存在一个隐藏的缺陷。以下是用简单语言解释的整个过程。

问题：“耳语与呐喊”故障

计算机并非以无限精度进行思考；它们使用的是有限的数字系统（就像一把只有有限微小刻度的尺子）。

呐喊：当机器人有 99.999% 的把握认为一张图片是猫时，“猫”的得分会非常高，而“狗”的得分则非常低。
故障（Softmax 崩溃）：由于“猫”的得分相对于“狗”的得分如此巨大，计算机的数学运算会陷入混乱。它试图将微小的“狗”数值加到巨大的“猫”数值上，但由于“狗”的数值相对于“猫”的数值太小，它被计算机有限的精度吞噬了。计算机认为“狗”的得分恰好为零。
沉默：在一个理想世界中，如果机器人犯了错，它应该得到微小的推动来自我修正。但由于数学运算吞噬了“狗”的得分，计算机认为机器人是完全正确的。它停止向“猫”类别发送任何修正信号（梯度）。机器人陷入沉默。

陷阱：永无止境的“拔河”

这里情况变得诡异。尽管机器人认为自己完美无缺，但数学运算实际上已经损坏。

失衡：通常情况下，如果机器人将“猫”的得分推高，它必须将“狗”的得分压低以保持总体平衡。但由于“狗”的信号被吞噬了，平衡被打破。计算机意外地将“猫”的得分推高，却没有将“狗”的得分拉低。
反馈循环（数值特征膨胀）：这产生了一种失控效应。机器人内部关于“猫”的平均值与关于整个世界的内部平均值开始相互偏离。它们开始像拔河队伍一样互相拉扯，且越跑越快，方向相反。
爆炸：机器人大脑内部的数值（权重）开始呈指数级增长，就像被消防水龙吹胀的气球。它们变得如此巨大，以至于机器人内部的数学运算变得不稳定。

“弹弓”：崩溃与反弹

最终，数值变得如此之大，内部数学运算变得如此扭曲，以至于机器人突然意识到：“等等，我并不完美！”

尖峰：由于机器人处于“沉默”状态（没有修正），学习算法（Adam）一直在积累大量的“动量”。当机器人终于再次接收到修正信号时，它会发出一次巨大且爆炸性的更新。
结果：机器人的性能崩溃。损失（误差）飙升至天际。看起来机器人似乎忘记了一切。
恢复：在这次崩溃之后，机器人被猛然拉回正常状态。它重新学习，而且往往在泛化能力（理解它从未见过的新的猫和狗）方面表现得更好。这种崩溃与恢复的循环被称为"弹弓机制"。

为什么会发生这种情况？

作者证明，这并不是大脑学习方式中某种深奥、神秘的特性。它是由使用低精度数字（如标准的 32 位浮点数）引起的数学错误。

证明：当他们使用更高精度的数学（64 位浮点数）运行相同的训练时，“呐喊”足够响亮，以至于“耳语”没有被吞噬。故障消失了，失控的反馈循环停止了，损失尖峰也随之消失。

核心要点

这是漏洞，而非特性：“弹弓”并非某种神奇的优化技巧；它是计算机用于计数的十进制位数耗尽所产生的副作用。
修复方法：你可以通过在最终计算中使用更高精度的数学运算来阻止这种情况，或者使用特定的技巧（如“批归一化”）来重置机器人内部的平均值，防止它们相互偏离。
现实意义：这解释了为什么某些 AI 模型在长时间训练后会表现怪异，尤其是当人们试图通过使用低精度数学运算来让它们运行得更快时。这并不是模型以某种怪异的方式“学习”；而是模型的数学运算发生了崩溃。

技术摘要：顿悟还是故障？低精度如何引发弹弓损失尖峰

1. 问题陈述

在没有显式正则化的情况下训练深度神经网络，常会出现一种被称为“顿悟”（Grokking）的现象，即模型在达到完美训练准确率很久之后，突然获得泛化能力。这一过程通常伴随着弹弓机制（Slingshot Mechanism）：周期性不稳定性表现为最后一层参数范数的快速、近乎指数级增长，随后训练损失出现急剧尖峰。

尽管现有文献将这些尖峰归因于内在的优化动力学——例如稳定性边缘（Edge of Stability, EOS）或梯度尺度与自适应优化器之间的相互作用——但确切的触发机制仍不清楚。本文调查了这些不稳定性是优化景观的固有属性，还是有限精度算术的产物。

2. 方法论与理论框架

作者提出，弹弓机制并非内在的优化现象，而是交叉熵（CE）损失计算过程中浮点算术精度限制的结果。

2.1 Softmax 坍塌（SC）

该机制的核心在于浮点加法固有的吸收误差（absorption error）。随着训练进行，模型进入高置信度区域（完美训练准确率），正确类别的 Logit（ $z_r$ ）变得显著大于错误类别的 Logit（ $z_k$ ）。

在 Softmax 计算中，分母涉及 Log-Sum-Exp 操作： $Z = \log(\sum \exp(z_k))$ 。
当间隔 $z_r - \max_{k \neq r} z_k$ 超过由尾数精度决定的阈值（例如 float32 约为 16）时，由于精度有限，较小的项会被较大的项吸收。
因此，正确类别的计算概率恰好变为 1，且关于正确类别 Logit 的梯度 $\partial L / \partial z_r$ 舍入为恰好为零。这种现象被称为Softmax 坍塌（SC）。

2.2 打破零和约束

在精确算术中，单个样本所有类别的梯度之和为零（ $\sum_k \nabla_{W_k} L = 0$ ），确保分类器权重的全局均值（ $W_G$ ）保持静态。

在 SC 下，正确类别的梯度消失，而错误类别的梯度保持非零（尽管很小）。
这打破了零和约束，导致全局分类器均值 $W_G$ 的更新出现净漂移。具体而言， $W_G$ 向 $-\mu_G$ 方向漂移，其中 $\mu_G$ 是倒数第二层特征的全局均值。

2.3 数值特征膨胀（NFI）

本文识别出一个被称为数值特征膨胀（Numerical Feature Inflation, NFI）的正反馈循环：

$W_G$ 的漂移改变了流向特征层的梯度流。
特征均值 $\mu_G$ 接收到向 $-W_G$ 方向的漂移。
这产生了一种耦合动态，使得 $W_G$ 和 $\mu_G$ 变为反平行，且它们的范数呈指数级增长。
随着这些范数的增长，某些样本（特别是异常值）的间隔最终降至吸收阈值以下，导致正确类别的梯度突然重新出现。

2.4 弹弓尖峰

正确类别梯度的重新出现触发了损失尖峰：

在尖峰发生之前，正确类别的梯度为零，错误类别的梯度极小。Adam 优化器的二阶矩累积器（ $v_t$ ）衰减，导致有效学习率（ $\eta / \sqrt{v_t + \epsilon}$ ）变得极大。
当梯度突然重新出现时，这种巨大的有效学习率导致参数更新不成比例地巨大，将损失推回随机猜测水平（即“弹弓”效应）。

3. 主要贡献

弹弓机制的理论解释：本文提供了严格的证明，表明弹弓机制是由有限精度 CE 损失计算引起的数值伪影，具体将其与 Softmax 坍塌及随后零和梯度约束的破坏联系起来。
NFI 的识别：作者定义了数值特征膨胀（NFI），即全局分类器均值与全局特征均值之间的反馈循环，它驱动了损失尖峰前观察到的参数范数指数级增长。
与内在动力学的区分：该工作证明弹弓机制不同于稳定性边缘（EOS）。虽然 EOS 涉及由 Hessian 曲率引起的振荡，但弹弓机制发生在 Hessian 特征值消失（插值区域）的区域，并且可以通过提高精度来消除。
实际干预措施：本文提出并验证了抑制 NFI 的方法，包括：
- 使用float64进行损失计算（消除吸收误差）。
- 通过梯度投影强制执行零和约束。
- 在最终分类器之前应用批归一化（Batch Normalization）以移除全局均值分量。
- 增加 Adam 的 $\epsilon$ 参数以限制有效学习率。

4. 实验结果

作者在多种架构（MLP、VGG11、ResNet18、ViT、Transformer）和数据集（模运算、CIFAR-10、用于大语言模型的 FineWeb）上验证了其理论。

精度敏感性：将损失计算切换为float64完全消除了弹弓尖峰，即使模型参数仍保持在 float32。这证实了不稳定性源于损失计算，而非模型动力学。
架构依赖性：该现象在大多数架构中均被观察到，但在ResNet18中显著缺失。作者将其归因于 ResNet18 能够迅速降低残差概率质量（ $\epsilon$ ），从而在模型稳定之前防止 NFI 反馈循环进入指数增长区域。
缓解措施：
- 在分类器之前应用层归一化（LN）未能缓解该效应，反而可能通过约束特征范数而加速尖峰。
- 在最终线性层之前立即应用批归一化（BN）通过居中特征并移除漂移分量，成功消除了尖峰。
- 标签平滑消除了由精度引起的尖峰，但引入了与稳定性边缘相关的不同不稳定性，这是由于 Hessian 特征值不消失所致。
大语言模型（LLM）：在大语言模型训练中，由于小批量随机性，全批量弹弓尖峰较为罕见，但 NFI 机制仍会驱动异常的 Logit 增长。作者指出，在语言建模中，词频不平衡（齐普夫定律）即使在没有数值坍塌的情况下也可能产生巨大的全局均值 $W_G$ ，从而导致一种不同的动态，其中低精度可能会部分抑制由频率引起的发散。

5. 意义与主张

本文将弹弓机制重新解释为一种有限精度训练的数值动力学，而非神秘的优化行为。

梯度流的重新解释：结果突显了理论梯度流分析（假设无限精度且通常预测对数范数增长）与实际训练之间的差距，在实际训练中，数值误差可能驱动指数级增长。
低精度训练中的稳定性：随着该领域转向更低精度（BF16、FP8、FP4）以进行大规模训练，理解 NFI 至关重要。作者认为，对数概率计算中的数值误差代表了一种独特的失效模式，可能导致训练不稳定，这与矩阵乘法或注意力池（attention sinks）中的量化误差不同。
适度的范围：作者承认局限性，指出其分析依赖于无约束特征模型（Unconstrained Feature Model）假设，并主要调查最后一层与倒数第二层特征之间的相互作用。他们并不声称能解释所有形式的训练不稳定性，而是专门针对无正则化长期训练中观察到的周期性损失尖峰。

总之，本文断言弹弓是一个故障，而非特性，由浮点算术的吸收误差驱动，并为训练后期阶段的异常参数增长提供了具体、可验证的解释和干预措施。