💬 NLP

Smooth Scaling Laws Hide Stepwise Token Learning

本文证明了语言模型损失的平滑缩放法则实际上是由一系列局部的标记级学习事件所驱动的，这一发现不仅解释了聚合幂律行为，还通过基于标记可学习性重塑数据分布，实现了 11% 的训练效率提升。

原作者： Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大的、超级聪明的机器人说人类语言。你喂给它数以万亿计的词汇。随着机器人的规模变大以及你喂入的数据增多，它的错误（称为“损失”）呈现出一种非常可预测且平滑的曲线下降趋势。科学家们早就知道这一点，但他们并不真正理解为什么曲线会呈现出那个样子。

这篇论文认为，这种平滑的曲线实际上是一个由数百万个发生在不同时间点的微小、个体学习时刻所创造的“魔术”。

以下是使用简单类比进行的拆解：

1. 大局观：平滑的滑梯 vs. 阶梯

通常，当我们观察机器人的进步时，它看起来像是一个平滑向下的滑梯。论文指出，这是一种错觉。如果你放大观察，你会发现看到的不是平滑的滑梯，而是一个阶梯。

旧观点： 我们认为机器人是在一点一滴地学习，同时缓慢地在所有方面变得更好。
新发现： 机器人实际上是在进行突然的跳跃式学习。它会盯着某个特定的词（或“标记/token”）看很久，没有任何进步；然后，突然间，它“开窍”了，完美地掌握了这个词。在此之后，它就能一直保持对这个词的掌握。

2. “Sigmoid”（学习跳跃）

作者发现，机器人学习的每一个词都遵循相同的模式，他们称之为“Sigmoid”。

阶段 1（平台期）： 机器人很困惑。它每次都猜错。
阶段 2（跌落期）： 突然间，机器人弄明白了。它的错误率迅速崩塌式下降。
阶段 3（平台期）： 机器人现在掌握了。它保持正确。

这就像学习骑自行车。你会经历长时间的摇晃和摔倒（平台期 1）。然后，某一天，你突然掌握了平衡并能平稳骑行（跌落期）。之后，你就一直保持骑行（平台期 2）。

3. 秘密武器：“学习时间谱”

那么，如果每个词都是以突然跳跃的方式学习的，为什么整体图表看起来却是一个平滑的滑梯呢？

答案是时机。

有些词很简单（比如“the”或“and”）。机器人在非常早期就会学会这些词。
有些词很难（比如复杂的数学术型或罕见的成语）。机器人会在很晚的时候才学会这些词。
大多数词都处于中间位置。

论文将此称为**“学习时间谱”**。这就像一群人进入房间。如果所有人都在同一秒钟进入，房间会瞬间填满。但如果人们一个接一个地在很长一段时间内陆续进入，房间就会平滑地填满。

我们在 AI 研究中看到的平滑“缩放法则（scaling law）”曲线，并不是因为机器人在平滑地学习；而是因为不同的词在不同的时间学习。这种“平滑性”只是数百万个连续发生的、个体的“开窍时刻”的平均值。

4. 三个轴：时间、数据和规模

作者通过三种不同的方式测试了这个想法，并且在所有情况下都奏效了：

训练步数（时间）： 随着训练时间的增加，机器人会学习更难的词。
数据规模： 当你给机器人读更多的书时，它会遇到以前从未见过的更难的词。
模型规模： 当你把机器人的大脑做大时，它就具备了理解更难概念的能力。

在这三种情况下，平滑的进步都只是机器人按照特定的顺序（从易到难）处理词汇的结果。

5. 超能力：重写进度表

这是最令人兴奋的部分。因为作者弄清楚了机器人何时学习特定的词，他们利用这一知识来加速进程。

实验： 他们观察了一个特定的训练阶段（例如，第 2,000 到 3,800 步）。他们识别出了在那个特定窗口期内“准备好被学习”的词。
调整： 他们改变了机器人的“饮食”。他们不再喂它随机的词，而是喂它更多那些在此时此刻“准备好被学习”的词，以及更少那些太难或太容易的词。
结果： 机器人学得更快了。与正常进度相比，它多减少了 11% 的错误。

总结

论文声称，AI 缩放法则中的“魔力”并非某种神秘的数学规则。它仅仅反映了 AI 在何时学习不同的事物。

问题： 我们曾认为 AI 是平滑学习的。
真相： 它是以突然爆发的方式学习，但不同的词在不同的时间爆发。
益处： 如果我们知道一个词什么时候准备好被学习，我们就可以在正确的时间喂给 AI 正确的词，从而让它学得更快。

这就像意识到一个学生并不是通过缓慢学习所有内容来掌握数学的；而是通过掌握一个概念，再下一个，再下一个。如果你知道他们今天正好准备好学习哪个概念，你就能更高效地教导他们。

技术摘要：平滑的缩放法则掩盖了分步式的 Token 学习过程

问题陈述

语言模型表现出显著的规律性缩放法则（Scaling Laws），即聚合验证损失（aggregate validation loss）随着模型规模 ( $M$ )、数据规模 ( $D$ ) 和训练步数 ( $T$ ) 的增加，遵循可预测的幂律衰减。虽然这种经验性的规律性为计算分配和训练策略提供了指导，但驱动这种幂律形式的根本机制仍不明确。现有的解释将其归因于自然语言数据中固有的具有重尾特征的模式难度谱（heavy-tailed spectrum of pattern difficulty）。然而，这些理论尚未在现代架构的大规模真实数据训练过程中，在 token 级别的粒度上得到直接验证。本文旨在解决的核心问题是：为什么语言模型的聚合损失遵循幂律？

方法论

作者提出了一个 token 级别的框架，将聚合缩放法则分解为单个上下文相关 token 的局部学习事件。该方法包含三个核心组件：

Token 级分解：
聚合验证损失 $L(a)$ （其中 $a$ 代表 $T$ 、 $D$ 或 $M$ ）被分解为单个 token 损失 $\ell_i(a)$ 的总和。作者分析了损失导数 $L'(a)$ ，它代表了学习速率，并将其视为 token 级损失导数的叠加。
学习事件的 Sigmoid 参数化：
通过观察发现，单个 token 的损失并不是均匀下降的，而是呈现出平台期、剧烈过渡期和最终平台期的特征。作者使用 Sigmoid 函数对每个 token 的损失轨迹进行建模：
$\ell_i(a) \approx \ell_{post}^i + \Delta_i [1 - \sigma(\lambda_i(a - \tau_i))]$
这里， $\tau_i$ 代表学习时间（下降中心）， $\lambda_i$ 控制下降的陡峭程度， $\Delta_i$ 是总损失降幅。该函数的导数产生了一个以 $\tau_i$ 为中心的“学习脉冲”（一个 $\text{sech}^2$ 函数）。
解耦形状与时间：
作者假设宏观损失导数是由两个因素构成的：
- 共享脉冲形状 ( $g$ )： 当按其学习时间对齐时，单个 token 学习事件的局部形状在不同 token 之间是近似一致的。
- 学习时间谱 ( $p$ )： token 群体中学习时间 $\tau_i$ 的分布。
聚合损失导数可以近似为共享脉冲与学习时间谱的卷积： $L'(a) \approx (p * g)(a)$ 。

实验设置

该框架在包含现代 LLM 架构（包括 MoE 模型）的 110 多次大规模多样化真实语言语料库预训练运行中得到了验证。实验涵盖了：

模型规模： 290M 到 6B 参数（最高达 6B）。
数据规模： 1B 到 300B 训练 token。
计算量： 约 1,178 A100 GPU-days。
维度轴： 分别沿训练步数 ( $T$ )、数据规模 ( $D$ ) 和模型规模 ( $M$ ) 轴进行了分析。

关键结果

1. Token 学习是分步式且局部的

单个 token 的损失在特定的学习时间之前保持在高平台期，随后经历快速的局部下降，最后稳定在低平台期。这种行为可以被 Sigmoid 拟合准确捕捉，从而反驳了“token 损失是均匀下降或个体遵循幂律”的假设。

2. 共享学习脉冲形状

当通过其学习时间 ( $\tau_i$ ) 对齐 token 损失导数时，它们的形状坍缩成一个高度相似的“学习脉冲”。这表明学习的机制在不同 token 之间是一致的；主要的差异在于学习发生的时间，而非学习的方式。

3. 学习时间谱决定了缩放法则

学习时间 ( $p(\tau)$ ) 的分布具有强烈的重尾特征，且近似服从幂律分布。作者证明了：

在 $T$ 、 $D$ 和 $M$ 轴上的经验损失导数，可以通过将共享学习脉冲与测得的学习时间谱进行卷积来完成定量重建。
全局损失的幂律形式主要受 token 学习时间分布（即谱）的支配，而非取决于单个 token 轨迹的具体形状。

4. 信号的可操作性

学习时间信号不仅具有描述性，还具有可操作性。通过估计一组 token 的学习时间，作者重新调整了训练分布，通过提高包含在目标区间内学习的 token 的样本权重，并降低未能在该区间学习的样本权重。

结果： 这种干预改变了优化轨迹，与原始分布相比，实现了验证损失降低速度的 11% 加速。

意义与主张

本文声称提供了首个在 token 级粒度上的直接经验证据，证明缩放法则主要受 token 级学习时间分布的支配。

理论贡献： 它为语言模型损失的幂律缩放提供了机械论解释，将宏观曲线与微观层面何时学习 token 的统计分布联系起来。这验证了“模式难度谱”驱动缩放的直觉，但将其重新定义为学习时间的分布，而非仅仅是一个静态的数据属性。
实践贡献： 它证明了学习时间信号可以用于控制缩放行为。通过基于 token 何时变得“可学习”来重塑数据分布，可以提高训练效率。
范围： 研究结果植根于工业规模的真实数据训练，超越了理论玩具模型或合成数据，从而验证了这些动态特性在现代 LLM 预训练流水线中的有效性。

作者总结道，该框架将 token 级的学习动态与宏观缩放行为联系起来，为实现大规模模型训练的以数据为中心的控制开辟了路径。