🤖 machine learning

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

本立场论文认为，尽管神经缩放法则的指数是由 Softmax 非线性等通用机制所决定的，但决定实际性能和最优模型配置的系数对特定的数据和架构细节具有敏感性，这使得对其理解成为近期 AI 改进的关键。

原作者： Yizhou Liu, Jeff Gore

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhou Liu, Jeff Gore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心思想：“配方”与“原料”

想象你正在尝试烘焙出完美的面包（大语言模型）。长期以来，科学家们注意到一个规律：如果你将面粉、水或烤箱时间增加一倍，面包的质量会以一种可预测的方式提升。这被称为“缩放法则”（Scaling Law）。

本文认为，**面包如何变好（配方背后的数学逻辑）**实际上是固定且不可改变的，就像物理定律一样。然而，原料的质量（数据和具体的各种设计选择）决定了面包最终的味道有多好，即便规则保持不变。

作者将此称为**“神经缩放普适性”（Neural Scaling Universality）**。这意味着无论你如何调整模型，它学习的“速度”都遵循三个固定的规则。唯一改变的是过程的“起点”或“效率”。

三个固定规则（指数）

论文指出，随着模型的训练，它产生的误差（错误）会遵循三种特定的模式下降。可以将这些视为三种不同的学习“限速”：

1. “Softmax” 限速（时间）

类比： 想象你在草堆里找一根针，但这个草堆是由磁铁组成的，离针越近，磁力就越强。起初你移动得很慢，但随着你越来越接近那根针，磁铁会把你拉得越来越快。
科学原理： 论文指出，由于使用了名为“Softmax”的特定数学函数（用于进行预测），模型的学习方式是特定的。误差下降的速率与时间（具体为时间的立方根）呈固定关系。这是因为当模型变得自信时，其数学特性会变得非常“非线性”（弯曲度很高）。
要点： 你无法改变这个限速。它是内置在模型思考方式的数学逻辑中的。

2. “拥挤房间”限速（宽度）

类比： 想象一个狭小的房间（模型的记忆），你试图把一百万种不同的人（概念/词汇）塞进去。如果房间太小，人们就不得不互相重叠或共享空间。这会导致“几何干扰”——人们互相碰撞，导致很难听清声音。
科学原理： 这被称为“叠加”（Superposition）。模型试图在更少的维度中压缩更多的特征。随着你把房间变宽（增加模型的宽度），误差也会下降，但这种提升遵循严格的规则：宽度翻倍，误差减半。
要点： 这个限制在于你能将多少信息挤进模型的“大脑”而不使其变得混乱。

3. “团队协作”限速（深度）

类比： 想象一场接力赛，有很多名选手（模型中的层）。如果每个选手都犯了一点点小错，只要团队能抵消掉这些误差，依然可以获胜。但如果所有的选手都在做完全相同的事情，他们就无法互相帮助。
科学原理： 论文表明，Transformer 层的作用类似于团队通过平均化来修正错误。随着你增加更多的层，团队纠正错误的能力就会增强，但同样遵循固定规则：层数翻倍，误差减半。
要点： 增加层数确实有帮助，但这种收益遵循一种可预测的、固定的模式。

真正的问题：系数（“原料”）

如果规则（指数）是固定的，为什么有些模型表现得更好呢？答案在于系数（Coefficients）。

类比： 把固定规则看作烘焙的物理定律。你无法改变热量能让面团熟透这一事实。但系数则是你的面粉质量、烤箱温度以及烘焙师的技术水平。
论文观点： “系数”是数学中的那些数字，它们告诉你还剩下多少误差。这些数字完全取决于：
- 数据： 文本的多样性和质量。
- 架构： 特定的设计选择（例如模型如何处理注意力机制或归一化）。
为什么重要： 由于“限速”（指数）是固定的，目前提升模型性能的唯一方法就是改进这些系数。如果你可以通过调整设计或数据来降低系数，你就能在不破坏物理定律的前提下，获得更好的模型。

实践结果：寻找“黄金分割点”

论文利用这些规则来确定模型的完美形状。

形状： 模型的宽度相对于深度应该是多少？
- 论文计算出存在一个“金发姑娘原则”（Goldilocks ratio，意指恰到好处的比例）。如果你有固定的计算量预算，你不应该只在一个方向上把模型做大。你需要一个特定的平衡（根据他们在 Chinchilla 模型上的数据，宽度大约应该是深度的 64 倍）。
- 好消息： 论文指出这里的“地形”是平坦的。这意味着你不需要做到完美。只要接近正确的比例，效果就几乎和达到精确比例时一样好。
数据 vs. 步数：
- 许多人担心我们正在“耗尽数据”。本文认为，预训练实际上是受步数限制（step-limited），而非受数据限制。
- 类比： 这不是因为你读完的书不够了，而是因为你在读完句子之前就停止阅读了。通过利用现有数据进行更多的“步数”（优化步数），你可以获得更好的结果，而不仅仅是囤积更多独特的数据。
计算前沿：
- 论文证实，如果你完美地平衡了模型规模和数据规模，误差会以总计算量六分之一的速度下降。这就是“计算最优前沿”（compute-optimal frontier）。

总结

规则是固定的： AI 模型的学习方式遵循三个不可改变的数学模式（时间、宽度、深度），这是由数学本质（Softmax）和层间协作方式决定的。
变量是灵活的： 学习的质量（系数）取决于你的数据和设计选择。
目标： 为了构建更好的 AI，我们不应仅仅寻找新的“物理定律”。相反，我们应该专注于调整我们的“原料”（数据和架构），以降低误差系数，找到模型规模与数据之间的完美平衡，从而获得最大的效益。

论文得出结论，我们目前处于一个特定的“普适类”（universality class，即一套特定的规则）中。为了在未来获得更好的 AI，我们可能需要找到打破这些现有规则的方法；但就目前而言，掌握“系数”是实现即时提升的关键。

技术摘要：神经缩放普遍性 (Neural Scaling Universality)

问题陈述

神经缩放定律描述了预训练损失随训练时间、模型大小和计算量呈幂律衰减的过程。虽然这些缩放定律在大型语言模型（LLMs）的成功中起到了至关重要的作用，但其内在机制在很大程度上仍是经验性的。主流观点认为，这些幂律源于训练数据中固有的幂律分布（例如特征频率），这表明损失指数对特定的数据结构具有敏感性。这引发了一个悬而未决的问题：缩放定律在大规模下的泛化能力如何，以及是否存在进一步加速的可能性。本文旨在确定缩放指数是由通用的架构机制固定的，还是取决于数据的细节，并探讨这些定律的系数是否是实现近期性能提升的关键。

方法论

本文综合并扩展了近期的一系列研究 [15–17]，提出了神经缩向普遍性 (Neural Scaling Universality) 的假设。其方法论包括：

理论分解： 作者基于通用机制将预训练损失 ( $L$ ) 分解为三个不同的渐近项：
- 时间缩放 (Time Scaling)： 由 Softmax 函数在学习尖峰（低熵）分布时的强非线性驱动，导致损失衰减为 $L \sim \tau^{-1/3}$ ，其中 $\tau$ 为动态时间。
- 宽度缩放 (Width Scaling)： 由“叠加 (superposition)”驱动，即模型编码的特征多于可用维度，从而导致几何干扰。这导致残余损失为 $L \sim m^{-1}$ ，其中 $m$ 是嵌入维度（宽度）。
- 深度缩放 (Depth Scaling)： 由 Transformer 层之间的误差集成平均驱动，这些层以增量方式而非层级方式更新隐藏状态。这产生 $L \sim \ell^{-1}$ ，其中 $\ell$ 是深度。
统一损失公式： 这些机制被组合成一个加性的渐近损失公式：
$L = \frac{c_\tau}{\tau^{1/3}} + \frac{c_m}{m} + \frac{c_\ell}{\ell} + L_0$
其中 $c_\tau, c_m, c_\ell$ 是吸收了数据和架构特性的系数， $L_0$ 是不可约损失。
经验验证： 作者将此固定指数公式拟合到多个模型家族的经验数据中，包括 Pythia、Chinchilla、GPT-3 和 Farseer。
- 他们将指数视为固定的（例如，时间为 $1/3$ ，宽度/深度为 $1$），仅改变系数。
- 他们分析了数据集大小 ( $D$ ) 与动态时间 ( $\tau$ ) 之间的关系，认为在在线训练机制下， $D \propto \tau$ ，从而允许将时间缩放转移到数据集大小缩放。
- 他们通过最小化损失函数（针对模型参数 $N$ 和计算量 $C$ ）推导出了最优模型形状和计算最优前沿。

核心贡献

1. 神经缩放普遍性假设

本文认为，神经缩放定律属于一个特定的“普遍性类 (universality class)”，该类由由通用机制（Softmax 非线性、叠加和层平均）决定的固定指数所定义。在此类之中，数据结构或架构细节的变化主要改变的是系数 ( $c_\tau, c_m, c_\ell$ )，而非指数。

2. 固定指数的机制起源

本文为观察到的指数提供了具体的机制解释：

$1/3$ 时间缩放： 源于 Softmax 在达到尖峰分布时的非线性动力学，类似于低温展开。
反向宽度缩放 ($1$)： 源于叠加特征的几何干扰。
反向深度缩向 ($1$)： 源于具有相似函数更新的各层之间误差的平均化。

3. 推导最优架构与前沿

通过将系数作为主要变量，本文推导出了：

最优模型形状： 最优的宽深比 ( $m/\ell$ ) 由系数之比 $c_m / c_\ell$ 决定。在此最优状态下，来自宽度和深度的损失贡献遵循 $2:1$ 的比例。
模型大小缩放： 在最优形状下，损失随 $N^{-1/3}$ 衰减（其中 $N$ 是参数量）。
计算最优前沿： 通过在固定计算量 ( $C \approx 6ND$ ) 下最小化损失，本文推导出了最优的 Token-参数比 ( $D/N$ ) 以及计算最优的损失缩放 $C^{-1/6}$ 。

4. 从数据受限转向步骤受限的预训练

作者认为，预训练在根本上是步骤受限 (step-limited)（受优化动力学约束）而非数据受限 (data-limited)。由于数据集大小缩放是时间缩放的次生结果 ( $D \propto \tau$ )，因此通过增加优化步骤（例如重复使用数据）可以实现进一步的损失降低，而不必仅仅依赖于增加唯一数据的体积，前提是数据质量和多样性足够。

结果

本文通过对广泛的经验数据进行拟合，验证了所提出的普遍性类：

Pythia 模型： 跨训练时间、宽度和深度的损失衰减与固定指数公式 ( $1/3, 1, 1$ ) 高度吻合。
Chinchilla 模型： 数据支持了推导出的 $1/3$ 数据集大小缩放和 $1/3$ 模型大小缩放。拟合系数预测的最优长宽比 ( $m/\ell \approx 64$ ) 与实际的 Chinchilla 模型形状非常接近。计算最优点遵循预测的 $N \propto C^{1/2}$ 和 $L \propto C^{-1/6}$ 缩放。
Farseer 模型： 该系列模型严格遵循 $m \propto \ell$ ，精确落在预测的最优线上。尽管在识别单个宽度/深度系数方面存在退化现象，但其模型大小和数据集大小的损失成分仍与 $1/3$ 缩放保持一致。
系数变异性： 对不同模型家族（Pythia, GPT-3, Farseer, Chinchilla）的分析表明，虽然指数保持固定，但系数 ( $c_\tau, c_m, c_\ell$ ) 以及推导出的最优比例会发生变化，这证实了它们对数据和架构选择的敏感性。

意义与主张

本文声称，理解系数是实现 LLM 近期性能提升的关键，而非寻找新的指数。

设计准则： 系数提供了架构设计（例如确定最优 $m/\ell$ 比）和计算分配（确定最优 $D/N$ 比）的原则性基础。
普遍性 vs. 数据依赖性： 本文挑战了主流观点，即损失指数取决于数据的幂律分布。相反，它认为指数是稳健且由高层属性（Softmax 使用、低熵目标）固定的，而数据结构主要影响系数。
改进路径： 通过密切研究系数，研究人员可以找到进入更好普遍性类或在当前类内进行改进的路径。本文建议，通过修改架构（激活函数、注意力机制）或数据组合可以改变系数，从而在不改变基本缩放指数的情况下，改善损失底线和计算效率。

作者总结道，虽然固定指数的假设仍需进一步验证，但来自 [15–17] 的证据以及当前的经验拟合使得该假设具有合理性。因此，社区的重点应转向表征并优化定义当前普遍性类的系数。