💬 NLP

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

本文介绍了 Skaling 定律，这是一个通过单一交互指数将模型容量与数据耦合在一起的广义缩放框架，旨在显著提高损失预测精度，并为大规模语言模型训练实现资源高效的计算预算分配。

原作者： Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

伟大的平衡术：AI 如何学习

想象一下，你正试图教一个巨大的数字大脑学会世界上所有的语言。为了实现这一目标，你需要两种核心原料：更大的大脑（更多的神经元，即“参数”）和更多的教科书（更多的文本，即“Token”）。多年来，科学家们一直使用一套被称为“缩放法则”（scaling laws）的规则来预测这个大脑的表现。你可以把这些规则想象成一本食谱，它精确地告诉你需要多少种成分才能做出一个完美的蛋糕。

最著名的食谱被称为“珍奇拉法则”（Chinchilla law），它认为大脑的大小和数据的量就像是在不同房间里工作的两个独立的伙伴。它假设，无论你拥有多少数据，增加一倍的大脑规模所带来的提升效果都是一样的，反之亦然。这使得数学计算变得简单，并帮助研究人员决定如何分配他们巨额的预算。然而，就像真实的食谱一样，这个假设可能过于简单了。如果大脑和数据实际上需要相互交流呢？如果一个更大的大脑在阅读更多书籍时，其学习方式会发生变化呢？如果我们搞错了这种关系，我们可能会浪费数百万美元，去训练那些要么对于其数据而言太小，要么对于其大脑而言太大的模型，从而导致令人失望的结果。

新的“Skaling”法则：当原料混合时

在这篇论文中，来自 Meta FAIR 实验室的研究人员引入了一种改进后的新食谱，称为 Skaling 法则（发音为 "ske-IH-ling"）。他们发现旧有的“珍奇拉”食谱存在一个隐藏的缺陷：它将模型大小和数据视为完全独立的事物，忽略了它们实际上会相互影响的事实。

为了直观理解，想象你在预测一辆汽车的速度。旧规则说：“速度取决于发动机大小和燃料量，两者是独立的。”但新的研究表明，一个更大的发动机实际上会改变它使用燃料的效率。如果你有一个微小的发动机，增加燃料几乎没有帮助；但如果你有一个巨大的发动机，额外的燃料会带来巨大的差异。旧的数学模型漏掉了这种“耦合”（coupling）效应，导致在预测极端情况时的性能表现时出现巨大误差——比如当你拥有一个巨大的模型却只有极少的数据，或者一个微小的模型却拥有海量的数据时。

作者发现，通过在方程中仅添加一个数字（一个“耦合指数”），他们就能修复这个问题。这个新数字就像一个“混合旋钮”，将大脑大小和数据量连接在一起。新法则不再像堆叠两堆独立的沙子那样分别叠加它们的效果，而是通过乘法将它们结合起来，从而承认它们是一个协作团队。

他们的发现：用更少的工作实现更智能的预测

研究人员使用两组庞大的训练数据集——Farseer 和 SK-Grid 对这一新法则进行了测试。这些数据集包含了数百个不同的实验，范围从拥有 1 亿参数的小型模型到拥有数十亿参数的巨型模型，训练文本量从 10 亿到数百亿词不等。

以下是他们的发现：

旧法则在边缘处失效： 当他们观察误差时，发现旧的珍奇拉法在数据中间区域表现尚可，但在边缘处却表现得一塌糊涂。当模型规模和数据量不平衡时，它会极度高估或低估性能。然而，新的 Skaling 法则在任何地方都保持准确，与旧方法相比，它将预测误差降低了 1.5 到 3 倍。
一种“稀疏”的训练方式： 最酷的发现之一是，你并不需要训练每一种可能的脑容量与数据量的组合来摸索规律。旧方法需要进行“全网格”实验，这极其昂贵。新的 Skaling 法则在仅对网格的“L型”边缘进行训练时同样有效——这意味着你只需测试“大量数据下的微型模型”以及“极少数据下的巨型模型”。这种“稀疏”策略使得研究人员在预测大规模、高成本模型的性能时，比以前能节省约 10 倍的计算能力。
更好的资源分配： 由于新法则理解大脑与数据是如何相互作用的，它能更准确地回答这样一个问题：“我应该给我的模型喂多少数据？”旧法则建议一个固定的比例（例如每个神经元对应 20 个单词），但新法则表明，这个比例实际上应该根据规模的变化而改变。对于某些数据集，随着模型变大，最优比例会发生显著偏移，这意味着旧的建议可能会导致公司浪费资金。

为什么这很重要

这篇论文并不声称已经解决了所有关于 AI 的问题，但它确实表明，我们目前规划训练预算的方式可能略有偏差。通过意识到模型大小和数据是一个相互耦合的团队，而非两个独立的工人，Skaling 法则提供了一个更稳健、更高效的资源利用框架。它让研究人员无需运行数千个昂贵的实验，就能更好地预测下一代模型的表现。

简而言之，作者展示了通过对数学进行一个简单的微调——添加一个“混合”参数——就可以消除长期困扰该领域的系统性误差。这意味着，通过理解在 AI 世界中，大脑的大小与阅读材料的数量是密不可分的，我们可以更快、更便宜地构建出更好的模型。

技术摘要：Skaling —— 当 Chinchilla 的指数遇见 Kaplan 的耦合

问题陈述
神经缩放法则（Neural scaling laws）是预测大语言模型（LLM）性能并优化计算预算的基础。然而，标准的表述形式——即 Chinchilla 定律（Hoffmann et al., 2022）——依赖于一个结构性假设，即模型规模 ( $N$ ) 和训练数据量 ( $D$ ) 对损失的影响是相互独立的。从数学角度看，这种加法形式（ $L = A/N^\alpha + B/D^\beta + E$ ）强制要求混合偏导数为零（ $\partial^2 L / \partial N \partial D = 0$ ）。

作者指出，这种独立性假设会导致系统性的预测误差。虽然 Chinchilla 定律在训练网格的内部表现良好，但在边界处（ $N$ 和 $D$ 的极端情况）表现出“鞍形”残差误差。具体而言，它会在某些角点情况下系统性地低估损失，而在另一些情况下高估损失，未能捕捉到模型容量与数据量之间的相互作用。这种失效对于资源分配至关重要，因为它会导致对处于 $N$ 与 $D$ 往往不平衡状态的前沿模型的错误外推。

方法论
为了解决这一问题，作者引入了 Skaling 定律，这是一种通过单一交互指数 ( $k$ ) 将模型规模与数据进行耦合的广义函数形式。其公式定义为：

$L(N, D) = \left( \frac{A}{N^\alpha} + \frac{B}{D^\beta} \right)^k + E$

耦合机制： 当 $k=1$ 时，该定律回归为纯加法的 Chinchilla 形式。当 $k \neq 1$ 时，它重新引入了早期 Kaplan 形式（Kaplan et al., 2020）中所发现的耦合关系，同时保留了 Chinchilla 具有解释性的独立内层指数（ $\alpha, \beta$ ）。
理论依据： 作者利用移动最小二乘（MLS）估计器在 Farseer 数据集上分析了损失曲面的导数。他们证明了混合偏导数 $\partial^2 L / \partial N \partial D$ 不为零，且遵循幂律衰减，这表明存在一种协同效应，即同时扩展 $N$ 和 $D$ 比单独扩展其中之一能更有效地降低损失。Skaling 形式自然地重现了这种非零的混合偏导数。
稀疏剖析策略（L型）： 作者提出了一种高效的采样策略来拟合这些定律。他们没有使用密集的正方形网格，而是利用“L型”网格，将训练限制在低计算量的边缘：即在小模型上扫过数据量 ( $D$ )，或在小数据预算下扫过模型规模 ( $N$ )。理论分析表明，损失函数的渐近行为允许这些边界运行足以约束整个网格的参数。

核心贡献

Skaling 公式化： 引入了一个单一的耦合指数 ( $k$ )，在修正加法定律边界偏差的同时，保留了可解释性和闭式计算最优分配规则。
稀疏剖析验证： 证明了 Skaling 定律在 L 型网格上进行拟合时仍能保持极高的预测精度，其所需的计算量仅为全网格扫描的约 1/10，同时在插值和单轴外推方面达到或接近全网格 Chinchilla 拟合的精度。
经验验证： 通过在两个数据集（Farseer 和自定义的 SK-Grid）上的严格交叉验证，结果显示 Skaling 比 Chinchilla 降低了 1.5–3 倍 的平均绝对百分比误差（MAPE），尤其是在外推阶段。

结果

误差降低： 在 Farseer 数据集上，Skaling 将单轴外推的 MAPE 从 1.48%（Chinchilla）降至 0.47%，并将远距离外推的误差从 2.46% 降至 2.31%。在 SK-Grid 上，改进更为显著：全网格下的远距离外推误差从 5.17% 降至 0.70%，而在 L 型网格上则从 14.63% 降至 1.15%。
参数稳定性： 拟合得到的耦合指数 $k$ 始终落在 0.31–0.45（小于 1）的范围内，证实了非加法交互的存在。不可约损失底限 ( $E$ ) 也系统性地低于 Chinchilla 拟合值，通常在 Farseer 数据上趋于零，这表明耦合项吸收了此前被归因于损失底限的曲率。
计算外推： 在预测来自廉价数据的昂贵运行（等比例切片）的任务中，Skaling 实现了 0.60% 的汇总 MAPE，优于加法 Chinchilla 定律（2.34%）以及更复杂的九参数 Farseer 定律（0.80%）。
分配启示： 由 Skaling 推导出的最优 Token-to-Parameter 比例 ( $D^*/N^*$ ) 与 Chinchilla 的预测显著不同。对于 Farseer 数据集，Skaling 预测该比例随计算规模增加而下降，而 Chinchilla 预测的是近乎平坦的比例。在面对前沿规模时，这会导致高达 10 倍的分配建议差异。

意义
本文认为，标准缩放定律中的独立性假设是一个结构性缺陷，它在最关键的地方——即模型训练的不平衡极端情况——导致了系统性误差。通过引入一个极简的耦合参数，Skaling 定律提供了一个更稳健的性能预测框架。

至关重要的是，作者声称可靠的缩放预测不再需要大规模、密集的经验性扫描。Skaling 公式与 L 型采样策略的结合，使得利用极小部分的计算预算即可实现精确的全网格外推。这为下一代模型训练中的计算预算分配提供了一条资源高效的路径，使研究人员能够基于小规模实验做出自信的决策。

伟大的平衡术：AI 如何学习

新的“Skaling”法则：当原料混合时

他们的发现：用更少的工作实现更智能的预测

为什么这很重要

技术摘要：Skaling —— 当 Chinchilla 的指数遇见 Kaplan 的耦合

类似论文