🤖 machine learning

Unified Neural Scaling Laws

本文提出了一种统一神经缩放定律（UNSL），这是一种能够准确建模并外推多种深度神经网络在模型规模、数据、计算量和超参数等多个维度上性能的功能形式，其在视觉、语言、数学和强化学习任务上的预测精度均优于现有的缩放定律。

原作者： Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《统一神经缩放定律》（Unified Neural Scaling Laws）的解释。

宏观图景：预测人工智能的未来

想象你是一位厨师，试图预测汤的味道会有多美味。你知道加入更多的水、更多的盐，或者延长烹饪时间都会改变风味。但是，如果你同时改变这三者会发生什么？如果将盐量加倍同时将水量减半，汤的味道会变好还是变坏？

在人工智能（AI）领域，研究人员面临着类似的问题。他们想知道，如果改变一个“智能”计算机程序（即神经网络）的规模、它“消化”的数据量、训练时长以及所使用的具体设置（超参数），其表现会如何。

目前，科学家们拥有用于预测结果的“食谱”（数学公式），但这些食谱在同时改变多种成分时往往会失效。它们可能适用于一小锅汤，但当你试图烹饪一场盛宴时，它们就会彻底失败。

这篇论文介绍了一种新的“超级食谱”，称为UNSL（统一神经缩放定律）。它声称是目前最准确的工具，能够预测当同时调整多个变量时，AI 模型将如何表现。

问题所在：为何旧食谱会失效

将旧的缩放定律想象成一张只显示如何在笔直高速公路上驾驶的地图。如果你一直行驶在高速公路上（仅改变一件事，如模型规模），这张地图运作良好。

但现实中的 AI 训练更像是在拥有红绿灯、绕行路线和单行道的复杂城市中驾驶。

“甜蜜点”：有时，增加某个设置（如学习率）有助于模型更快地学习。
“悬崖”：但如果增加得太多，模型就会崩溃，什么都学不到。
“过拟合陷阱”：如果你在太少的数据上训练模型太久，它就开始死记硬背作业而不是学习科目。它在练习测试中得满分，却在真正的考试中不及格。

旧的公式无法处理这些曲折。它们假设“越多越好”，或者假设这种关系是一条平滑的直线。它们无法预测性能的突然下降，也无法预测不同设置之间复杂的相互作用。

解决方案："UNSL"食谱

作者提出了一种名为UNSL的新数学结构。与其说它是一条简单的直线，不如将 UNSL 想象成一片多层、可变形地貌。

以下是其工作原理，分解为简单的概念：

1. “超断点”（地形的开关）

想象 AI 性能的地貌是由平坦的平原通过缓坡连接而成的。

平原：这些是模型表现可预测的区域（例如，“更多数据 = 稍好的结果”）。
超断点：这些是规则发生突然转变的过渡点。也许你达到了一个点，增加数据不再有帮助，因为模型现在的限制因素是规模，而不是数据。
类比：想象一个电子游戏关卡。你在平坦的地板上行走（可预测），然后遇到一个斜坡（过渡），突然你来到了一个具有不同重力规则的不同楼层。UNSL 足够智能，能够精确描绘出这些斜坡的位置和陡峭程度，即使你正在同时改变多个变量。

2. “对抗力量”（拔河）

该论文描述了两种相互对抗的主要力量：

“良好学习”力量：这是随着你提供更多数据和参数，模型变得更聪明的部分。
“不良学习”力量：这包括过拟合（死记硬背而非学习）或不良设置（如过高的学习率）等因素。
类比：想象一场拔河比赛。一边有一支队伍将模型拉向完美，另一边有一支队伍将模型拉向混乱（过拟合或崩溃）。UNSL 不仅仅测量谁赢了，它还计算绳子上的确切张力，以预测平衡点将在何处倾斜。

3. “瓶颈”（狭窄的桥梁）

有时，无论你如何改进某一方面，整个系统都会被一个薄弱环节所拖累。

类比：想象一家工厂试图生产玩具。你可以增加更多工人（参数）和更多原材料（数据），但如果传送带（训练步骤）太慢，工厂的产量就不会增加。
UNSL 旨在发现这些“瓶颈”。它知道，如果传送带是限制因素，增加更多工人也无济于事。它能准确预测，由于这一单一瓶颈，性能将趋于平缓。

他们证明了什么？

作者使用来自以下领域的真实世界数据，将新的"UNSL"食谱与旧食谱进行了测试：

视觉：教计算机识别图像（如识别鸟类或汽车）。
语言：教计算机理解和生成文本（如聊天机器人）。

结果：

当他们试图预测这些 AI 模型的未来性能时，UNSL 比之前的最佳方法准确得多。
在语言测试中，UNSL 在88%的情况下获胜，而次佳方法仅赢了11%。
即使数据表现出奇怪的、非直线的行为（例如"Grokking"现象，即模型在经过长时间的困惑后突然变聪明），它也能成功预测结果。

核心结论

这篇论文并没有发明一种新类型的 AI 或建造机器人的新方法。相反，它发明了一个更精准的水晶球。

它提供了一种数学工具，使研究人员能够观察少量的训练数据，并高度自信地断言：“如果我们将模型规模加倍，数据量增加三倍，并微调学习率，模型的表现将确切地达到何种水平。”

这至关重要，因为训练巨型 AI 模型的成本高达数百万美元。能够在花费这笔资金之前准确预测结果，可以节省时间和资源，并有助于确保 AI 的开发既安全又高效。

简而言之：作者构建了一张通用地图，适用于 AI 训练的每一种地形，无论是笔直的道路、陡峭的悬崖还是棘手的绕行路线，它都比我们以前拥有的任何地图处理得更好。

技术摘要：统一神经缩放定律（UNSL）

问题陈述
训练最先进的神经网络需要巨大的计算资源和数据。在大规模下选择最优架构和训练配置极具挑战性，因为在较小规模下表现良好的方法往往在规模扩大时无法保持性能。此外，准确预测模型行为不仅对性能优化至关重要，对人工智能安全也至关重要，特别是在预测新能力的涌现方面。现有的神经缩放定律往往难以建模复杂的、多变量的缩放行为，其中多个维度（例如模型参数、数据集大小、训练步数、超参数）同时变化。具体而言，先前的函数形式往往无法捕捉非单调转变（例如由过拟合或次优超参数引起的转变），以及“对立力量”（如过拟合与超参数约束）之间复杂的相互作用。

方法论
作者提出了一种新的函数形式，即统一神经缩放定律（UNSL），旨在对深度神经网络在多个变化维度同时作用下的缩放行为进行建模和推演。

函数形式结构：UNSL 由组合多个数学分量构成，以满足从缩放行为实证观察中得出的特定“期望”。
- 多变量断裂神经缩放定律（MBNSL）：核心分量（公式 4）将单变量断裂神经缩放定律（BNSL）扩展至多变量场景。它将缩放行为建模为“多对数空间”（即对所有输入和输出维度应用对数变换后得到的空间）中一系列平滑连接的超平面。这允许在不同缩放机制之间出现“超断裂”（转变）。
- 加性对称性：为了建模非单调行为（例如由过拟合或不良超参数导致的性能下降），UNSL 采用“加性对称性”（公式 5）。该结构对两个 MBNSL 分量求和，使模型能够捕捉梯度以非严格单调方式变化的转变。
- 瓶颈与非瓶颈分量：该模型区分了“非瓶颈”分量（平滑转变）和“瓶颈”分量（由特定维度施加的性能限制，如数据集大小）。
- 对立力量：函数形式显式地对“对立力量”进行建模。
  - 过拟合：建模为一个内部倒数项，当训练步数超过特定阈值时变得显著。
  - 超参数：建模为与“良好学习”（非过拟合）和“不良学习”（过拟合）相对立的项，捕捉学习率或权重初始化标准差过大或过小导致性能下降的现象。
- 性能极限：该形式包含代表不可约误差（贝叶斯误差）和性能失误极限（例如随机猜测误差）的常数，当输入趋向全局最优或最坏情况时，模型将趋近于这些极限。
拟合与外推：UNSL 使用 KFAC-JAX 拟合数据点 $(x_1, \dots, x_m, y)$ 以最小化均方对数误差（MSLE）。作者采用了一种验证策略，其中验证集包含的样本点并非在所有维度上同时大于训练点，以确保稳健的外推能力。

主要贡献

统一函数形式：本文提出了一种单一的函数形式，能够同时对各种架构（Transformer、MLP、ViT、BiT）和任务（视觉、语言、强化学习）的缩放行为进行建模，同时变化多个维度。
处理非单调性：与先前的形式（如 CF、DC）不同，UNSL 通过其加性对称结构，显式地处理由过拟合和超参数敏感性引起的非单调转变。
多变量外推：该形式能够准确外推至多个维度同时显著更大（一个数量级）的规模，而其他形式在此类任务中往往失败。
满足期望：作者定义了一组统一缩放定律应满足的 8 项期望（例如，恢复单变量 BNSL、处理瓶颈限制、捕捉非单调转变），并证明 UNSL 满足了所有期望。

结果
作者在视觉和语言领域评估了 UNSL 与几种基线函数形式（CF、DC 以及消融版本 A1、A2、A3）的表现。

视觉任务：在下游图像分类任务（Birds 200、Cars 196、ImageNet）中，针对双变量和三变量缩放行为，UNSL 在 60.87% 的任务中实现了最低的均方根对数误差（RMSLE），显著优于次优形式（A3，占比 21.74%）。
语言任务：在下游和上游语言任务（包括涉及参数、处理令牌数和数据集大小的 LLM 缩放）中，UNSL 在 88.89% 的任务中实现了最低的 RMSLE，而次优形式仅为 11.11%。
消融研究：结果表明，性能的提升归因于特定的结构约束（加性对称性和对立力量），而不仅仅是表达能力的增加，因为消融形式（A1、A2、A3）具有相同的上确界表达能力，但在外推方面表现较差。
可预测性极限：本文证明，即使对于具有“相变”（例如稀疏奇偶校验任务）的任务，只要训练数据充分覆盖接近超断裂的区域，UNSL 也能准确外推缩放行为，即便损失在数百步内未下降。

意义
本文声称，UNSL 提供了一个更准确、更统一的框架，用于预测大规模下的神经网络性能。通过准确建模模型规模、数据、计算量和超参数之间的相互作用（包括非单调效应），UNSL 能够优化训练配置和架构的选择。作者指出，这种能力对于负责任的 AI 开发至关重要，因为它有助于预测能力的涌现，并通过理解资源增加时模型行为的极限和转变来确保安全。这项工作强调，纳入更多相关预测因子并通过统一形式对其复杂相互作用进行建模，可以降低性能预测中的条件熵，从而实现更可靠的外推。