💬 NLP

Neural Neural Scaling Laws

本文介绍了神经神经缩放定律（NeuNeu），这是一种基于神经网络的方法，通过将下游任务性能预测构建为时间序列外推问题，从而在跨多种模型系列和任务中实现显著更低的误差率和零样本泛化能力，其表现优于传统参数化模型。

原作者： Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据学生日常作业的表现，来预测他们在期末考试中的成绩。

长期以来，研究人员一直使用一条简单的经验法则（称为“缩放定律”）来进行这些预测。他们假设，只要查看学生的平均作业分数，就能画出一条平滑、可预测的曲线来推测其最终成绩。他们认为：“如果平均分上升，最终成绩就会沿着一条漂亮的直线上升。”

但本文的作者 Michael Y. Hu 及其团队指出，这条简单的规则已经失效。以下是原因，以及他们如何加以修正。

问题所在：“平均数”在撒谎

该论文认为，仅关注平均分数会掩盖真相。

类比：想象两名学生的平均分都是 80%。
- 学生 A 除了错了一道题外，其余所有题目都答对了。他们的表现稳定且可靠。
- 学生 B 一半的题目得了 100%，另一半得了 60%。他们的表现混乱且不可预测。
- 如果你只看"80% 的平均分”，就无法区分两者。但如果你查看每一道具体题目（即“词元级”数据），就会发现学生 A 在期末考试中表现优于学生 B 的可能性更大。

旧的方法（称为“逻辑缩放定律”）丢弃了所有这些详细信息。它们仅仅取平均值，将其平滑化，然后试图拟合一条简单的数学曲线。作者发现，当学生（或 AI 模型）开始表现异常时——有时进步，有时退步，或陷入停滞——这种方法就会失效。

解决方案：NEUNEU（“神经”预测器）

团队开发了一种新工具，名为NEUNEU（神经神经缩放定律）。请将 NEUNEU 想象成一位观察力超群的导师，而非简单的计算器。

NEUNEU 不仅仅查看平均分数，它还关注：

历史：学生成绩随时间的变化趋势。
细节：每一道具体题目的表现，而不仅仅是平均分。

工作原理（隐喻）：
想象你试图预测一辆汽车在长途旅行中的表现。

旧方法：你检查汽车迄今为止的平均速度，并假设它将永远以该速度行驶。
NEUNEU 方法：你观察发动机的震动、燃油混合比、驾驶员的反应时间，以及汽车刚刚驶过的具体路面颠簸。你利用一台智能计算机（神经网络）从成千上万辆其他汽车的数据中学习，以精确预测这辆车将如何应对剩余的旅程。

他们的发现

团队利用来自许多开源 AI 模型（如同来自不同学校的学生）的数据训练了 NEUNEU。他们在 66 项不同的任务上对其进行了测试（例如回答科学问题、撰写故事或解决逻辑谜题）。

以下是他们的主要发现：

准确度大幅提升：NEUNEU 的准确度比旧的“基于平均数”的方法高出44%。它在预测 AI 未来表现时犯的错误更少。
它能处理异常现象：有时，扩大 AI 规模或延长训练时间反而会导致其在某些任务上的表现变差（这种现象称为“逆缩放”）。旧方法无法预测这一点；它们只是假设情况总会好转。NEUNEU 学会了识别这些模式并做出正确预测。
它是“零样本”天才：NEUNEU 是在特定的一组模型和任务上训练的。但当他们向它展示一种全新的模型类型或一种它从未见过的新任务时，它仍然比旧方法表现更好。这就像一位导师，仅通过观察学生的学习习惯，就能教授一门他们从未研究过的新学科。
它知道何时在猜测：NEUNEU 不仅仅给出一个答案；它给出一个可能性范围（例如：“有 90% 的把握分数在 75 到 85 之间”）。这有助于研究人员知道何时可以信任预测，何时需要保持谨慎。

结论

该论文声称，试图使用简单的、预先写好的公式（如旧的“平均分数”方法）来预测 AI 模型的未来性能，是一条死胡同。相反，我们应该使用一个智能、灵活的计算机系统（NEUNEU），它直接从模型实际行为的混乱、详细数据中学习。

通过这样做，他们能够以更高的准确度预测 AI 的未来性能，从而帮助研究人员决定哪些 AI 模型值得投入时间和资金去构建。

技术摘要：神经神经缩放定律（NEUNEU）

问题陈述

神经缩放定律传统上预测语言模型（LM）性能如何随着计算量、数据和参数的增加而提升，通常使用简单的参数化形式（例如幂律或逻辑函数）来建模训练损失与下游性能之间的关系。然而，作者指出了当前方法存在的两个关键局限性：

信号遮蔽：平均验证损失等聚合指标平均化了丰富的词元级损失分布，遮蔽了可能具有下游能力预测价值的信号。
功能僵化：各个下游任务表现出多样化的缩放行为（单调提升、趋于平稳或反向缩放），无法被单一参数化族所捕捉。

因此，使用固定函数形式从验证损失预测下游性能，会导致高偏差，并且难以泛化到未见过的模型架构、参数数量或任务。

方法论：NEUNEU

作者提出了神经神经缩放定律（NEUNEU），这是一种将缩放定律预测构建为时间序列外推问题的神经网络方法。与参数化方法不同，NEUNEU 在不假设特定函数形式的前提下学习预测未来性能。

架构与输入表示

NEUNEU 结合了观测到的准确率轨迹中的时间上下文与词元级验证信息。

损失表示：为了保留分布信息并处理无界的交叉熵损失，模型将词元级损失（ $\ell$ ）转换为词元级概率（ $p = e^{-\ell}$ ）。
输入序列：模型处理历史下游准确率（ $y_{1:t}$ $y_{1 : t}$ ）和计算间隔（ $g_{1:t}$ $g_{1 : t}$ ）的序列，以及来自验证集的词元概率向量（ $p_t$ $p_{t}$ ）。
- 间隔：评估步骤之间的计算间隔被抽象化，以确保在不同模型规模下的不变性。
- 词元概率：模型输入包含 $N=256,000$ 个词元概率的向量（大约一个 minibatch 的大小），而不是单个平均损失值。
模型组件：
1. 损失编码器：一个分层的一维卷积神经网络（4 层）处理词元概率向量，生成嵌入 $e$ 。
2. Transformer 主干：一个标准的 BERT 风格 Transformer（6 层，双向注意力，RoPE）处理包含 [CLS] 标记、损失嵌入 $e$ 以及由投影后的准确率和间隔拼接而成的上下文标记的序列。
3. 预测头：[CLS] 标记的输出被投影，以使用分位数回归预测未来准确率的分布。模型输出 5 个分位数（ $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ）。

训练策略

数据：模型完全在 HuggingFace 的开源语言模型训练轨迹上进行训练，具体为 DataDecide 模型套件。这包括跨越 6 种模型规模（90M 到 1B 参数）和 24 个数据集的 144 条独特预训练轨迹。
目标：模型使用**分位数损失（pinball loss）**进行训练，该损失在 5 个分位数上求和，以产生校准的不确定性估计。
增强：为了确保对缺失数据的鲁棒性，训练过程会随机丢弃准确率序列中的元组，并将间隔吸收进前一个元组中。

主要贡献

无参数预测：NEUNEU 是首个在不进行参数化假设或无需特定函数形式先验知识的情况下，预测下游缩放性能的模型。
卓越精度：在 66 个下游任务上，NEUNEU 实现了 1.99% 的平均绝对误差（MAE），与广泛使用的逻辑缩放定律（3.56% MAE）相比，误差降低了 44%。
不确定性校准：通过利用分位数回归，NEUNEU 提供了校准的不确定性估计。其预测的 10%-90% 分位数区间捕获了 77.6% 的真实数据，与预期的 80% 高度吻合。
零样本泛化：该模型实现了零样本泛化至：
- 未见过的随机种子。
- 未见过的预训练数据集（例如 C4）。
- 未见过的模型家族和架构，包括非 Transformer 模型（例如 OLMo-Hybrid-7B）以及训练期间未见过的更大参数数量（高达 12B）。
- 未见过的下游任务（元训练期间保留的任务）。

结果与评估

作者将 NEUNEU 与多个基线进行了评估：

逻辑缩放定律：针对每个任务的参数化拟合。
BNSL（断裂神经缩放定律）：允许机制断裂的参数化模型。
LC-PFN：用于上下文学习曲线外推的元学习 Transformer。
消融实验：仅使用平均损失（AVERAGE）或不使用损失信息（NOLOSS）的 NEUNEU 变体。

主要发现：

泛化能力：NEUNEU 在分布外（OOD）评估中显著优于所有基线，特别是在新架构（Pythia, OLMo-Hybrid）上，参数化定律在这些情况下会灾难性地失效（误差高出约 4 倍）。
任务无关性：与需要为每个任务单独拟合模型的逻辑缩放定律不同，单个 NEUNEU 模型可以预测任何任务的准确率，包括训练期间从未见过的任务，其表现往往优于直接拟合到这些特定任务的逻辑定律。
决策效用：NEUNEU 以 76.6% 的准确率正确对竞争模型配置的最终性能进行排序，比逻辑缩放定律提高了 12.9%。这表明 NEUNEU 能够有效指导资源分配和超参数选择。
信息价值：AVERAGE 和 NOLOSS 消融实验的表现均不如完整的 NEUNEU，证实了词元级损失分布包含预测信号，而平均化操作会丢弃这些信号。

意义与主张

本文认为，现有缩放定律的局限性并非预测问题的根本所在，而是受限假设类（即假设特定函数形式）的产物。通过将参数化偏差替换为在多样化开源轨迹上训练的神经网络的灵活性，NEUNEU 证明了直接从数据预测下游缩放性能优于参数化替代方案。

作者将 NEUNEU 定位为迈向“训练动态基础模型”的一步。NEUNEU 不再将语言模型视为黑盒，而是作为训练动态的雏形模型，能够根据当前性能和计算操作模拟未来状态。这种能力使从业者能够在无需付出真实训练运行高昂成本的情况下，探索超参数空间和架构选择。这项工作符合“随计算和数据扩展的方法往往优于依赖人工设计结构的方法”这一原则。