💬 NLP

Predictable Scaling Laws of Optimal Hyperparameters for LLM Continued Pre-training

本文提出了一种模型无关的框架，该框架利用从小规模代理模型中发现的可预测缩放法则，以及给定检查点（checkpoint）的等效预训练计算量，来定量预测大语言模型持续预训练的最佳超参数，从而在保持或提高性能的同时，将搜索开销降低高达 90%。

原作者： Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongwei Zhou, Juncheng Diao, Junlin Shang, Peiguang Li, Rongxiang Weng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的学生（一个大型语言模型），他已经接受了多年的通识教育。现在，你想把他送去参加一个专门的训练营，学习一项新的、特定的技能，比如高等数学或编程。这个过程被称为持续预训练（Continued Pre-training）。

最大的问题是：你该如何教他？

在过去，老师（研究人员）必须猜测正确的教学速度（学习率/Learning Rate）和班级规模（批大小/Batch Size）。他们会尝试各种不同的组合，希望能有一个奏效。这就像是在试图通过烧掉整个干草堆来寻找其中的一根针。这种方式既昂贵又缓慢，而且学生往往会感到困惑，或者忘记他们原本已经掌握的知识。

这篇论文提出了一种更聪明的方法，可以在无需所有这些猜测的情况下，找到完美的教学设置。以下是其工作原理，通过简单的概念进行拆解：

1. 发现：存在一条“经验法则”

研究人员首先注意到了一些很酷的现象。当他们在这些新材料上训练微型“练习”学生（小型模型）时，他们发现了一个可预测的模式。

类比： 想象你在开车。如果你行程很短（计算预算低），你可能会开得很快但频繁转弯；如果你行程很长（计算预算高），你会开得慢一些，但转向幅度更大、更平滑。
发现： 他们发现，随着你计划在训练上投入更多的“计算能力”（时间和精力），最佳班级规模会变得更大，而最佳教学速度会变得更慢。这并非随机现象，而是遵循着严格的数学定律，就像重力定律一样。

2. 问题：“黑盒”检查点

通常，当我们从零开始训练一个新模型时，我们是从零开始的。但在持续预训练中，我们是从一个已经掌握了很多知识的模型开始的。

类比： 想象你接手了一个正在接受教育途中的学生。你不知道他到底掌握了多少，也不知道他的学习速度有多快。如果你把他当作一个全新的婴儿（从零开始）对待，你可能会教得太快，导致他崩溃；如果你把他当作一无所知的人对待，则会浪费时间。
挑战： 如何精确测量这个学生在“学习曲线”上的位置，以便选择合适的学习速度？

3. 解决方案：“等效训练”

作者发明了一个巧妙的技巧，叫做等效预训练计算量（Equivalent Pre-training Compute）。

类比： 与其问“这个学生上学多少年了？”，不如问：“如果这个学生从零开始，且只学习我们要教给他的这些新材料，他需要做多少工作才能达到目前的理解水平？”
运作方式： 他们观察学生的当前测试分数（验证损失/Validation Loss）。他们使用一个公式来计算：“好吧，要从零开始达到这个分数，你可能需要学习 X 小时。”
结果： 现在，他们可以将计划投入的新学习时长，加上这些假设的旧学习时长。这便得到了一个总有效学习时间（Total Effective Study Time）。

4. 预测：不再需要猜测

一旦知道了“总有效学习时间”，他们就可以利用在第 1 步中发现的“经验法则”（缩放定律）。

神奇之处： 他们将总时间代入公式，公式会立即算出完美的班级规模和教学速度。
益处： 他们不需要在大型、聪明的学生身上进行昂贵的实验。他们只需要基于小型练习模型进行一些数学计算即可。

结果

这篇论文在参数量高达 80 亿的模型上进行了测试。

速度： 与旧的“猜测并检查”方法相比，他们节省了高达 90% 的计算成本。
性能： 使用这些预测设置训练的模型，其表现与使用最佳手动猜测设置训练的模型一样好，甚至更好。
稳定性： 训练过程更加稳定，这意味着模型不会“崩溃”或忘记已有的知识。

总结

可以将这篇论文看作是为 AI 训练创建了一个 GPS。

旧方法： 漫无目的地驾驶，消耗燃料，希望找到正确的路线。
新方法： 查看你当前的位置（模型的当前状态），计算你需要行驶的总距离（等效计算量），然后 GPS 会立即告诉你为了高效到达目的地，你应该保持的精确速度和车道。

这使得研究人员能够更快速、更便宜、更可靠地训练专门化的 AI 模型，而无需成为超级专业的“猜谜专家”。

技术摘要：大语言模型持续预训练中最优超参数的可预测缩放法则

问题陈述

持续预训练（Continued Pre-training, CPT）是使大语言模型（LLM）适应特定领域应用的關鍵机制，它为从头开始训练提供了一种计算高效的替代方案。然而，CPT 的效能对超参数配置（特别是学习率 LR 和批大小 Batch Size, B）高度敏感。目前的实践过度依赖于启发式方法或穷举网格搜索，这不仅计算成本高昂，而且容易导致训练不稳定，且缺乏原则性的指导。

两个基本挑战阻碍了缩放法则在 CPT 中的应用：

存在性与特征化： 目前尚未验证，当训练并非从随机初始化开始时，计算预算与最优超参数之间是否存在可预测且单调的关系。
量化初始状态： 与从头开始的训练不同，CPT 是从一个非零的优化状态开始的。由于预训练检查点的进度在新的、发生偏移的数据分布上的表现具有“黑盒”性质，因此很难量化其对训练过程的有效贡献。

方法论

作者提出了一个两阶段、与模型无关的框架，旨在建立计算预算与最优超参数之间的定量关系，从而实现对任何给定检查点的零样本预测。

第一阶段：经验法则发现

作者首先通过在目标 CPT 数据上针对不同的超参数配置训练小规模代理模型（100M 和 500M 参数），来表征其缩放行为。

等损失曲线（Iso-Loss Curves）： 他们在（批大小, 学习率）平面内构建曲线，以识别达到特定验证损失所需的最小计算量。这些曲线的顶点定义了给定损失水平下的最优超参数对 $(B_{opt}, LR_{opt})$ 。
函数拟合： 他们观察到最优超参数相对于验证损失遵循幂律趋势。他们拟合了函数 $B_{opt} = f(L)$ 和 $LR_{opt} = g(L)$ 。
计算量到超参数的映射： 通过将这些函数与标准的损失-计算缩放法则（ $L(C) = L_0 + \alpha C^{-\gamma}$ ）相结合，他们推导出了从总计算预算 $C$ 到最优超参数的直接映射：
$B_{opt}(C) = f(L_0 + \alpha \cdot C^{-\gamma})$
$LR_{opt}(C) = g(L_0 + \alpha \cdot C^{-\gamma})$

第二阶段：状态感知型超参数预测

为了将这些法则应用于任意检查点，作者引入了**等效预训练计算量（Equivalent Pre-training Compute, $C_{pre}$ ）**的概念。

定义： $C_{pre}$ 代表如果一个检查点是在目标领域中从随机初始化开始训练，达到其当前验证损失所需的理论计算预算。
计算： 通过反转损失-计算缩放法则，可以从初始验证损失（ $L_{init}$ ）计算出 $C_{pre}$ ：
$C_{pre} = \left( \frac{\alpha}{L_{init} - L_0} \right)^{1/\gamma}$
总有效计算量： CPT 运行的总计算预算定义为继承状态与计划预算之和： $C_{total} = C_{pre} + C_{cpt}$ 。
预测： 通过在 $C_{total}$ 处评估推导出的缩放函数，来预测目标运行的最优超参数。

核心贡献

CPT 的缩放法则： 本文通过实验证明，持续预训练中的最优超参数遵循稳定且可预测的缩放法则。具体而言，最优批大小随计算预算单调增加，而最优学习率则单调减少。
等效预训练计算量 ( $C_{pre}$ )： 提出了一种新颖的指标，用于正式量化从初始检查点继承的训练状态。这使得可以将任意起始点转化为连续优化轨迹上的一个可测量的坐标，解决了非零初始化的问题。
高效框架： 作者验证了一个无需在目标模型上进行试运行即可预测最优超参数的框架，与传统的网格搜索相比，将超参数搜索开销降低了高达 90%。

实验结果

该框架在 Dense-8B 和 MoE-3B 模型上进行了评估，使用了涵盖通用知识、数学和代码的 55B token 语料库。

性能： 使用预测超参数训练的模型在多种基准测试（MMLU, GSM8K, HumanEval 等）中达到了峰值平均分（Dense-8B 为 51.3，MoE-3B 为 57.9），优于偏离目标的设置。
消融实验：
- 学习率： 过高的学习率会导致性能崩溃（灾难性遗忘），而过低的学习率则会限制知识获取效率。预测的学习率平衡了这些因素。
- 批大小： 小批次会导致优化不稳定，而过大的批次会减少梯度更新频率，从而阻碍收敛。预测的批大小优化了这种权衡。
效率： 与在目标模型上进行网格搜索相比，该方法通过利用小规模代理模型，将 Dense-8B 的计算成本降低了 92.0%，将 MoE-3B 的计算成本降低了 73.1%。
$C_{pre}$ 的有效性： 消融研究表明，忽略初始状态（变体 A）或使用原始预训练 token 数（变体 B）会导致次优的超参数和较低的性能，这证实了 $C_{pre}$ 有效地校准了领域偏移。

意义与主张

本文声称为多样化的持续预训练场景提供了一种有原则且高效的方法论。通过证明即使从非随机初始化开始，最优超参数也遵循可预测的缩放法则，这项工作为昂贵的启发式方法和网格搜索提供了一个可行的替代方案。 $C_{pre}$ 的引入允许从业者将 CPT 视为单一优化路径的延续，从而实现对模型生命周期中任何阶段的可靠超参数预测。作者指出，虽然该框架在不同架构间具有泛化性，但在超大规模（70B+ 参数）和高度专业化领域上的验证仍是未来的研究方向。