💬 NLP

Reusing Overtrained Language Models Saturates Scaling

本文通过实证研究表明，重复使用过度训练的语言模型进行进一步预训练会产生收益递减现象，因为扩展效率随初始预训练语料库规模呈对数级下降，从而揭示了多阶段训练策略中存在的一种根本性权衡。

原作者： Seng Pei Liew, Takuya Kato

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Seng Pei Liew, Takuya Kato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：当“过度练习”让学习新事物变得困难

想象你正在训练一名非常有天赋的学生。你花了数年时间教他通识知识（历史、科学、文学）。他因此成为了专家。现在，你想教他一项新的、特定的技能，比如编程或高等数学。

通常你会认为：“太棒了！他已经掌握了这么多知识，学习新东西一定会超级快。”

然而，这篇论文发现了一个令人惊讶的转折：如果这个学生在通识知识上训练得“过度”了，他在尝试学习新技能时反而会陷入困境。 他被“过度训练”得越多，从新训练中获得的收益就越少。这就像他的大脑变得过于僵化，无法轻易地重塑自己以适应新信息。

研究人员将此称为 “规模饱和”（Scaling Saturation）。他们发现，如果你重复使用一个已经见过海量数据的模型，后期添加更多数据带来的帮助并不会像预期的那样大。

他们尝试“复用”模型的两种方式

研究人员测试了两种主要的方法，旨在利用现有的已训练模型进行改进，而不是从零开始：

持续预训练（“专家化”路径）：
- 类比： 想象一位看过数百万名患者的全科医生。你想让他成为一名心脏外科医生。于是你拿到了这位医生，并给了他一本关于心脏病学的教科书。
- 实验： 他们拿了一个在通用互联网文本上训练过的模型，试图教它编程或数学。
- 结果： 如果这位医生已经读了过多的通用书籍，那么新的心脏病学书籍对他的提升作用就会减小。“学习曲线”变得平缓了。
模型增长（“巨人化”路径）：
- 类比： 想象一个小型且高效的机器人。你想让它变得更聪明，所以你并不打算从头制造一个新机器人。相反，你在现有的机器人身上粘上额外的“大脑”层。你希望这些新层能够快速学习，因为旧层已经足够聪明了。
- 实验： 他们拿了一个小模型，并在其上方直接堆叠了更多的层（使其变大），或者加宽了它的层。
- 结果： 就像那位专家一样，如果原始机器人已经“过度训练”，那么这个更大的新机器人学习效率并不会比从头构建的新机器人更高。

“边际收益递减法则”（数学部分）

这篇论文不仅仅是在说“情况变糟了”，他们还发现了一个关于“如何变糟”的具体数学规则。

把模型的性能想象成一个水箱：

水：这是“损失值”（loss，即模型出错的程度）。你希望水位下降。
第一阶段 (D1)： 这是初始训练阶段。你在这一阶段注入的水越多（token 越多），水位就越低。
第二阶段 (D2)： 这是复用训练阶段。你通过注入更多的水来进一步降低水位。

发现：
如果你在第一阶段把水箱注满了（过度训练），那么你在第二阶段用来注水的管子就会堵塞。

你在初始阶段训练的模型越多，第二阶段水位下降的速度就越慢。
论文发现这种减速遵循一个可预测的模式：随着初始训练量的增加，新训练带来的收益呈对数级下降。

公式：
他们创建了一个简单的方程来预测这一点。它基本上是说：

你对基础模型过度训练得越多，新训练的效果就越差。

为什么会发生这种情况？（机制分析）

研究人员深入底层观察，以探究原因。

“僵硬肌肉”类比： 想象一名举重运动员，为了某一种特定的动作进行了极其高强度的训练，以至于他的肌肉变得异常僵硬且高度优化于该动作。如果你要求他学习一种全新的舞蹈，他僵硬的肌肉会让他的动作变得难以灵活。
梯度范数（Gradient Norms）： 在论文中，他们测量了“梯度范数”（衡量模型为了学习需要付出多少“推力”的技术指标）。他们发现过度训练的模型拥有更大的梯度范数。这意味着模型正在与其现有的知识进行对抗。这就像试图转动一个沉重且生锈的齿轮；即使只移动一点点，也需要巨大的力量。

实践启示：何时应该从头开始

那么，如果一家公司想要构建更好的 AI，该怎么做？

这篇论文给出了一个明确的经验法则：不要害怕抛弃你的旧模型。

如果你对基础模型的训练还不够多： 复用它（通过增长或微调）是一个很好的捷径。这能节省成本和时间。
如果你已经对基础模型进行了大量训练（过度训练）： 复用它是一个陷阱。你会花很多钱在它身上进行新数据的训练，但它几乎不会有进步。
解决方案： 如果基础模型因为过度训练而变得过于“僵硬”，那么从头开始训练一个全新的模型，实际上比试图修复旧模型更便宜、更快。

总结

这篇论文警告我们，在 AI 世界中，“更多的训练”并不总是意味着“更好”。如果你在通用数据上训练模型过多，它会变得僵化。尝试将这种僵化的模型用于新任务会撞上一个“天花板”，此时额外的努力几乎不会产生任何结果。有时候，最有效的路径是停止试图复用旧模型，而是重新开始。

技术摘要：过度训练语言模型的重用会导致缩放饱和

问题陈述

从头开始训练大语言模型（LLMs）既耗时又耗费计算资源。为了缓解这一问题，研究人员越来越多地采用模型重用策略，例如持续预训练（CPT）（将基础模型适配到新领域）和模型增长（通过重用基础参数来增加模型容量）。尽管这些方法前景广阔，但重用过度训练的基础模型（即在海量 Token 数上进行过训练的模型）的有效性仍不明确。直觉上，过度训练模型中高度优化的参数可能会阻碍在适配新数据分布或扩展容量时的有效探索，从而导致一种被称为“塑性丧失（loss of plasticity）”的现象。本文研究了这些模型重用策略的缩放特性，以确定过度训练是否以及如何限制第二阶段预训练的收益。

研究方法

作者进行了广泛的受控实验，涉及超过 450 次运行，涵盖各种模型规模（15M 到 1B 参数）和数据集。

实验设置：
- 架构： 采用带有 SwiGLU 激活函数和旋转位置嵌入（RoPE）的仅解码器 Transformer（类 LLaMA 结构）。
- 两阶段训练：
  1. 第一阶段（基础模型）： 在通用互联网数据（Slimpajama-DC，CommonCrawl 部分）上进行 $D_1$ 个 Token 的预训练。
  2. 第二阶段（重用）：
    - CPT： 在特定领域数据（代码：Stack/StarCoder；数学：OpenWebMath）上进行进一步训练。
    - 模型增长： 通过宽度扩展（使用函数保持初始化）或深度堆叠（复制层）来增加容量。
- 变量： 研究系统地改变了第一阶段 Token 数（ $D_1$ ）、第二阶段 Token 数（ $D_2$ ）和模型大小（ $N$ ）。
- 训练配置： 使用混合精度（bfloat16）、AdamW 优化器以及 Warmup-Stable-Decay (WSD) 学习率调度方案。
缩放定律公式化：
作者试图寻找一个描述第二阶段后验证损失的函数形式 $L(D_1, D_2)$ 。他们针对经验数据测试了几种假设：
1. 乘性交互型： $L(D_1, D_2) = A D_1^{-\alpha_1} D_2^{-(\alpha_2 + \alpha_3 \log D_1)} + E$
2. 加性型： $L(D_1, D_2) = A D_1^{-\alpha_1} + F D_2^{-\alpha_2} + E$
3. 混合型： $L(D_1, D_2) = (A D_1^{-\alpha_1} + F) D_2^{-\alpha_2} + E$
4. 连续缩放型： $L(D_1, D_2) = A(D_1 + D_2)^{-\alpha} + E$ （假设数据具有连续性）。
作者使用 Huber 损失优化进行拟合，并通过留一法均方根误差（Leave-one-out RMS）进行评估。

核心贡献

模型重用的经验缩放定律： 本文确立了相对于第二阶段 Token 数（ $D_2$ ）的缩放指数会随着第一阶段 Token 数（ $D_1$ ）的增加而呈对数级下降。这可以通过缩放指数中的交互项 $\alpha_3 \log D_1$ 来捕捉。
饱和现象的量化： 作者证明了重用过度训练的基础模型会导致可预测的缩放效率饱和。随着 $D_1$ 的增长，额外 $D_2$ Token 的边际收益显著递减。
与模型规模的联合缩放： 该缩放定律被扩展到联合纳入模型大小（ $N$ ），从而允许对更大模型和更大数据集的性能进行外推。
机理与理论分析：
- 机理分析： 梯度范数分析表明，过度训练的模型在第二阶段训练期间表现出更大的梯度范数，这表明优化难度增加且损失平面更加陡峭。
- 理论分析： 基于学习曲线理论和最大熵原理提出了一个玩具模型，用以解释缩放指数的对数饱和现象，将特征发现建模为树搜索，其中有效分支因子受第一阶段训练的影响。

关键结果

最佳拟合模型： 与加性、混合型或连续缩放公式相比，带有交互项的乘性缩放定律（等式 1）在所有数据集（代码、数学）和方法（CPT、模型增长）中始终实现了最低的 RMS 误差。
饱和效应：
- 对于固定的 $D_1$ ，损失随 $D_2$ 遵循幂律。
- 然而，随着 $D_1$ 的增加，有效指数 $\alpha_{eff} = \alpha_2 - \alpha_3 \log D_1$ 会减小。
- 这意味着对于高度过度训练的基础模型（较大的 $D_1$ ），增加第二阶段训练 Token 的回报变得越来越微乎其微。
交叉点： 通过对比模型重用与从头开始训练的缩放定律，作者识别出了一个“交叉点”。对于较小的 $D_2$ ，模型增长更高效。然而，随着 $D_2$ 的增加，重用模型的饱和效应会导致“从头开始”的方法最终超越它。该阈值取决于初始投入（ $D_1$ ）和模型规模。
梯度范数： 过度训练的模型在重用时显示出更大的梯度范数，这为观察到的饱和现象提供了机理上的解释（即模型处于参数空间中一个高度敏感的区域）。
局限性： 缩放定律预测了一个从头开始训练会变得更优的理论交叉点。然而，在实验中使用极大的 $D_2$ （高达 2000 倍的 Token-to-parameter 比率）时，数据进入了噪声底限，阻碍了对更大模型中交叉点的确定性经验确认。

意义与主张

本文声称通过量化多阶段预训练中的权衡，为高效语言模型训练提供了实践指导。

对从业者的指导： 推导出的缩放定律提供了一种数据驱动的策略，用于决定何时应该从头开始训练，何时重用基础模型。如果目标训练预算（ $D_2$ ）相对于基础模型的过度训练程度（ $D_1$ ）超过了某个阈值，那么从头开始训练可能在计算上更具优化性。
基本权衡： 本研究强调了一个基本的权衡：基础模型被预训练得越充分，额外的预训练带来的收益就越小。这挑战了“重用任何预训练模型总是优于从头开始训练”的假设。
范围： 作者明确指出，其发现对于当前的规模化训练方法（最高达 1B 参数）是稳健的，但也承认由于计算限制，在极大规模（交叉点之后）下的行为仍是一个开放性问题。他们并非声称消除了饱和效应，而是通过建模和理解饱和效应来减轻其负面影响。

文章得出结论：虽然模型重用是一种有前景的策略，但其有效性受限于基础模型的过度训练程度，且这种饱和是一种受特定缩放定律支配的可预测且可量化的现象。