技术摘要：何时预热启动（Warmstarting）对扩展语言模型有效？

问题陈述

训练最先进的深度学习模型需要巨大的计算资源。随着模型从数百万参数扩展到数十亿参数，一个关键问题随之产生：能否将训练较小模型所投入的计算资源复用，以加速较大模型的训练？这种技术被称为预热启动（Warmstarting, WS）或模型增长（Model Growth），其涉及从一个已训练好的较小检查点初始化一个更大的模型。尽管研究兴趣浓厚，但 WS 在生产流程中的实际应用仍然有限。

作者将这种缺乏采用的原因归结为三个主要障碍：

1. 实现复杂性：现有方法通常需要进行特定于架构的适配（例如，用于保持功能的特定克隆规则），而这些规则无法泛化到现代组件中。
2. 增长上限不明确：从业者缺乏指导，无法确定在预热启动变得比从头训练更无效之前，一个检查点可以增长多少。
3. 超参数不透明：WS 方法、超参数与扩展预算（模型大小与数据 token 数量）之间的相互作用尚未得到充分探索，这导致了调优开销，抵消了效率提升。

此外，先前的文献往往强调在初始化时保留基础模型的精确输出（即功能保持，Function Preservation, FP），这可能不必要地限制了算子的设计。

方法论

1. 理论框架：收缩 - 零 - 扰动（Shrink-Zero-Perturb, SZP）

作者提出了一种通用的、与架构无关的增长操作，称为收缩 - 零 - 扰动（Shrink-Zero-Perturb, SZP）。他们将连续学习中的“收缩与扰动”（Shrink-and-Perturb, SnP）公式扩展到模型增长中。目标权重 $\theta_{target}$ 推导如下：
$$\theta_{target} = \lambda_{shrink} \cdot G(\theta_{base}) + N(0, \sigma_{perturb}^2)$$
其中：

• $G$ 是一个增长函数（例如零填充或克隆），将基础权重映射到更大的目标形状。
• $\lambda_{shrink}$ 缩放继承的权重，以减少基础表示的主导地位。
• $\sigma_{perturb}$ 添加高斯噪声以打破对称性并激活新添加的神经元。

作者认为，严格的功能保持（FP）——即增长模型的初始输出与基础模型完全匹配——对于有效的预热启动并非必需。相反，SZP 提供了一个原则性的基线，在信号保持与利用新容量的灵活性之间取得平衡。

2. 实验设置

本研究采用两种主要的实验设置：

• 合成回归（MLPs）：使用在具有幂律傅里叶谱的合成回归任务上进行宽度扩展的多层感知机（MLPs）作为受控测试平台。这允许进行密集的超参数扫描，以分析调优策略和增长上限。
• 语言建模（LLMs）：在 SLIMPAJAMA 语料库上训练的仅解码器 GPT-2 风格模型（消融实验中包含 LLaMA 风格模型）。实验涵盖从 1400 万到 12 亿参数的模型规模。

关键实验控制：

• 超参数迁移：作者利用 $\mu$P（最大更新参数化） 将超参数（学习率、批量大小）从基础模型迁移到目标模型，避免了重新调优成本这一混淆因素。
• 训练预算：模型按照固定的每参数 token 数量预算（10、20 和 30 tokens/参数）进行训练，其中 20 tokens/参数代表 Chinchilla 计算最优前沿。
• 对比：将 SZP 与从头训练（Scratch）以及标准的Net2Net（一种基于功能保持的基线）进行比较。

主要贡献

1. SZP 的泛化：作者引入 SZP 作为一种简单、与架构无关的增长策略。他们证明，初始化时的精确功能保持对于强大的最终性能并非必要；事实上，SZP 通常优于复杂的基于 FP 的算子（如 Net2Net），特别是在语言模型中。
2. 增长因子（$g_{upper}$）的经验上限：该论文确立了增长因子 $g$（目标参数与基础参数之比）的经验上限。超过 $g_{upper}$ 后，从头训练增长模型的速度与预热启动相当（或更快）。该上限在 MLPs 和 LLMs 中是一致的。
3. 扩展定律预测：通过对观测结果拟合扩展定律，作者提供了关于 WS 何时有效的预测性指导。他们刻画了 WS 相对于从头训练能带来收敛加速的“效率窗口”，表明这些增益在特定的每参数 token 预算下最为显著。

主要结果

1. SZP 与 Net2Net 及从头训练的对比

• 收敛速度：SZP 始终比从头训练收敛得更快，并且在各种模型宽度和增长因子下均优于 Net2Net。
• 功能保持并非必需：虽然基于 FP 的 Net2Net 能快速恢复基础模型的损失，但在较大的增长场景中，它往往难以逃离初始子空间，导致有效秩较低，且与 SZP 相比长期收敛更慢。
• 鲁棒性：SZP 对增长因子更具鲁棒性，且不需要针对权重克隆或噪声注入的特定于架构的规则。

2. 增长因子上限（$g_{upper}$）

• 界限的存在：作者确定了一个清晰的 $g_{upper}$，超过此值后 WS 将失去其优势。在许多设置中，该界限约为 $g = 2$。
• 边际收益递减：随着增长因子的增加，基础模型在目标架构中所占的比例逐渐减小。初始化越来越像随机的初始化，继承结构的约束超过了其带来的益处。
• 预算依赖性：WS 的有效性紧密耦合于训练预算。WS 的增益在预算 $\le$ 20 tokens/参数 时最为显著。随着预算增加（接近或超过 Chinchilla 最优前沿），WS 的优势减弱，从头训练变得更为高效。

3. 扩展定律分析

• 作者拟合了幂律模型 $L(N, D) = E + A N^{-\alpha} + B D^{-\beta}$，以预测损失作为参数（$N$）和 token 数量（$D$）的函数。
• 等损失等高线：可视化 WS 与从头训练之间的损失差异揭示了一个边界。对于固定的模型大小，使用较少的 tokens/参数进行训练有利于 WS，而使用较多的 tokens/参数进行训练则有利于从头训练。
• 预测性指导：拟合的定律使从业者能够预测交叉点，即对于给定的增长因子和预算，WS 不再有益的时刻。

意义与实践指南

该论文对预热启动的有效性进行了系统的、基于第一性原理的调查，超越了轶事证据，提供了经验界限和指导。作者提出了以下实际要点：

• 模型扩展：如果只能进行一次模型运行，2 倍增长因子是预热启动最可靠的扩展策略。
• 效率窗口：当训练预算处于或低于计算最优扩展（约 20 tokens/参数）时，应优先考虑预热启动而非从头训练。
• 超参数迁移：$\mu$P 作为在预热启动中迁移超参数的原则性策略，特别是在较大规模的调优预算受限时。
• 标准化报告：作者建议未来的文献应明确报告经验性的 $g_{upper}$（即 WS 性能与从头训练性能相匹配的增长因子），以促进公平比较并防止采用无效的增长策略。

研究结论是，虽然预热启动提供了资源节省，但其效用是有边界的。提出的 SZP 方法以及确定的增长因子上限，为从业者提供了一个框架，以决定何时以及增长多少，从而确保真正的效率提升。