📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

本文表明，将权重平均与简单的无视界学习率调度（例如多项式衰减或 $1/\sqrt{t}$ ）相结合，在大型语言模型上实现了与经过调优的余弦调度相当的最终性能，为在总视界未知的开放式设置中进行训练提供了一种实用且具有理论依据的替代方案。

原作者： Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型是驱动从写作助手到复杂推理工具等一切事物的引擎。为了让这些引擎运转起来，研究人员必须通过喂给它们海量的文本来教导它们，这个过程被称为预训练。这种教导需要对速度和精度进行精细的平衡，而这种平衡是由一个被称为“学习率”的设置来控制的。可以将这个速率想象为模型根据新信息调整其内部知识的节奏。如果节奏太快，模型会由于过冲而偏离真相；如果节奏太慢，它则学不到任何东西。多年来，管理这种节奏的标准方法是一种被称为“余弦衰减”（cosine decay）的调度方案。这种方法让模型从一个中等速度开始，沿着一条平滑的曲线逐渐减速，并在一个精确的时刻停止。然而，这种标准方法有一个显著的缺陷：它要求在采取第一步之前，必须确切知道训练将持续多久。在一个数据不断涌入且总信息量未知的世界里，这种要求就像是试图驾驶一辆只有目的地地图、却不知道到达目的地所需距离的汽车。

哈佛大学和坎普纳研究所（Kempner Institute）的研究人员通过开发一种不需要预设结束日期的模型训练新方法，解决了这一问题。他们的工作将数学理论与大规模实验相结合，证明了即使在不知道训练何时停止的情况下，也能有效地训练模型。他们发现，通过使用一种简单的、随时间自然减速的稳定节奏，并对模型的进步过程进行平均处理，他们可以实现与传统方法同样出色的效果。这一发现表明，过去那种僵化的、预先计划好的调度方案对于构建最先进的人工智能并非必要，这为能够随着新数据的出现进行持续学习的系统开启了大门。

问题的核心在于现代数据的本质。与过去固定的数据集不同，今天的信息是无止境地涌入的。一个模型可能会训练一周，也可能训练一个月，甚至可能训练数年，这取决于有多少可用数据。传统的余弦衰减调度是“依赖于时限”（horizon-dependent）的，这意味着它必须针对已知的持续时间进行专门调优。如果研究人员为期一个月的运行设计了一个调度方案，但项目却延长到了三个月，那么模型的性能将会受损，因为其学习率的设计在过早的时候就减速了。研究人员致力于寻找一种“无时限”（horizon-free）的替代方案，即无论训练在明天还是明年停止，都能表现良好的方法。他们提出，与其使用复杂的曲线，不如使用一种随时间缓慢衰减的简单调度方案，并结合一种称为“权重平均”（weight averaging）的技术，这可以解决这个问题。权重平均是一个过程，即最终的模型不仅仅是创建过程中的最后一个版本，而是整个训练过程中许多版本的融合，它能平滑噪声并稳定结果。

为了测试这个想法，团队首先转向了数学理论。他们分析了一个简化学习模型的行为，使用线性回归来模拟语言中发现的复杂模式。他们的分析表明，对于某些类型的数据，一个随时间缓慢下降的学习率（具体遵循随着时间平方根增加而下降的模式）在理论上是最优的。至关重要的是，他们证明了当这种特定的衰减与权重平均结合时，该方法可以在不需要预先知道总训练时间的情况下，实现最佳的学习速度。这一理论发现提供了一个强大的基础，表明在开放式场景下，一个简单、稳定的方法可以胜过复杂的、预先计划好的曲线。

随后，研究人员从理论转向实践，训练了具有 1.5 亿和 3 亿参数的大型语言模型。他们在海量的文本数据集上训练这些模型，迫使它们学习的数据量达到其典型规模的 32 倍。这种规模之所以重要，是因为它模拟了构建世界上最先进 AI 系统时的条件。他们将这种新的无时限调度方案与标准的余弦衰减调度进行了对比，后者是针对每个特定的训练时长进行了精心调优的。结果令人瞩目。使用恒定学习率加平均或缓慢衰减率加平均的新方法，几乎完美地追踪了表现最好的调优余弦调度的性能。在整个训练范围内，从短时运行到最长的持续时间，无时限方法取得的最终结果与传统方法几乎无法区分。

这项工作的最引人注目的方面之一是它的实用性。研究人员展示了在训练过程早期选择的一套设置，就可以用于整个项目的持续时间，即使该项目突然扩大。他们证明，如果一个模型是针对某个中间点（例如标准数据量的四倍）进行调优的，那么同样的设置在训练延长到该数据量的 32 倍时仍能继续表现良好。这消除了在每次训练时限发生变化时都需要停止并重新调优模型的必要。此外，他们还测试了一种流行的替代方法，称为“预热-稳定-衰减”（warmup-stable-decay），该方法试图结合两者的优点，即在训练的大部分时间保持速率稳定，然后在结束时进行衰减。虽然这种方法表现良好，但它仍然需要知道何时开始衰减阶段，因此在灵活性上不如作者提出的真正无时限的方法。

研究还探讨了当训练数据非常庞大时，这些方法是如何表现的，在这种情况下，学习过程中的噪声自然较低。在这些条件下，研究人员发现学习率不需要进行衰减。恒定的学习率结合权重平均，就足以实现顶尖性能。这符合他们的理论预测：当数据的方差（即噪声）较小时，模型通过维持稳定节奏来减少偏差（即误差），比通过减速更有利。这一见解表明，随着计算能力的增长以及模型能够处理更大规模的数据批次，对复杂衰减调度的需求可能会完全消失，取而代之的是更简单、更稳健的策略。

最终，这项研究为人工智能训练的未来提供了一条清晰的路径。它表明，多年来主导该领域的僵化、预先计算的调度方案并不是唯一的方法，或许甚至不是最好的方法，来训练处于连续数据时代的模型。通过证明简单的、无时限的调度方案结合权重平均可以匹配经过最精心调优的传统方法的性能，作者们为开放式学习提供了一个实际的解决方案。这种方法允许模型适应任何可用数据量，使训练过程更加灵活和高效。研究结果表明，大型语言模型训练的未来可能不在于更复杂的调度算法，而在于更简单、更具韧性的策略，这些策略可以在没有预定终点的情况下进行持续学习。

技术摘要：具有无视界学习率调度（Horizon-Free Learning-Rate Schedules）的随时预训练（Anytime Pretraining）

问题陈述

大型语言模型（LLMs）正越来越多地在持续或开放式设置中进行训练，而在这些设置中，总训练视界（即需要处理的 token 总数）是无法预先获知的。尽管如此，标准的预训练方案仍然依赖于依赖视界（horizon-dependent）的学习率调度，最显著的是余弦衰减（cosine decay）。余弦衰减需要预先知道总训练长度 $N$ 才能定义衰减曲线，这使得它不适用于数据连续到达或训练预算动态扩展的场景。

现有的“近乎随时（nearly-anytime）”替代方案，例如预热-稳定-衰减（Warmup-Stable-Decay, WSD）调度，虽然降低了这种依赖性，但仍需要额外的开销（在特定间隔存储检查点）以及在扩展训练时进行重新调优或重新衰减，这引入了计算成本并破坏了“随时（anytime）”属性。核心挑战在于识别一种满足以下条件的学习率调度：

不依赖于训练视界 $N$ 。
在任何中间检查点 $T < N$ 都能实现具有竞争力的性能（追踪“余弦包络线/cosine envelope”），且无需预知 $N$ 。

方法论

理论分析

作者利用**过参数化线性回归（overparameterized linear regression）**在具有幂律谱（power-law spectra）的高斯数据上进行了理论分析。这作为 LLM 预训练的代理模型。

设置： 研究考虑了在二次损失函数上使用随机梯度下降（SGD）结合迭代平均（权重平均/weight averaging）的情况。数据协方差矩阵 $H$ 和目标向量 $w^*$ 遵循由容量指数（capacity exponent） $a$ （特征值衰减 $\lambda_k \sim k^{-a}$ ）和源指数（source exponent） $b$ （目标坐标衰减 $(w^*_k)^2 \sim k^{-b}$ ）表征的幂律分布。
关键洞察： 作者分析了风险的偏差-方差分解。他们证明了虽然带有平均操作的恒定学习率在某些机制下（ $b \le a$ ）可以是优选的，但在 $b > a$ 时通常需要视界相关的缩放。
提出的调度： 论文推导出，形式为 $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ 的多项式学习率调度结合迭代平均（具体为指数移动平均，EMA）可以在不知道 $N$ $N$ 的情况下实现极小极大最优（minimax optimal）收敛速率。
- 对于 $1 < a < b \le 2a$ 的机制，推导出的最优衰减指数为 $\gamma^* = 1 - a/b$ 。
- 一个显著的特例是 $\gamma = 1/2$ （即 $1/\sqrt{t}$ ），在特定的谱条件下，它被证明在对数因子和常数范围内是随时最优（anytime-optimal）的。
权重平均： 分析强调，权重平均对于在这些速率下实现最优收敛至关重要。如果没有平均操作，使用多项式衰减的标准 SGD 在线性回归设置中往往无法达到最优速率。

实证评估

作者使用 OLMo 代码库在 LLM 预训练上对理论处方进行了压力测试。

模型： 训练了两个模型：150M 和 300M 参数量级。
规模： 训练规模分别达到了 150M 模型 Chinchilla 最优 token 数的 32 $\times$ 倍以及 300M 模型 16 $\times$ 倍。
基准线（Baselines）：
- 余弦包络线（Cosine Envelope）： 一个“金标准”基准线，通过为每个 2 的幂次视界（1 $\times$ 到 32 $\times$ ）独立调整余弦调度，并在每个点取最佳验证损失。
- WSD： Warmup-Stable-Decay 调度，通过在目标视界的 90% 处保存检查点并进行最后的 10% 衰减来实现。
候选方案：
- 恒定学习率 + EMA： 固定学习率配合随时间按比例增长的 EMA 窗口（ $f=25$ ）。
- $1/\sqrt{t}$ + EMA： 带有 EMA 的多项式衰减调度 $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ 。
协议： 作者评估了一个单一固定配置（一次性选择的超参数）是否能在所有中间检查点上追踪余弦包络线，而不是针对每个视界进行重新调优。

核心贡献

随时调度的理论推导： 论文证明了对于具有幂律数据的线性回归，形式为 $1/t^\gamma$ 的学习率调度结合迭代平均，可以在不依赖训练视界的情况下实现极小极大最优速率。具体而言，它确立了最优 $\gamma$ 是源指数和容量指数（ $a$ 和 $b$ ）的函数。
权重平均的作用： 本研究强调，权重平均（模型合并）不仅是提高泛化能力的启发式方法，而且是在过参数化设置中实现具有视界无关调度之最优收敛速率的理论必要条件。
大规模实证验证： 作者展示了简单的、无视界的调度（Constant LR + EMA 和 $1/\sqrt{t}$ + EMA）可以通过单一的超参数配置，在巨大的训练范围（高达 32 $\times$ Chinchilla）内，追踪经过精心调整的、依赖视界的余弦包络线。
前瞻性迁移： 研究表明，在中间检查点（例如 4 $\times$ Chinchilla）调优的超参数可以成功迁移到显著更长的训练运行（高达 32 $\times$ ）中，而无需重新调优，这为开放式训练提供了一个实用的协议。

结果

性能对比余弦： 在整个训练范围（1 $\times$ 到 32 $\times$ ）内，提出的随时调度（Constant + EMA 和 $1/\sqrt{t}$ + EMA）实现的验证损失与独立调整的余弦包络线相当。两者之间的差距极小（通常在 0.005 个验证损失单位以内）。
单轨迹成功： 与需要为不同视界重新调优以避免在中间步骤表现欠佳的余弦衰减不同，运行单一轨迹的随时调度能有效地追踪“余弦包络线”。
大批量机制（Large Batch Regime）： 在梯度噪声被抑制的大批量实验（Batch Size 4096）中，带有平均操作的恒定学习率优于余弦衰减和 $1/\sqrt{t}$ 调度。这符合理论预测：当方差较低时，衰减是不必要的，且较大的恒定速率能加速偏差减少。
与 WSD 的比较： WSD 调度的表现与余弦和所提出的随时方法相当。然而，WSD 并非严格意义上的无视界，因为它需要在运行的 90% 处保存检查点以启动衰减阶段，而所提出的方法则不需要此类干预。

意义与主张

本文声称，权重平均结合简单的、无视界的步长，为大型语言模型预训练提供了一种实用且有效的余弦学习率调度替代方案。

实用性： 所提出的方法消除了预先获知总训练预算的需求，从而促进了真正的持续性和开放式训练。
简洁性： 这些调度比 WSD 计算开销更低（没有用于启动衰减的检查点开销），也比依赖视界的余弦退火更容易实现。
理论基础： 其经验上的成功得到了线性回归机制下严谨理论分析的支持，这表明这些调度的益处并非仅仅是经验性的产物，而是源于过参数化设置中基本的优化特性。

作者保持了谦逊的态度，指出他们的理论界限仅在常数和对数因子范围内匹配极小极大速率，并且其经验结论目前仅限于特定的模型规模（150M/300M）和优化器（不带权重衰减的 AdamW）。他们指出未来的工作方向包括理解如何自动选择最优调优点（例如 4 $\times$ Chinchilla），以及将这些发现扩展到更大规模和不同的优化器。