📊 statistics

Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling

本文介绍了 Seesaw，这是一个通过同时扩大批量大小并调整学习率以保持损失动态，从而加速大语言模型预训练的原则性框架，该框架在与标准余弦退火调度方案性能持平且消耗相同 FLOPs 的前提下，将实际训练时间缩短了约 36%。

原作者： Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过喂给一个巨大的、超级聪明的机器人一座书山，来教它理解这个世界。这个过程被称为“训练”，它是当今我们看到的 AI 聊天机器人和工具背后的秘密配方。为了学好，机器人需要两个核心要素：一个是“学习率”，就像它在读完一页书后改变主意的程度；另一个是“批大小”（batch size），即它在停下来思考并调整之前一次性阅读多少页。

长期以来，科学家们认为提高速度的最佳方法就是一次性喂给机器人更多的页面（更大的批大小），以便它能更快地处理数据。但这里有一个陷阱：如果你一次性喂给它太多页面而不改变它的思考方式，它就会变得困惑，从而停止高效学习。这就像试图通过一次性读完一整部百科全书来学习一门语言；你可能记住了事实，但你无法理解语法。研究人员一直在问一个大问题：我们该如何平衡“阅读更多页面”与“足够仔细地思考以实现更快速学习”之间的关系，而不让机器人迷失方向？

这篇论文介绍了一种名为 Seesaw 的巧妙新策略，用以解决这种平衡难题。研究人员发现了一个数学规则，它就像一个完美的跷跷板：每当你将机器人一次阅读的页面数量（批大小）增加一倍时，你不应该只是保持学习率不变，也不应该直接将其减半。相反，你应该以一个非常特定的比例来调整学习率——将其除以 $\sqrt{2}$ （约等于 1.41）。

可以这样理解：如果你把学习小组的规模扩大一倍（批大小），你并不需要像你想象中那样大幅降低交谈的速度（学习率）。通过使用这种特定的“Seesaw”节奏，机器人可以用更少的步骤处理相同数量的信息。作者在简单的学习任务中通过数学证明了这一点，并在拥有 1.5 亿、3 亿和 6 亿参数的海量语言模型上进行了测试。他们发现，通过使用 Seesaw，相比于标准方法，他们可以让这些模型的实际训练时间（墙钟时间）缩短约 36%，同时仍能达到完全相同的智能水平。

论文还明确警告不要过于贪婪。如果你试图在不正确调整学习率的情况下过于激进地增加批大小，机器人的学习过程会变得不稳定并停止进步。作者展示了数学逻辑失效的一个“临界点”，而他们的 Seesaw 方法能安全地保持在该线的正确一侧。简而言之，Seesaw 不仅仅是一个猜测；它是一个有数学依据的配方，让 AI 模型能以显著缩短的时间学到同样的课程，让我们离构建更聪明的 AI 更近一步，而无需等待数月的训练完成。

技术摘要：Seesaw：通过平衡学习率与批次大小调度来加速训练

问题陈述

大规模语言模型（LLM）的预训练日益受到墙钟时间（wall-clock time）的限制，对于最先进的模型，训练时长往往长达数月。减少这一持续时间的主要策略是增加批次大小（batch size），这利用了并行计算来减少总体的顺序优化步骤。然而，仅仅无限增加批次大小会导致收益递减，当超过“临界批次大小”（critical batch size, CBS）时，样本效率会下降。

虽然最近的大规模训练任务（如 LLaMA、Nemotron、OLMo）采用了“批次渐增”（batch ramp）调度——即在整个训练过程中逐渐增加批次大小——但这些策略目前仍依赖于启发式调优。目前缺乏理论依据来解释如何针对自适应优化器（如 Adam）最优地平衡学习率衰减与批次大小递增。核心问题在于：什么样的批次大小调度方案能在不牺牲模型性能的前提下，最小化串行运行时间？

方法论

理论框架

作者开发了一个基于噪声线性回归（noisy linear regression）的原则性框架，以建立学习率衰减与批次大小渐增之间的等价关系。

SGD 等价性： 本文提供了第一个有限样本（非渐近）证明，表明对于噪声线性回归上的随机梯度下降（SGD），一个在每个阶段将批次大小翻倍而保持学习率固定的过程，与一个在每个阶段将学习 rate 减半而保持批次大小固定的过程在等价性上（在超额风险方面，忽略常数因子）是等价的，前提是两个过程消耗的总数据量相同。
向归一化 SGD（NSGD）的扩展： 为了弥合与 Adam 等自适应优化器之间的差距，作者分析了归一化 SGD（NSGD），它是 Adam 的一个易于处理的解析代理。他们引入了假设 2，该假设认为在实践中观察到的方差主导机制中，期望的梯度平方范数由加性噪声主导（其缩放比例为 $O(1/B)$ ）。在此假设下，NSGD 实际上简化为带有重新缩放学习率的 SGD。
等价条件： 分析推导出了在调整这两个参数时维持损失动力学所需的特定关系。对于学习率衰减因子 $\alpha$ 和批次大小增加因子 $\beta$ ，如果保持乘积 $\alpha\sqrt{\beta}$ 为常数，则这两个过程保持等价。

Seesaw 算法

基于上述理论等价性，作者提出了 Seesaw，一种动态平衡学习率和批次大小的调度器：

机制： 每当标准调度器（如余弦衰减）会将学习率降低 $\alpha$ 倍时，Seesaw 不再仅仅降低学习率，而是将学习率降低 $\sqrt{\alpha}$ 倍，同时将批次大小增加 $\alpha$ 倍。
约束： 作者确定了一个防止发散的理论极限。能够保持稳定的最激进的渐增方案由 $\alpha = \sqrt{\beta}$ 定义。超过此限度（即相对于学习率衰减而言，增加批次大小过于激进）会导致发散。
实现： Seesaw 被设计为现有学习率调度器的即插即用替代方案。在实践中，它通过步进衰减（step decay）来近似余弦衰减，并在学习率原本会发生切减的特定 Token 计数点触发批次大小的增加。

核心贡献

理论等价性： 本文建立了 SGD 的第一个非渐近等价性，并将其扩展到方差主导机制下的归一化 SGD。
Seesaw 调度器： 提出了一种原则性的算法，该算法用耦合的学习率与批次大小调度取代了标准的学习率衰减，且在理论上保证了能保持损失动力学。
加速分析： 作者推导了串行运行时间减少的理论上限。通过利用针对余弦衰减基准的最激进稳定渐增方案（ $\alpha = \sqrt{\beta}$ ），计算出最大理论加速比为 $(1 - 2/\pi) \approx 36.3\%$ 。

实验结果

作者在 150M、300M 和 600M 参数量的模型上，使用 OLMo 代码库在 Chinchilla 规模（ $D=20N$ ）下对 Seesaw 进行了评估。

性能齐平： 在临界批次大小下进行训练时，Seesaw 在所有模型规模上都能匹配标准余弦退火调度的验证损失动力学。
运行时间缩减： Seesaw 实现了显著的串行运行时间缩减，将墙钟时间减少了约 36%，非常接近分析中得出的理论极限。
鲁棒性： 该方法对 AdamW 和各种权重衰减设置均有效。
激进程度的极限： 通过改变 $\alpha$ 和 $\beta$ 参数的实验证实了理论约束。比 $\alpha = \sqrt{\beta}$ 更激进的方案（例如，在保持学习率不变或衰减过慢的情况下将批次大小翻倍）会导致发散或性能欠佳。
临界批次大小限制： 作者观察到 Seesaw 策略在临界批次大小内是有效的。一旦超过此点，即噪声项不再主导梯度范数时，等价性就会失效，Seesaw 的表现会逊于标准余弦衰减。

意义与主张

本文声称为“批次渐增”这一实践提供了严谨的理论基础，使其从启发式调优转变为原则性的优化策略。通过证明在特定条件下学习率衰减与批次大小渐增是可以互换的，Seesaw 提供了一种实用的方法，可以在不损害模型质量的前提下加速 LLM 预训练。

作者强调，Seesaw 是自适应优化器中现有调度器的即插即用替代方案。其主要意义在于能够将大型模型的训练墙钟时间减少约三分之一，从而应对硬件需求增长速度超过硬件改进速度的瓶颈问题。这项工作也明确了该策略的边界，指出其依赖于方差主导机制，并且在批次大小超过使均值梯度项占据主导地位的临界阈值时可能不再适用。