技术摘要：ScheduleFree+ 将无学习率与无调度学习扩展至大语言模型

1. 问题陈述

传统机器学习优化严重依赖学习率调度（例如线性衰减、余弦退火、预热 - 稳定 - 衰减）以确保收敛。尽管这些方法有效，但它们需要大量的调参，且往往导致训练曲线不稳定或不可预测。近期的“无调度”（Schedule-Free）学习方法用激进的迭代平均替代了调度，在小规模基准测试中展现出潜力，但历史上未能扩展到大语言模型（LLM）训练。具体而言，先前的无调度实现存在以下问题：

• 在大批量尺寸下发散： 当批量尺寸超过小规模限制时，性能显著下降。
• 梯度范数漂移： 该方法需要异常小的权重衰减值才能运行，导致权重范数不稳定，并在长时间训练中表现不佳。
• 长周期运行中的次优收敛： 该方法未能充分利用在更长训练周期（例如每参数 1000 个 token）中平均化的优势。

本文旨在解决将无调度学习扩展至匹配或超越大语言模型预训练中最先进（SOTA）调度方法的挑战，目标是实现一种稳定、随时可用（"anytime"）且无需学习率调优的训练流程。

2. 方法论：ScheduleFree+

作者提出了ScheduleFree+，这是一种复合方法，通过将若干特定修改集成到基础无调度算法中，使其对大语言模型具有鲁棒性。其核心组件包括：

A. 重新引入内部动量

虽然原始无调度工作为了节省内存移除了内部动量（例如 Adam 的 $\beta_1$），但作者发现这对大批量尺寸是有害的。

• 修正： 在基础优化器中重新引入内部动量（例如 $\beta_1 = 0.75$ 或 $0.9$）。
• 效果： 这恢复了对更大批量尺寸的鲁棒性，并允许使用更高的学习率而不发散，从而解决了标准无调度 AdamW 中观察到的“扩展悬崖”问题。

B. 逆梯度范数加权（Polyak 步长）

标准无调度学习通常需要较小的权重衰减来补偿不断增长的梯度范数，这导致了不稳定性。作者基于 Polyak 步长推导出了理论修正。

• 机制： 步长 $\gamma_t$ 与梯度的 L1 范数成反比缩放（$\gamma_t \propto 1/\|g_t\|_1$）。
• 实现： 使用梯度 L1 范数的指数移动平均（EMA）来估计分母，从而近似由凸后悔界推导出的最优加权。
• 结果： 这一修正抵消了由归一化层引起的有效学习率漂移，使得可以使用标准的、更大的权重衰减值（例如 0.05–0.5），从而稳定权重范数并防止导致长周期运行不稳定的“权重范数收缩”现象。

C. 基于 Polyak 步长的无学习率优化

在逆梯度加权的基础上，作者使用改进的 Polyak 步长实现了一种完全无学习率的变体：
$$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$$

• 稳定性： 分子使用函数值差距（$f(z_t) - f^*$）的估计值，而非嘈杂的当前迭代值；分母使用平滑后的 L1 范数。这避免了随机 Polyak 步长中常见的分母消失问题。
• 自适应性： 该方法自动根据批量尺寸缩放学习率（遵循 AdamW 的 $\sqrt{b}$ 缩放规律），并消除了对学习率网格搜索的手动需求。

D. 预热启动与退火策略

• C-预热（C-Warmup）： 为了防止平均化缓冲区稀释早期快速收敛阶段，作者延迟了平均化更新（$c_t = 1$），持续时间为初始阶段（例如学习率预热时长的 2 倍）。
• Beta 退火： 插值参数 $\beta$（混合当前迭代 $z_t$ 和平均值 $x_t$）在训练过程中从较低值（例如 0.9）退火至较高值（例如 0.965）。这既捕捉了初始的快速收敛，又优化了长期的损失降低。
• 加权平均（$r=1$）： 对于长周期运行，平均化权重设置为 $r=1$（线性增加的权重），而非默认的 $r=0$，这加速了非强凸问题的收敛。

3. 关键结果

作者在 1.2 亿至 10 亿参数的大语言模型上进行了广泛的扩展实验，训练数据量高达每参数 1000 个 token。

• 长周期训练（每参数 1000 个 token）： 在此规模下，ScheduleFree+ 显著优于预热 - 稳定 - 衰减（WSD）和线性衰减调度。
  • 效率： 它达到与线性衰减调度相同的最终损失，但训练时间减少了31%（达到目标损失所需的 token 数量减少了 45%）。
  • 稳定性： 该方法产生平滑、可预测的损失曲线，遵循理论上的 $1/\sqrt{t}$ 衰减率，使得能够从早期训练数据准确预测最终损失。
• 短周期训练（20–100 个 token/参数）： ScheduleFree+ 在所有模型尺寸上均优于 WSD 调度。与线性衰减相比，由于达到稳态所需的时间，它在极短周期（20 个 token/参数）下表现相当或略逊，但总体上具有竞争力。
• 批量尺寸扩展： 借助内部动量，ScheduleFree+ 稳健地扩展至 800 万批量尺寸，其性能与带有线性衰减的标准 AdamW 相当。
• 权重范数稳定性： 通过使用 Polyak 步长和更大的权重衰减，该方法保持了稳定的权重范数，避免了未修改的无调度方法所需的小权重衰减值所导致的发散和量化问题。

4. 意义与主张

本文主张，ScheduleFree+ 为预训练期间的模型平均化和检查点合并提供了理论基础，弥合了在线优化与离线模型汤（model souping）之间的差距。

• 随时可用训练： 与需要在训练结束时进行特定退火阶段以实现收益的 WSD 调度不同，ScheduleFree+ 提供了真正的“随时可用”能力。模型在任何停止点都是可用且最优的，无需专门的衰减阶段。
• 消除调参： 该方法消除了对学习率网格搜索的需求，转而依赖 Polyak 步长和逆梯度加权，以自动适应批量尺寸和训练时长。
• 可预测性： 作者认为，无调度学习的损失曲线不仅在经验上是稳定的，而且在理论上是稳固的，即使在非凸的大语言模型设置中，也紧密遵循凸优化理论预测的 $1/\sqrt{t}$ 收敛率。

总之，本文表明，通过特定的修改——内部动量、逆梯度加权和自适应退火——无调度学习可以扩展为一种更优越、更稳定且无需调参的替代方案，用于训练大语言模型，以取代传统的学习率调度。