🔬 condensed matter

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model

本文利用最优控制理论从理论上推导并验证了随机特征模型的最优学习率调度策略，识别出决定多项式衰减或预热 - 稳定 - 衰减策略是否优于标准基准的截然不同的“易”与“难”训练阶段。

原作者： Blake Bordelon, Francesco Mori

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Blake Bordelon, Francesco Mori

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一名学生解决一个复杂的谜题。你拥有有限的时间（“训练周期”）和有限的练习题供应（“数据预算”）。你手中最关键的工具有一个：学习率（LR）。将学习率想象成学生在学习过程中迈出的步幅大小。

大步幅： 学生学得很快，但可能会 overshoot（冲过头）解决方案，或被噪声搞糊涂。
小步幅： 学生谨慎且精确，但可能需要花费永恒的时间才能完成。

多年来，研究人员一直靠猜测来确定随时间改变这些步幅大小的最佳方式（即“调度策略”），通常是通过试错法。本文利用数学方法，为特定类型的学习模型找到了完美且科学最优的调度策略。

以下是他们研究发现的拆解，使用了简单的类比：

1. 两种类型的谜题：“简单”与“困难”

作者发现，并非所有学习任务都是一样的。根据数据的性质，任务属于以下两类之一：

简单阶段（一帆风顺）：
- 类比： 想象沿着平缓、光滑的山坡向下走。你可以清晰地看到山底。
- 策略： 最佳策略是随着你越接近终点，采取逐渐变小的步幅。你以中等速度开始，然后慢慢减速至爬行，以确保你不会错过确切的位置。
- 现实世界示例： 论文发现，GPT 风格的语言模型（如那些撰写文本的模型）就表现出这种行为。随着训练时间的延长，最优的起始步幅需要变得越来越小。
困难阶段（崎岖的山脉）：
- 类比： 想象站在崎岖不平的悬崖上，试图在干草堆里找一根针。如果你迈小步，你会卡在岩石里；如果你迈巨大的步子，你会从悬崖上摔下去。
- 策略： 这里的最佳策略是预热 - 稳定 - 衰减（WSD）。
  1. 预热/稳定： 立即采取最大安全步幅，并在几乎整个旅程中保持恒定。你需要强力穿过噪声和崎岖的地形。
  2. 衰减： 只有在时间的最后极小部分，你才突然减速至爬行，以微调你的位置。
- 现实世界示例： 图像分类模型（如在照片中识别猫与狗）就表现出这种行为。最佳策略是在训练的大部分时间里保持高且稳定的学习率，然后在最后时刻将其降低。

2. 为什么“一刀切”会失败

一个常见的错误是认为，如果某个步幅大小适用于短期训练，那么只需将其按比例缩小，它就同样适用于长期训练。

论文的发现： 这是错误的。论文表明，“完美”的步幅大小完全取决于你计划训练的时间长度。
类比： 如果你要驾驶 10 英里，你可能会全程以 60 英里/小时的速度行驶。如果你要驾驶 1000 英里，你可能需要在前 900 英里以 80 英里/小时的速度行驶，然后减速。你不能对这两次行程使用相同的速度曲线；“调度策略”必须根据总距离进行调整。

3. 优化“班级规模”（批量大小）

论文还考察了批量大小（batch size），这就像学生一次学习的班级规模。

发现： 在“简单阶段”，你可以通过开始时使用小班，并随着接近终点逐渐增加班级规模，来加速整个过程（挂钟时间）。
类比： 想象一位老师。在开始时，他们教授一个小群体，以确保每个人都理解基础知识。随着学生们变得更加自信，老师引入更多学生以快速覆盖更多内容。这种“批量爬坡”节省了时间，而没有牺牲最终成绩。

4. “动量”助推

论文还测试了添加动量（一种让学生携带部分先前速度向前的技术）。

发现： 对于“困难”任务，仅仅改变步幅大小是不够的。你还需要动态调整动量（学生多大程度上依赖其先前的步伐）。
结果： 同时优化步幅大小和动量，使得模型能够比标准方法显著更快、更准确地解决“困难”谜题。

“配方”总结

论文提供了一份完美训练调度策略的理论配方：

识别你的任务： 它是“简单”的（如语言）还是“困难”的（如图像）？
如果是简单任务： 以中等步幅开始，并随时间逐渐衰减。你也可以随时间增加批量大小以节省时间。
如果是困难任务： 在几乎整个持续时间内保持步幅高且恒定，然后在最后时刻急剧下降。
不要猜测： 论文证明，这些特定的调度策略在数学上优于目前工业界使用的标准“恒定”或“简单幂律”调度策略。

简而言之，论文认为不存在一种单一的“最佳”模型训练方式。最佳方式取决于任务的难度，而我们现已拥有一张数学地图，可以为每种任务找到确切的路径。

技术摘要：随机特征模型的最优学习率调度理论与缩放律

问题陈述

训练深度学习模型需要选择超参数，如学习率（LR）、批量大小和训练时长。尽管经验性的“试错法”很常见，但关于最优超参数如何随训练时长 $T$ 缩放，目前缺乏理论理解。现有的跨模型规模迁移超参数的策略，往往无法在不同训练时长之间成功迁移。此外，尽管实践中使用了各种学习率调度方案（例如线性衰减、预热 - 稳定 - 衰减、余弦退火），但决定何种调度方案对特定任务最优的理论条件仍不明确。本文旨在解决这一需求，提供一个原则性框架，以推导依赖于训练时长和特定学习任务结构的最优学习率调度方案。

方法论

作者采用由随机梯度下降（SGD）训练的幂律随机特征模型，以推导最优超参数调度方案。该模型假设输入数据 $x$ 的目标函数为 $y(x) = w^* \cdot \psi(x) + \sigma_0 z$ ，其中特征 $\psi(x)$ 表现出幂律谱衰减（ $\lambda_k \sim k^{-b}$ ），教师权重满足 $(w^*_k)^2 \lambda_k \sim k^{-a}$ 。

核心方法论涉及最优控制理论：

动力学公式化：期望测试损失 $L_t$ 被推导为学习率调度 $\{\eta_t\}$ 和批量大小调度 $\{m_t\}$ 的函数。损失动力学由模式误差 $c_{t,k}$ 的线性递推关系控制。
优化目标：目标是在固定时长 $T$ $T$ 处最小化最终测试损失 $L_T$ $L_{T}$ 。作者提出了三个优化问题：
- 最优常数学习率。
- 最优学习率调度（时变 $\eta_t$ ）。
- 联合最优学习率与批量大小调度。
求解方法：
- 数值方法：使用单射击法（在 CasADi 中实现）求解有限 $T$ 的离散时间最优控制问题。
- 解析方法：利用诺特定理（Noether's theorem）和损失泛函的渐近分析，推导大 $T$ 下的连续时间近似。这涉及最小化积分学习率 $\chi(t) = \int_t^T \eta(s) ds$ 的泛函。

主要贡献与结果

1. 两个不同相的识别

分析揭示了最优学习率调度的两个不同机制，由谱指数 $a$ （任务难度）和 $b$ （特征复杂度）之间的关系决定：

易相（ $a > b$ ）：
- 最优调度遵循多项式衰减形式： $\eta^*_T(t) \sim T^{b/a - 1} f(t/T)$ ，其中 $f(z) \propto (1-z)^{2b-1}$ 。
- 学习率逐渐衰减，以在整个训练轨迹中平衡偏差与方差的降低。
- 损失缩放指数为 $\zeta_T = (a-1)/a$ ，与固定批量大小下的极小极大最优速率一致。
难相（ $a < b$ ）：
- 最优调度类似于预热 - 稳定 - 衰减（WSD）。它在大部分训练步骤中保持恒定的最大学习率（ $\eta_{max}$ ），随后在总时间的消失分数内（ $1 - t_s/T \sim T^{-(b-a)/(2b-1)}$ ）进入快速退火阶段。
- 该策略通过最大恒定学习率优先抑制偏差，将方差降低压缩至最后几步。
- 损失缩放指数提升至 $\zeta_T = (a-1)/b$ ，优于恒定学习率策略。

2. 优于基准

推导出的最优调度方案严格优于标准基准：

恒定学习率：最优调度在两个相中均实现了更好的缩放指数。
幂律调度：即使优化幂律调度（ $\eta \sim T^{-\xi} t^{-\delta}$ ）的指数，它们渐近地恢复与最优恒定学习率基线相同的缩放行为，未能匹配通过控制理论推导出的依赖于时长的最优调度的性能。

3. 学习率与批量大小的联合优化

作者将分析扩展到在固定数据预算 $B_{tot}$ 下联合优化 $\eta(t)$ 和 $m(t)$ ：

易相：“批量爬坡”（随时间增加批量大小）结合恒定最大学习率可减少挂钟时间。损失缩放为 $T^{-(a-1)/b}$ ，相比固定批量大小改善了挂钟时间指数，而样本预算指数保持为 $(a-1)/a$ 。
难相：联合优化产生的缩放指数与固定批量最优解相同，且批量大小保持有界。

4. 最优动量调度

对于涉及动量的任务，作者与 $\eta(t)$ 一起优化动量参数 $\beta(t)$ 。

在易相中，最优动量调度产生与最优 SGD 相似的缩放律。
在难相中，优化动量调度提供了超越仅使用 SGD 所能达到的缩放指数改进。最优动量动力学显示，初始瞬态下降，随后随着 $t/T \to 1$ 而增加。

5. 深度网络中的实证验证

理论相在深度学习基准上得到了验证：

CIFAR-5M 上的 ResNet：表现出难相行为。退火调度的最优基础学习率在不同时长下大致恒定，与 WSD 轮廓一致。
C4 上的 GPT-2 风格 Transformer：表现出易相行为。即使在退火情况下，最优基础学习率也随时长 $T$ 发生偏移（减小），与多项式衰减轮廓一致。

意义与主张

本文声称提供了理论基础，以解释为何学习率调度在不同任务和训练时长之间有所差异。通过在可解的随机特征模型上应用最优控制理论，作者证明了：

时长依赖性：最优学习率不能自动在不同训练时长之间迁移；调度方案必须基于 $T$ 显式设计。
任务结构：任务的“难度”（由谱指数 $a$ 和 $b$ 表征）决定了任务属于易相还是难相，从而决定了最优调度的形状（多项式衰减 vs. WSD）。
效率：依赖于时长的调度方案以及批量大小的联合优化，相比标准启发式方法，可显著改善缩放律并减少挂钟训练时间。

作者承认了局限性，指出其理论目前仅适用于懒惰/核机制下的线性模型，尚未解析推导难相中动量的具体改进指数，也未考虑 Adam 等复杂优化器或预处理方法。然而，这项工作为 WSD 等调度方案的有效性提供了原则性解释，并表明跨时长对基础学习率的经验性调整应考虑到模型和任务底层的谱特性。