🤖 machine learning

On the Nonlinearity of Learning Rate Scaling for LLM Training

本文通过证明最优学习率在大规模情形下呈现出向上弯曲的特性，挑战了大型语言模型训练中对对数线性学习率缩放的假设，而这种非线性特征可以通过使用有效学习率和基于数据的外推法来解决，从而实现更准确且更具成本效益的迁移学习。

原作者： Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个巨型机器人写诗。为了做到这一点，你需要找到完美的“教学速度”（被称为学习率）。如果你教得太快，机器人会感到困惑；教得太慢，它则永远学不会。

通常情况下，为这样一个庞大的机器人寻找完美的最佳速度是非常昂贵且耗时的。因此，科学家们尝试使用一种捷径：先教一个微型机器人，弄清楚它的最佳速度，然后推测这个速度对于巨型机器人应该是多少。他们假设这种关系是简单的、笔直的，就像一把尺子：“如果机器人大了一倍，我们只需按固定比例调整速度即可。”

这篇由清华大学研究人员撰写的论文指出：“那把尺子其实是弯曲的。”

以下是他们利用简单的类比对这一发现进行的拆解：

1. 弯曲的尺子（问题所在）

研究人员通过训练不同规模的机器人（AI 模型，从小型到超大型）来测试这种“捷径”。他们发现，当你试图根据小型模型来预测巨型模型的最佳速度时，你的直线预测会失效。

类比： 想象你在开车。你知道如果行驶 10 英里，你会消耗 1 加仑汽油。你可能会猜行驶 100 英里会消耗 10 加仑。但如果汽车变得越来越大、越来越重，引擎的效率会下降呢？你实际上可能需要超过 10 加仑。
发现： “学习率”并不遵循直线。当模型变得巨大时，最佳速度会向上弯曲。如果你使用旧的直线预测，你选出的速度会太慢，导致巨型机器人的学习效果很差。

2. 神秘指南针：“有效学习率”

研究人员意识到，问题不在于速度本身，而在于我们如何衡量它。他们引入了一个新概念，叫做有效学习率（Effective Learning Rate）。

类比： 把“学习率”想象成汽车仪表盘上的时速表。但“有效学习率”则是你的车实际向前移动的距离。
- 有时，即使你踩下油门（设置高学习率），但如果车很重或者轮子在打滑（由于 AI 内部权重变化的原因），车实际移动的距离并不会像时速表显示的那样远。
- 研究人员发现，如果你测量的是实际移动的距离（有效速率）而不是仅仅看时速表的读数，那么这种关系就会重新变成一条完美的直线。这就像是从一个损坏的时速表切换到了一个能精确告诉你行驶了多远的 GPS。

3. 最好的捷径：看数据，而非规模

论文还测试了两种预测方法：

模型规模缩放（Model-Size Scaling）： 根据机器人的大小来猜测速度。
数据缩放（Data-Scaling）： 根据机器人需要阅读的“文本”（数据）量来猜测速度。

发现： “数据缩放”方法要好得多。
类比： 想象你在教一名学生。
- 方法 A（规模）： 你根据学生的身高来猜测该教多快。（这是不可靠的；高个子学生可能学得和矮个子一样快）。
- 方法 B（数据）： 你根据他们要阅读的教科书页数来猜测该教多快。（这要准确得多）。
- 论文表明，基于数据量进行预测比基于模型大小进行预测要可靠得多。

4. 为什么会出现曲线？（“沉降”阶段）

作者解释了直线为什么会弯曲。他们发现，当你使用非常慢的学习率时，机器人的内部“肌肉”（权重范数/weight norms）需要很长时间才能放松并进入舒适的位置。

类比： 想象一扇带有弹簧的重门。
- 如果你用力推（快速学习率），它会迅速打开并稳定下来。
- 如果你推得很轻（慢速学习率），它甚至要花很长时间才能开始移动。它会陷入一个“瞬态”阶段，即虽然在晃动，但并没有真正向前移动。
- 为了让门在轻推时有效移动，你实际上需要比简单数学计算出的力量更大，才能克服最初的这种晃动。这种“额外的推力”就是为什么曲线会针对大模型向上弯曲的原因。

核心结论

论文得出结论，为了在训练大规模 AI 时节省成本和时间：

不要信任旧有的“直线”数学模型来预测学习率；它低估了大模型所需的学习速度。
将重心转向有效学习率（关注实际移动，而非仅仅是设置值）。
基于模型看到的数据量来预测速度，而不仅仅是看模型的大小。

通过这样做，你可以更准确地预测完美的训练速度，从而节省大量的计算资源。

技术摘要：论大语言模型训练中学习率缩放的非线性

问题陈述

高效训练大语言模型（LLMs）需要精细的超参数调优，然而直接在目标规模下进行学习率搜索往往成本过高。因此，从业者依赖于超参数迁移，即基于小规模运行来预测大规模模型的最佳设置。该领域的一个普遍假设是，最优学习率 ( $\eta^*$ ) 与数据规模 ( $D$ ) 和模型大小 ( $N$ ) 之间遵循对数线性（幂律）缩放关系：
$\log \eta^*(D, N) = a \log D + b \log N + c$
然而，现有研究往往未能严格评估这种对数线性假设是全局成立还是仅局部成立，并且经常忽略了拟合这些缩放法则所需的计算成本。本文研究了这种缩放法则的有效性，以及不同外推策略（数据轴 vs. 模型轴）和参数化方式（学习率 vs. 有效学习率）的效率。

研究方法

作者使用 GPT-2 风格架构（参数量从 22M 到 707M 不等）在 FineWeb-100B 数据集上进行了系统性的实证研究，Token 总预算从 5B 到 100B 不等。

实验设计：
- 模型使用 AdamW 进行训练，采用固定 Batch Size（0.52M tokens）和预热-稳态-衰减（WSD）调度方案。
- 在对数网格（ $\log_2 \eta \in [-16, -7]$ ）上进行学习率搜索。
- 最优学习率 ( $\eta^*$ )： 通过将验证损失作为 $\log \eta$ 的函数进行三次多项式拟合来估计。
- 有效学习率 ( $\eta_{eff}$ )： 定义为归一化权重空间中的步长： $\eta_{eff}(t) = \|\hat{w}_{t+1} - \hat{w}_t\|_2$ ，其中 $\hat{w} = w/\|w\|_2$ 。最优有效学习率 ( $\eta^*_{eff}$ ) 也进行了类似的估计。
评估指标：
- 分布外 $R^2$ ( $R^2_{OOD}$ )： 衡量缩放法则在未见规模上的预测准确度。
- 额外计算比 (ECR)： 量化在使用预测的学习率而非真实最优学习率以达到相同验证损失时所产生的额外计算成本。
- 计算受限外推： 作者比较了在相同计算预算下，沿数据轴（固定大 $N$ 改变 $D$ ）与沿模型轴（固定大 $D$ 改变 $N$ ）进行外推的表现。
理论分析：
- 本文分析了 AdamW 的隐式动力学，特别是原始学习率 $\eta$ 与有效学习率 $\eta_{eff}$ 之间的关系，并考虑了权重范数的瞬态行为。
- 实验使用 AdamH（一种显式控制 $\eta_{eff}$ 的优化器）进行了重复，以分离权重范数动态的影响。

核心结果

1. 最优学习率的非线性

研究发现，最优学习率 $\eta^*$ 并不遵循全局对数线性缩放法则。

向上曲率： 随着数据规模 $D$ 和模型大小 $N$ 的增加， $\eta^*$ 表现出系统的向上曲率。从小规模进行的对数线性外推一致地低估了大规模下的最优学习率。
有效学习率的线性： 相比之下，最优有效学习率 ( $\eta^*_{eff}$ ) 在相同的范围内表现出显著更多的线性缩放行为，具有更高的皮尔逊相关系数。

2. 数据轴外推的优越性

在固定计算预算下比较外推策略时：

数据轴 vs. 模型轴： 沿数据规模轴 ( $D$ ) 拟合缩放法则比沿模型规模轴 ( $N$ ) 得到的预测更加准确。
计算效率： 使用基于有效学习率的数据轴外推，相对于使用真实的、最优的学习率，仅产生了约 2% 的额外计算量。这还不到在目标规模下进行完整超参数搜索所需计算量的 20%。

3. 机制解释

论文将 $\eta^*$ 的非线性归因于 AdamW 中权重范数的瞬态动力学：

两个阶段： $\eta$ $η$ 与 $\eta_{eff}$ $η_{e f f}$ 之间的关系取决于权重范数 $\|w_t\|$ $∥ w_{t} ∥$ 是否已达到平衡。
- 平衡阶段： $\eta_{eff} \propto \sqrt{\eta}$ （在对数-对数空间中斜率为 2）。
- 前平衡阶段： $\eta_{eff} \propto \eta$ （在对数-对数空间中斜率为 1）。
规模影响： 随着更大规模的模型/数据导致最优学习率降低，训练时长通常仍处于前平衡阶段（即权重范数尚未放松）。这改变了有效步长的动力学，从而导致了观察到的 $\eta^*$ 向上曲率。
通过 AdamH 验证： 当使用 AdamH 来显式控制 $\eta_{eff}$ 时，缩放法则变得严格呈对数线性，这证实了标准 AdamW 中的非线性源于 $\eta$ 与 $\eta_{eff}$ 之间隐式的、随时间变化的映射。

意义与主张

作者提出了三个主要贡献：

经验修正： 本文证明了标准的学习率对数线性缩放法则仅是局部性质，由于存在向上曲率，它在更大规模下会失效，从而导致不准确的外推。
实用的迁移策略： 作者确定了两种能显著改善超参数迁移的选择：
- 使用有效学习率 ( $\eta_{eff}$ ) 而非原始学习率来对缩放法则进行参数化。
- 沿数据轴 ( $D$ ) 而非模型规模轴 ( $N$ ) 进行外推。
理论洞察： 提供了一个关于非线性的机制解释，将其与 AdamW 中权重范数的瞬态行为联系起来。作者认为， $\eta_{eff}$ 是在尺度不变架构中主导优化动力学的更基本的量。

作者指出了一些局限性，包括研究重点在于 GPT-2 架构和 AdamW、依赖三次拟合进行 $\eta^*$ 估计，以及分析范围仅限于高达 100B tokens 和 707M 参数的规模。他们并未声称这些发现可以在未经进一步验证的情况下自动推广到所有架构或优化器。