🤖 machine learning

Learning Rate Transfer in Normalized Transformers

本文介绍了 $\nu$ GPT，这是一种新型归一化 Transformer 参数化方法，它利用对齐指数实现了跨模型宽度、深度和词元跨度的学习率迁移，从而解决了原始 nGPT 的一个关键局限性。

原作者： Boris Shigida, Boris Hanin, Andrey Gromov

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Boris Shigida, Boris Hanin, Andrey Gromov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《归一化 Transformer 中的学习率迁移》的解释。

全景图：“金发姑娘”难题

想象你正在烤一个巨大的蛋糕（一个庞大的 AI 模型）。你有一份制作小纸杯蛋糕（一个微小模型）的食谱。你确切地知道多少糖和热量（超参数，如学习率）适合那个小纸杯蛋糕。

问题在于？如果你盲目地将配料加倍以制作更大的蛋糕，它可能会烤焦或保持生熟。在 AI 领域，当研究人员将模型做得更大（更宽或更深）时，小模型的“完美”设置通常不再适用于大模型。你必须从头开始并猜测新的设置，这既缓慢又昂贵。

这篇论文介绍了一种烘焙这些“蛋糕”（称为nGPT模型）的新方法，使得你在小模型上找到的设置无需任何额外猜测就能完美适用于巨型模型。他们将这种新食谱称为νGPT（发音为"nu-GPT"）。

配料：什么是 nGPT？

首先，作者们正在研究一种特定类型的 AI，称为nGPT（归一化 Transformer）。

旧方法：传统的 AI 模型就像一辆拥有极其敏感引擎的汽车。如果你猛踩油门（高学习率），引擎会爆炸。如果你踩得太轻，它哪儿也去不了。为了保持安全，你需要一个名为“权重衰减”的“刹车”，并且需要在快速行驶前缓慢地“预热”引擎。
nGPT 方法：nGPT 模型就像一辆拥有自稳定悬挂系统的汽车。它能自然地保持速度和平衡。因此，它不需要“刹车”（权重衰减）或“预热”。它的训练速度更快，效率更高。

但有个陷阱：尽管 nGPT 很棒，但作者发现其“速度设置”（学习率）仍然无法很好地迁移。如果你为一个小 nGPT 调整了速度，然后试图将这些相同的设置用于一个巨大的 nGPT，大模型的表现会很差。

解决方案：νGPT 食谱

作者们创建了νGPT。你可以将其视为一套关于如何根据蛋糕大小调整配料的新说明。

他们发现了三条具体规则，使设置能够完美“迁移”：

1. 令牌地平线规则（“距离”规则）

概念：想象你在教一只狗。如果你只带它散步 10 分钟，你可以跑得快。如果你计划带它散步 10 小时，你需要开始慢一点，这样它才不会精疲力竭。
发现：论文发现，随着 AI“行走”的时间更长（处理更多的数据令牌），学习率不应像人们认为的那样快速下降。它不应像沉重的石头一样坠落，而应像羽毛飘落一样下降。
数学：他们发现速度应按行走时间的立方根（具体为 $1/3$ 次幂）降低，而不是其他理论建议的平方根（ $1/2$ 次幂）。

2. 宽度规则（“团队规模”规则）

概念：想象一个合唱团。如果你将歌手数量（宽度）加倍，声音会变大。如果你不调整指挥的音量（学习率），合唱团可能会变得太吵而失真，或者太安静而听不见。
发现：作者们意识到，在这些特定模型中，“声音”（激活值）和“歌手”（权重）并没有完美对齐。它们是部分对齐的。
修正：他们调整了模型隐藏部分的学习率，使其随着模型变宽而按特定量（ $3/4$ 次幂）下降。这与之前的理论（如 $\mu$ P）不同，后者假设声音和歌手是完美对齐的。通过假设它们只是部分对齐，他们找到了一个效果更好且更完美的“甜蜜点”。

3. 深度规则（“层”规则）

概念：想象一场接力赛。如果你在团队中增加更多的跑步者（层），接力棒的传递是变快还是变慢？
发现：令人惊讶的是，对于这种特定类型的模型，随着你增加更多层，隐藏层的学习率不需要做太多改变。模型天生就是稳定的。然而，他们确实发现，为了保持比赛顺畅，第一层和最后一层的“起始”设置（初始化）需要进行微小的调整。

结果：为什么这很重要

作者们将这种新的νGPT食谱与旧食谱进行了测试。

旧方法（nGPT）：当他们把模型做大时，性能曲线变得混乱。小模型的“最佳”学习率是大模型的“最差”学习率。
新方法（νGPT）：当他们把模型做大时，性能曲线是完美的。适用于小模型的学习率也适用于大模型，而且大模型的表现与从头开始调整设置一样好（甚至略好）。

总结类比

将学习率想象成收音机上的音量旋钮。

旧理论：“如果你买了一个更大的扬声器（更宽的模型），你必须将音量旋钮调低一半。”
论文的发现：“实际上，由于这种特定扬声器的运作方式，你只需要将音量旋钮调低一个特定的、经过计算的数量（ $3/4$ 规则）就能获得完美的声音。如果你遵循这个规则，你可以买一个比原来大 100 倍的扬声器，而相同的音量设置听起来依然完美。”

他们没有声称的内容

他们没有说这会让 AI 变得更聪明或能够做新事情（比如治愈疾病）。
他们没有说这适用于所有类型的 AI 模型（它专门针对归一化 Transformer/nGPT）。
他们没有声称这完全消除了对调整的需求；它只是意味着你可以调整一个小模型，并相信它会适用于大模型。

简而言之：这篇论文提供了一份数学“翻译指南”，让工程师能够有信心地将小型、快速 AI 的设置应用到大型 AI 上，从而节省时间和计算能力。

以下是论文《归一化 Transformer 中的学习率迁移》（Shigida、Hanin 和 Gromov 著）的详细技术总结。

1. 问题陈述

本文探讨了归一化 Transformer（nGPT）中的超参数（HP）迁移挑战，nGPT 是由 Loshchilov 等人（2025）提出的 Transformer 架构变体。

背景： nGPT 通过广泛归一化权重和激活值（使用 $\ell_2$ -范数替代 LayerNorm/RMSNorm），实现了显著的训练加速，并消除了对权重衰减和学习率预热的需求。
问题： 尽管 nGPT 拥有随模型规模变化的超参数，但作者观察到它在模型宽度（维度）、深度（层数）和 Token 跨度（训练迭代次数）之间未能表现出学习率迁移。
现有方法的局限性： 标准的迁移技术（如 $\mu$ P（最大更新参数化））依赖于关于权重和激活对齐的特定理论假设（具体而言，即它们以特定方式完全对齐或不对齐）。作者发现这些假设在 nGPT 中不成立，导致在扩展规模时性能次优。

2. 方法论

作者提出了一种名为 $\nu$ GPT（nu-GPT）的新参数化方法。其方法结合了数值实验与基于对齐指数（Everett 等人，2024）的原则性理论框架。

A. 理论框架：对齐指数

作者没有采用 $\mu$ P 中使用的“完全对齐”（ $\alpha=1$ ）或“无对齐”（ $\alpha=1/2$ ）机制，而是通过实验测量对齐指数（ $\alpha, \omega, \nu$ ），这些指数描述了权重更新和激活值相对于模型维度 $d_{model}$ 的缩放方式。

他们定义了矩阵 - 向量乘积变化量的缩放指数： $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ 。
关键发现： 在 nGPT 中观察到“中等对齐”机制，其中 $\max\{\alpha, \nu\} \approx 3/4$ 。这与 $\mu$ P 假设的 $\max\{\alpha, \nu\} = 1$ （完全对齐）或 $1/2$ （无对齐）相矛盾。

B. $\nu$ GPT 参数化

基于“中等对齐”假设（ $\max\{\alpha, \nu\} = 3/4$ ）和实验缩放定律，作者推导出了学习率（ $\eta$ ）和初始化参数的具体缩放规则。设 $m_{width}$ 、 $m_{depth}$ 和 $m_{data}$ 分别为相对于基础模型的宽度、深度和 Token 数量的乘数。

$\nu$ GPT 中的关键缩放规则：

全局学习率： 按 $m_{data}^{-1/3}$ 缩放。这修正了 Token 跨度的影响，不同于某些基于随机微分方程（SDE）的先前理论所建议的 $m_{data}^{-1/2}$ 。
嵌入权重（ $\eta_{input}$ ）： 按 $m_{width}^{-1/2}$ 缩放。
隐藏/解嵌入权重（ $\eta_{hidden}, \eta_{output}$ ）： 按 $m_{width}^{-3/4}$ 缩放。这是与 $\mu$ P 的关键偏差（ $\mu$ P 根据变体不同使用 $m_{width}^{-1}$ 或 $m_{width}^{-1/2}$ ）。
深度修正：
- 可训练重缩放向量 $\alpha_{A, init}$ 和 $\alpha_{M, init}$ 按 $m_{depth}^{-1}$ 缩放。
- 与“深度- $\mu$ P"（将隐藏学习率按 $m_{depth}^{-1/2}$ 缩放）不同， $\nu$ GPT 发现在 nGPT 中隐藏学习率不应随深度缩放，因为可训练重缩放器自然地处理了深度稳定性。
初始化常数： 对于尺度参数（ $\alpha_{scale}$ ）使用固定常数（例如 0.03），而不是随 $d_{model}^{-1/2}$ 缩放。

3. 主要贡献

识别 $\mu$ P 在 nGPT 中的失效： 证明了关于权重 - 激活对齐的标准 $\mu$ P 假设对于归一化架构无效，导致学习率迁移效果不佳。
提出 $\nu$ GPT： 引入了一种新的参数化方法，明确针对在 nGPT 中观察到的“中等对齐”机制（ $\approx 3/4$ ）。
Token 跨度缩放： 确立了 nGPT 中最优学习率随 Token 数量按 $T^{-1/3}$ 缩放，修正了先前 $T^{-1/2}$ 的理论预测。
深度迁移洞察： 表明对于带有可训练重缩放器的归一化模型，显式地对隐藏学习率进行深度缩放是不必要且可能有害的；相反，对重缩放器的初始化进行缩放就足够了。

4. 实验结果

作者在 FineWeb-Edu 数据集上使用 OLMo 2 Tokenizer 验证了 $\nu$ GPT。

宽度迁移：
- 基线 nGPT： 未表现出学习率迁移；随着宽度增加，性能下降。
- $\mu$ P 风格修正： 最优学习率显示出轻微漂移。
- $\nu$ GPT： 在宽度上实现了完美的学习率迁移（从 0.26B 到 3.22B 参数），与调优后的基线相比，验证损失没有损失。
深度迁移：
- 基线 nGPT 显示出不错的深度迁移，但在极端深度下变得不稳定。
- $\nu$ GPT 在深度（8 到 128 层）上保持了稳定性和性能，显示出在大深度下对学习率选择的敏感性更低。
Token 跨度迁移：
- 实验证实，随着训练迭代次数的增加，最优学习率遵循 $T^{-1/3}$ 缩放定律。
对齐指数验证：
- 实验测量证实 $\omega_{hidden} = \omega_{output} = 1/2$ 且 $\max\{\alpha, \nu\} \approx 0.75$ （中等对齐），验证了 $\nu$ GPT 的理论基础。

5. 意义

实际影响： $\nu$ GPT 允许研究人员通过在小模型上调整超参数并将其直接迁移到大规模模型来训练大规模归一化 Transformer，从而节省大量计算资源。
理论进步： 本文挑战了 $\mu$ P 的普适性，证明了不同的架构选择（特别是归一化方案）需要不同的对齐假设和缩放定律。
效率： 通过消除对权重衰减和预热的需求，同时实现稳健的扩展， $\nu$ GPT 为下一代基础模型提供了更 streamlined 和高效的训练流程。

总之，本文提供了一个严谨的、基于实证的方法来解决归一化 Transformer 中的扩展问题，用尊重归一化架构独特动态的定制参数化（ $\nu$ GPT）取代了“一刀切”的 $\mu$ P 方法。