🤖 machine learning

Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization

该论文介绍了 Hyperball，一种简单的优化器封装器，它通过将权重矩阵及其更新的 Frobenius 范数固定为常数值，从而解决了 Muon 等基于矩阵的优化器的性能扩展限制问题，并与标准的解耦权重衰减相比，在大型语言模型上实现了显著的等效 Token 加速和改进的学习率迁移。

原作者： Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大且复杂的机器人（大型语言模型）说人类语言。为了做到这一点，你使用了一个“老师”（优化器），它通过根据机器人的错误一步步调整机器人的内部设置（权重）。

长期以来，最好的老师是 AdamW。最近，一种被称为 Muon 的更快的老师被发现了。Muon 就像是一辆跑车，而 AdamW 则是轿车；它通常能让机器人学习得更快。

然而，这篇论文的作者发现了一个问题：随着比赛变得越来越长，跑车的速度会变慢。 当我们把机器人做得更大、给它更多的数据去学习时，Muon 相比于 AdamW 的领先优势从巨大的 30% 缩减到了微小的 10%。

作者们问道：我们能否让跑车在比赛规模变得巨大时依然保持高速？

他们的答案是一个名为 Hyperball 的新工具。

问题所在：“软”刹车

在标准的训练方法中，老师使用了一种技术叫做“权重衰减”（weight decay）。你可以把它想象成一个软性的、隐形的刹车，每一步都会轻轻地将机器人的设置向零的方向挤压。

目标： 这个刹车旨在防止机器人的设置变得过于狂野。
问题： 随着机器人变得越来越大，这个软性刹车变得难以预测。它不仅控制着设置的大小，还意外地改变了机器人学习新方向的速度。这就像是在驾驶一辆汽车时，刹车一直在不断改变踩下的力度，使得驾驶起来既难保持高速又难以走直线。

解决方案：“Hyperball”

Hyperball 是一个包裹在任何老师（如 Muon 或 Adam）之外的“外壳”，它改变了游戏的规则。它不再使用软性刹车，而是将机器人的设置放入一个巨大的、刚性的、隐形的球体（即“Hyperball”）之中。

以下是它的工作原理，使用一个简单的类比：

球体： 想象机器人的设置是漂浮在一个巨大沙滩球表面上的一个点。这个沙滩球的大小是固定的。这个点可以在表面上任何地方移动，但它不能靠近或远离球心。它与球心的距离始终保持完全相同。
步骤： 当老师想要做出某种改变时，它会告诉机器人：“朝这个方向移动。”
反弹： 机器人朝着那个方向迈出一步。如果这一步会将它推离沙滩球的表面，Hyperball 会瞬间将其弹回表面，使它与球心的距离保持恒定。

为什么这更好

通过强制设置保持在球体表面，Hyperball 将两个之前混淆在一起的东西分离开来：

大小： 设置的大小现在是固定且恒定的（就像沙滩球的半径）。
方向： 机器人可以完全专注于转向的方向。

论文认为，传统的“软刹车”（权重衰减）实际上是在间接地尝试做这件事，但过程非常混乱。Hyperball 则是直接去做这件事。

结果

作者在参数量高达 12 亿（这是一个非常大的规模）的模型上测试了它：

速度： 使用 Muon 配合 Hyperball，机器人的学习速度比标准方法快了 20–30%。这是一个巨大的进步，尤其是相比于旧的 Muon 方法，后者在这个规模下仅有约 10% 的增益。
稳定性： 调节不同模型规模的学习率变得更加容易。使用旧方法时，改变模型规模需要重新调整整个设置；而有了 Hyperball，同样的设置可以很好地适用于不同的规模，就像一把万能钥匙。

背后的理论

论文解释说，对于这类 AI 模型，设置所指向的方向才是学习的关键，而不是它们距离零的距离。

旧方法： 老师使用一个软性刹车来试图让距离保持在恰当的位置，希望这能让学习速度保持一致。
Hyperball 方法： 老师直接将距离锁定在从开始就设定好的完美固定大小。这让老师能够纯粹地专注于引导机器人转向正确的方向。

总结

Hyperball 是一个简单的技巧，它强制 AI 的内部设置保持固定的尺寸，就像一个在球面上移动的点。这消除了传统“刹车”方法带来的混乱，使得像 Muon 这样先进的优化器即使在 AI 模型规模变得极其庞大时，也能保持高效和快速。它将一个混乱、间接的过程变成了一个清晰、直接的过程。

技术摘要：Hyperball 优化

问题陈述

基于矩阵的优化器（如 Muon）在语言模型预训练期间展现出了优于 AdamW 的显著加速效果。然而，经验观察表明，随着模型规模和数据规模的增加，这些增益会逐渐减弱，尤其是在使用标准的恒定解耦权重衰减（decoupled weight decay）时。在大规模设置下（例如 1.2B 参数模型），Muon 相对于 AdamW 的加速比从约 30% 缩减到了约 10%。这种性能退化促使人们寻找一种能够在更高计算规模下保持高效率的优化策略。

核心问题在于解耦权重衰减的机制。在现代 Transformer（具有归一化层）中常见的尺度不变层（scale-invariant layers）中，权重衰减不仅起到了正则化的作用，还作为一种间接控制器，控制着“角学习率”（angular learning rate）——即权重矩阵方向变化的速率。理论分析表明，权重衰减驱动权重范数达到一个由超参数（ $\eta$ 和 $\lambda$ ）决定的平衡状态。这个平衡范数反过来又决定了有效的角步长。然而，这种间接校准在规模变化时可能会变得不再最优，从而导致观察到的优化器性能缩减。

方法论：Hyperball

作者提出了 Hyperball，这是一个简单的优化器包装器（wrapper），旨在解决权重衰减的扩展性限制。Hyperball 用对权重矩阵及其更新的 Frobenius 范数的显式约束，取代了通过权重衰减实现的隐式、软控制权重范数的方法。

核心机制

给定一个产生参数矩阵 $W_t$ 的更新量 $u_t$ 的基础优化器（如 Adam 或 Muon），Hyperball 强制执行两个条件：

权重矩阵的 Frobenius 范数 $\|W_t\|_F$ 被固定为一个常数半径 $R$ （初始化为初始权重的范数）。
更新方向被归一化，且步长被显式缩放。

更新规则定义为：
$W_{t+1} = R \cdot \text{Normalize}\left( W_t - \eta_t R \cdot \text{Normalize}(u_t) \right)$
其中 $\text{Normalize}(X) = X / \|X\|_F$ 。

从几何上看，这使得优化轨迹被约束在一个半径为 $R$ 的超球面表面上。每一步都沿着归一化的更新方向移动一段距离，该距离与 $\eta_t R$ 成正比，并立即被投影回球面上。这实现了权重的大小与更新方向的解耦，使得优化器能够主要通过权重方向进行导航。

实现细节

适用范围： Hyperball 应用于 prenorm Transformer 中的注意力权重矩阵和 MLP 权重矩阵。
排除对象： Embedding、归一化增益（normalization gains）以及标量参数使用标准优化器（如 Adam）进行更新，因为它们的范数携带语义信息。
复杂度： 将矩阵投影到 Frobenius 球面上是每个矩阵 $O(N^2)$ 的复杂度，这比需要 SVD 的谱范数（spectral norm）投影（ $O(N^3)$ ）计算成本更低。作者指出，在 LLM 中典型的的高稳定秩（high stable-rank）机制下，Frobenius 约束的行为与谱约束相似。

核心贡献

Hyperball 包装器： 一个通用的包装器，可以将任何基础优化器转换为具有固定权重和更新范数的变体。
理论洞察： 论文提供了一个理论框架，表明对于尺度不变损失，解耦权重衰减隐式地设定了一个平衡半径和一个角步长。Hyperball 通过直接固定半径 $R$ 和归一化更新长度，而非依赖权重衰减的平衡动力学，使这一机制变得显式化。
改进的扩展性： 研究表明，在标准权重衰减基准失效的更大规模下，该方法仍能保持优化器的加速效果。
学习率迁移性： 与权重衰减基准相比，Hyperball 显著提高了学习率在不同模型宽度和深度之间的可迁移性。

实验结果

作者在 Qwen3 风格的模型（高达 1.2B 参数）及更大规模（高达 8B 参数）上使用各种基准测试对 Hyperball 进行了评估。

Token 等效加速： 在 1.2B 参数模型上，Muon Hyperball (MuonH) 实现了相对于 AdamW 基准 20–30% 的 token 等效加速。相比之下，带有权重衰减的标准 Muon (MuonW) 在该规模下仅实现了约 10% 的加速。随着训练持续时间的增加，MuonH 与 MuonW 之间的差距进一步扩大。
基准测试表现：
- 在 Marin speedrun 基准测试中，AdamH 和 MuonH 达到了比其大约 10% 的权重衰减基准更优的表现。
- 在公开的 modded-nanogpt Track 3 优化基准测试中，Hyperball 变体（包括 KL-SOAP-H）比其权重衰减对应版本更快地达到了更低的验证损失。例如，KL-SOAP-H 在 3125 步时达到了 3.2780 的验证损失，超越了经过调优的 MuonW 基准。
超参数迁移：
- 深度缩放： 当深度从 4 扩展到 512 时，Hyperball 变体的最优学习率漂移量约为 1.4×，而 AdamW 和 MuonW 则为 2–4×。
- 宽度缩放： 同样，在宽度从 128 到 2048 的过程中，Hyperball 保持了稳定的学习率窗口，漂移仅为 1.4×。
过拟合设置： 在数据缩放实验（130M 参数模型，1B–128B tokens）中，MuonH 实现了比 MuonW 更低的渐近验证损失（ $L_\infty = 3.065$ 对比 $L_\infty = 3.079$ ）。

意义与主张

论文声称 Hyperball 为训练大型语言模型（特别是使用基于矩阵的优化器时）提供了一种更鲁棒且高效的替代方案，以取代解耦权重衰减。

显式控制： 通过显式固定权重范数和更新范数，Hyperball 消除了依赖权重衰减来间接调节角学习率的需求。这带来了更可预测的优化动力学。
可扩展性： 该方法成功地在模型和数据规模增加时，保留了基于矩阵的优化器（如 Muon）的效率增益，解决了当前预训练实践中的一个关键瓶颈。
设计选择： 作者将 Hyperball 视为一种设计选择，它将对权重衰减缩放的依赖（这会影响可迁移性）转化为一个显式参数（半径 $R$ ），从而提高了不同模型架构间的学习率迁移能力。
概念证明： 这项工作是一个概念证明，表明通过设计显式控制权重范数的优化器，完全可以移除权重衰减，这为归一化网络中的优化器设计提供了一个新方向。

作者对特定的约束选择保持谦逊，指出虽然 Frobenius 范数计算高效且具有理论依据，但其他约束（如谱约束、行约束、列约束）可能更适合特定的模型或优化器。他们也强调需要对权重归一化训练轨迹进行更深入的理论研究。