🤖 machine learning

Optimistic Dual Averaging Unifies Modern Optimizers

本文介绍了 SODA，它是乐观对偶平均的一种推广，将 Muon 和 Lion 等现代优化器统一于单一框架之下，并提供一个实用的包装器，可自动消除权重衰减调参的需求，同时在各种训练规模下持续提升性能。

原作者： Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个庞大而复杂的机器人（即深度学习模型）如何行走。该机器人通过迈步来学习，但有时会绊倒、跨步过大，或被嘈杂的指令搞得晕头转向。为了帮助它更快、更稳定地学习，工程师们会使用“优化器”——这些是决定每一步应有多大、朝哪个方向走的数学配方。

在过去十年里，研究人员发明了许多新颖的配方（如 Adam、Lion、Muon 和 NAdam）。每种配方都有其独门秘方，但它们似乎都因不同原因而表现良好。问题在于，调整这些配方就像在没有食谱的情况下试图烤出一个完美的蛋糕：你必须为每一个新的模型规模和训练时长，猜测合适的“权重衰减”（一个防止机器人行为失控的旋钮）的数值。

本文介绍了SODA（随机乐观对偶平均）。请将 SODA 视为一种通用烘焙封装器，而非一种新的蛋糕配方；你可以将它套用在任何现有配方之上，使其自动表现更佳。

以下是其工作原理的分解，辅以简单类比：

1. “乐观”的前瞻

大多数优化器就像只盯着正前方道路的司机。他们看到颠簸，做出反应并转向。
SODA则像一位会略微向前看的司机。它利用一种称为“乐观”的技术，在到达之前预测道路将要呈现的状态。

类比：想象你正走在走廊里。标准优化器会等到你撞上墙才转向。而“乐观”优化器会提前看到墙，稍微前倾，并在你撞上之前就转向。这防止了机器人左右摇摆，使其移动更平滑、更迅速。

2. “对偶平均”的记忆

优化器还需要记住过去。它们是记住曾经迈出的每一步，还是只记住最后一步？
SODA使用一种称为“对偶平均”的方法。它不仅仅对当前步骤做出反应，而是保持对其所感受到的所有“推力”（梯度）的累积平均值。

类比：想象一位徒步者试图在雾蒙蒙的山谷中找到最低点。
- 标准优化器：“我感觉左边有下坡，所以我向左走一步。”
- SODA：“十步之前我感觉左边有坡，五步之前感觉右边有坡，而此刻又感觉左边有坡。如果我将所有这些‘感觉’取平均，真正的路径实际上是略微偏左前方。”
  通过对时间上的“感觉”（梯度）进行平均，SODA 过滤掉了噪声，更可靠地找到了真正的路径。

3. “魔法封装器”（无需再调整）

AI 工程师最大的头疼问题是权重衰减。这是一个设置，像一条“牵引绳”一样，防止机器人的步伐变得过于狂野。

旧方法：你必须猜测完美的牵引绳长度。如果机器人很小，你需要短绳；如果机器人巨大，你需要长绳。如果你训练时间很长，还需要再次调整牵引绳长度。这是一场持续的猜测游戏。
SODA 方法：作者发现，如果你用 SODA 封装任何优化器（如 Adam 或 Muon），你就不再需要猜测牵引绳长度了。
- SODA 根据一条简单规则自动调整牵引绳：1 除以目前已采取的步数。
- 类比：想象一条随着你行走距离增加而自动缩短的牵引绳。你无需握住牵引绳；牵引绳确切地知道在第 1 步、第 100 步或第 10,000 步时应该有多紧。

4. 他们证明了什么？

该论文声称，SODA 将许多现代最佳优化器（如 Muon、Lion 和 NAdam）统一在一个单一的数学框架之下。它表明，这些不同的“花哨”方法实际上只是同一“乐观平均”思想的特殊版本。

结果：

性能提升：当作者用 SODA 封装流行优化器时，模型学习得更快，并达到了更低的误差率。
无需额外工作：他们无需调整任何新旋钮。只需应用该封装器即可。
超越最佳：在他们的测试中，SODA 甚至击败了原始优化器的“最佳调优”版本。原始优化器需要人类仔细调整权重衰减才能获得良好结果；而 SODA 自动完成这一过程，且做得更好。

总结

将SODA想象成一种“智能自动驾驶仪”，你可以将其安装在任何现有的汽车引擎（优化器）上。

它向前看（乐观）以避免颠簸。
它记住旅程（平均）以保持航向。
它根据你已行进的距离自动调整刹车（权重衰减），因此你无需猜测该用多大力度刹车。

该论文得出结论，这种简单、自动的调整使大型 AI 模型的训练更加稳定、快速，且更少依赖人类的猜测。

技术摘要：乐观对偶平均统一了现代优化器

问题陈述

深度学习优化沿着两个主要维度演进：几何与自适应（设计具有隐式范数或反映模型结构的预条件器的更新，例如 Adam、Muon）以及成分的组合（结合梯度反馈、动量和调度以实现稳定性，例如 Lion、无调度方法）。尽管许多最先进优化器（如 Muon、Lion、AdEMAMix 和 NAdam）看似截然不同，但它们缺乏一个统一的理论框架来解释其相互关系并为超参数调整提供原则性指导。

一个具体且持续的挑战是权重衰减的调优。在多轮次训练中，权重衰减作为约束迭代范数的正则化项发挥作用。然而，即使在过拟合问题较少的单轮次训练中，权重衰减通常仍然有益。最近的缩放规则建议将权重衰减设置为与 $1/d$ （模型维度）成正比，但区分对模型维度 $d$ 与训练时长 $n$ 的依赖关系十分困难。此外，不同优化器的最佳权重衰减值差异显著（例如，Lion 需要的衰减幅度远大于 AdamW），这导致了针对每个优化器进行昂贵调优的需求。

方法论：SODA

作者引入了SODA（随机乐观对偶平均），这是对偶平均（ODA）的推广，统一了梯度的对偶处理和迭代的原始处理。

理论框架

SODA 通过引入原始外推序列 $(y_k)$ 和乐观对偶变量 $(\bar{m}_{k+1})$ ，推广了标准的对偶平均更新：
$x_{k+1} \in \arg \min_{x \in X} \gamma_k \langle d_k, x \rangle + h_k(x)$
该算法维护：

对偶处理：基于动量的梯度平均 $m_{k+1}$ 和乐观平均 $\bar{m}_{k+1}$ ，后者结合了当前梯度 $\nabla f(y_k, \xi_k)$ 。
原始处理：迭代更新 $x_{k+1}$ 和外推点 $y_{k+1}$ ，由参数 $\lambda_k$ 和 $\bar{\lambda}_k$ 控制。

更新规则如下：
$\begin{aligned} m_{k+1} &= (1 - \alpha_k)m_k + \alpha_k \nabla f(y_k, \xi_k) \\ \bar{m}_{k+1} &= (1 - \bar{\alpha}_k)m_{k+1} + \bar{\alpha}_k \nabla f(y_k, \xi_k) \quad (\text{乐观}) \\ z_{k+1} &\in \partial h_k^*(-\gamma_k \bar{m}_{k+1}) \\ x_{k+1} &= (1 - \lambda_k)x_k + \lambda_k z_{k+1} \\ y_{k+1} &= (1 - \bar{\lambda}_k)x_{k+1} + \bar{\lambda}_k z_{k+1} \quad (\text{原始外推}) \end{aligned}$
其中 $h_k$ 是定义几何结构的正则化项（镜像映射）（例如，Lion 使用 $\ell_\infty$ ，Muon 使用谱几何）。

现有优化器的统一

论文证明，通过选择特定的参数和几何结构，SODA 可以将几种现代优化器恢复为特例：

NAdam / Lion / Muon：这些在“现代化”机制下被恢复，其中 $\bar{\lambda}_k = 0$ $\overset{ˉ}{λ}_{k} = 0$ （梯度评估点无原始外推）且 $\bar{\alpha}_k > 0$ $\overset{α}{ˉ}_{k} > 0$ （乐观）。
- Lion：使用 $\ell_\infty$ 几何（ $h_k = K^*$ ）和特定的动量参数。
- Muon：使用谱几何和 Nesterov 动量（ $\bar{\alpha}_k = \alpha_k$ ）。
- NAdam：使用带有自适应缩放的平滑 $\ell_\infty$ 几何。
论文中的表 1明确将这些方法映射到其对应的梯度平均（ $\alpha_k$ ）、乐观（ $\bar{\alpha}_k$ ）和几何（ $h_k$ ）选择。

SODA 包装器

一个关键的实践贡献是SODA 包装器（算法 1），它可以包装任何基础优化器（例如 Adam、Lion、Muon），而无需引入新的超参数。

配置：它设置 $\bar{\lambda}_k = 0$ （匹配“现代化”机制），使用均匀迭代平均 $\lambda_k = 1/(k+2)$ ，并缩放步长 $\gamma_k = (k+2)\eta_k$ 。
消除权重衰减：该包装器将更新锚定在初始化点 $z_0$ 而非原点。由此产生的更新规则有效地实现了 $\mu_k = 1/(k+2)$ 的权重衰减调度。
解释：作者认为，在此框架下，权重衰减不仅仅是一种正则化项，更是一种原始平均的形式。这种有理论依据的 $1/k$ 衰减消除了单独调优权重衰减超参数的需求。

主要贡献

通过乐观和对偶化实现统一：SODA 提供了一个单一模板，将 Muon、Lion、NAdam 等恢复为对偶平均的乐观实例，阐明了它们的结构关系。
理论保证：该框架导出了超参数选择（特别是 $1/k$ 衰减调度），这些选择在 $L$ -平滑凸函数的收敛分析中具有理论依据。它将权重衰减重新框架化为原始平均机制。
无参数包装器：提出的 SODA 包装器消除了为任何基础优化器调优权重衰减的需求，同时保持或提升了性能。
实证验证：广泛的实验表明，在不同模型规模和训练时长下均有一致的改进。

实验结果

实验在nanoGPT上使用FineWeb100数据集进行，比较了 SODA 包装优化器与经过调优的基线。

跨时长迁移：发现 Muon 的最佳权重衰减随训练时长的增加而减小，这与静态缩放规则（如 $1/d$ ）相矛盾。SODA 包装器的动态 $1/(k+2)$ 衰减即使在 Muon 拥有其最佳调优权重衰减的情况下，也始终优于 Muon（图 1）。
通用适用性：该包装器在不进行任何额外调优的情况下，提升了Adam、Muon和Scion在不同训练时长（1 $\times$ 和 4 $\times$ Chinchilla 步数）下的性能（图 2）。
缩放：当模型规模从 64M 扩展到 1B 参数（遵循 Chinchilla 缩放规则）时，SODA（特别是乐观变体SODA $^\dagger$ ）始终优于基础优化器（Scion/uScion），且随着模型规模增大，性能差距进一步扩大（图 4）。
简化：SODA $^\dagger$ 配置通过将 Adam 替换为 Lion 用于所有层并使用单一动量超参数，简化了 Muon 基线，同时实现了具有竞争力或更优越的性能。

意义与主张

论文声称，SODA 提供了一种原则性机制，用于在不同训练时长和模型规模之间转移优化策略，而无需进行超参数调优。

重新框架化权重衰减：作者提出视角的转变：权重衰减不应仅被理解为对抗过拟合的正则化项，而应被视为一种原始平均形式，它将优化轨迹锚定在初始化点上。
实际影响：通过将现代优化器统一在 SODA 框架下，作者提供了一个“即插即用”的包装器，消除了繁琐且昂贵的权重衰减调优过程，随着模型规模增大使得手动调优变得极其昂贵，这一点尤为关键。
谦逊：作者承认局限性，指出其理论分析目前仅限于凸设置（尽管对深度学习具有实证指导意义），并专注于单轮次训练。他们建议，由于过拟合问题，多轮次训练可能仍然需要调节正则化强度的超参数。

总之，SODA 通过乐观对偶平均的视角统一了现代优化器的设计空间，并提供了一种有理论依据、无参数的方法，以跨规模提升训练稳定性和性能。