Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

技术摘要：为何 Adam 在 $\beta_1 = \beta_2$ 时表现更优

问题陈述
尽管 Adam 作为大规模神经网络训练的首选优化器已近十年，但一个持续的实证观察仍未得到解释：当动量参数设置为相等（$\beta_1 = \beta_2$）时，训练稳定性和验证性能往往会提升。虽然近期研究（例如 Orvieto 和 Gower [2025]）已在各种架构中记录了这一现象，但为何这种特定配置能产生更优的行为，以及它如何与优化器的内部动态相关联，此前尚无严谨的理论解释。此外，现代优化器设计中的一个并行趋势（例如 Lion、Muon、Scion）涉及显式地强制实现尺度鲁棒更新，然而这些新方法与 Adam 的“平衡”区域之间的联系一直尚不明确。

方法论
作者引入了一种称为梯度尺度不变性（gradient scale invariance）的结构属性来分析 Adam 的动态。他们将这一概念形式化如下：如果一个优化器在将当前梯度按正因子 $\lambda$ 重新缩放（同时保持内部状态固定）时，更新向量基本保持不变，则该优化器具有梯度尺度不变性。

为了研究这一问题，作者对 Adam 算法采用了连续时间极限分析。他们将 Adam 建模为由常微分方程（ODEs）支配的动力系统的离散时间近似。通过引入与离散参数 $\beta_1$ 和 $\beta_2$ 对应的弛豫时间 $\tau_1$ 和 $\tau_2$（通过 $\beta_i = e^{-\Delta t/\tau_i}$ 关联），他们推导出了关于一阶矩和二阶矩（$m(t)$ 和 $v(t)$）的连续时间流。

分析的核心在于将归一化更新向量 $R(t) = m(t)/\sqrt{v(t)}$ 分解为依赖于梯度对数尺度漂移（logarithmic scale drift）的分量，该漂移定义为 $\delta(t) = \frac{d}{dt} \log |g(t)|$。作者证明，更新可以分解为一个尺度不变的符号分量、一个与 $(\tau_2 - \tau_1)\delta(t)$ 成正比的显式“尺度滞后”项，以及高阶余项。

主要贡献

1. 梯度尺度不变性的形式化：本文定义了一阶梯度尺度不变性，即对梯度尺度变化的显式线性响应消失。
2. Adam 的理论刻画：作者证明，Adam 实现一阶梯度尺度不变性当且仅当 $\beta_1 = \beta_2$（或等价地 $\tau_1 = \tau_2$）。
   • 当 $\beta_1 \neq \beta_2$ 时，更新包含一个与梯度尺度漂移成正比的一阶项，使得更新对梯度幅值的波动敏感。
   • 当 $\beta_1 = \beta_2$ 时，这一一阶项精确抵消，将敏感性推至二阶。因此，更新行为更像基于符号的方法，而后者本质上是尺度不变的。
3. 合成与实证验证：
   • 合成实验：使用重缩放梯度信号进行的受控实验表明，当 $\beta_1 = \beta_2$ 时，更新向量的范数在尺度变化下保持稳定，而 $\beta_1 \neq \beta_2$ 则导致显著的一阶偏差。
   • 真实世界训练：在视觉（EfficientNet、ResNet、ViT）和语言（NanoGPT、T5）任务上的广泛实验表明，当 $\beta_1 = \beta_2$ 时，更新范数（$\|R_k\|$）的振荡最小化。作者定义了一个振荡指标 $\omega$ 来量化这种稳定性，发现对角线配置始终产生更平滑的更新轨迹。
   • 统计显著性：跨多个模型 - 数据集对的二项式检验证实，使更新稳定性最小化的 $\beta_2$ 与 $\beta_1$ 重合，且具有高度的统计显著性。

结果
实验证实，尺度滞后项的理论抵消直接转化为实际的训练动态。

• 更新范数稳定性：在所有测试的架构（NanoGPT、EfficientNet-B0、ResNet18、ViT-B16、T5）中，与对角线外的设置相比，当 $\beta_1 = \beta_2$ 时，更新范数 $\|R_k\|$ 表现出显著更低的振荡。
• 分解分析：在固定数据探测梯度上的诊断重放显示，当 $\beta_1 \neq \beta_2$ 时，显式的尺度滞后项占归一化更新绝对预算的约 50%。当 $\beta_1 = \beta_2$ 时，该项消失，更新主要由尺度不变的符号分量主导。
• 鲁棒性：这些发现在不同的随机种子、学习率调度方案和架构家族中均成立，表明该现象是优化器结构的基本属性，而非特定超参数的产物。

意义与主张
本文声称，为 Adam 中平衡区域（$\beta_1 = \beta_2$）的实证成功提供了连贯的理论解释。作者提出，这种配置不仅仅是一个方便的启发式方法，而是一种结构性的对齐，赋予了 Adam一阶梯度尺度不变性。

作者认为，这一属性使平衡的 Adam 区域与近期设计用于尺度鲁棒性的最先进优化器（如 Lion 和 Muon）处于同一概念类别中。通过识别这一理想属性潜藏在 Adam 的标准公式中，这项工作弥合了传统自适应方法与现代尺度不变设计之间的差距。

本文得出结论：降低对梯度尺度的敏感性是稳定自适应优化的结构原则。虽然这项工作并未提出新的优化器，但它为未来的优化器设计提供了指导原则，并表明设置 $\beta_1 = \beta_2$ 是改善训练稳定性的原则性选择，特别是在梯度幅值波动的区域中。作者保持谦逊，指出他们的分析是局部的且针对坐标分量的，并且对角线上共同 $\beta$ 的最优值仍然是一个开放问题，取决于具体的训练动态。