📊 statistics

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

本文从理论上证明，在非平稳随机优化中，基于动量的 SGD 变体会产生不可避免的漂移放大惩罚，导致系统性跟踪滞后，并在漂移主导的机制下使其被证明不如标准 SGD 最优。

原作者： Sharan Sahu, Cameron J. Hogan, Martin T. Wells

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Sharan Sahu, Cameron J. Hogan, Martin T. Wells

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在试图捕捉一个移动目标，就像接住朋友不断改变投掷方式和位置时扔出的飞盘。你的目标是让手始终保持在飞盘飞行路径的正下方。这就是论文中所称的“追踪时变最优解”。

在机器学习领域，像**随机梯度下降（SGD）**这样的算法是寻找最佳解的标准方法。然而，当数据随时间变化（即“飞盘”持续移动）时，算法必须不断调整。

本文研究了一种用于加速这些算法的流行技巧，称为动量（Momentum）。

类比：重型滑板车与敏捷滑冰者

为了理解论文的发现，让我们引入两个角色：

敏捷滑冰者（标准 SGD）：这位滑冰者能即时响应脚下的地面。如果地面倾斜，他们会立即倾斜身体。他们可能会因颠簸（噪声）而有些摇晃，但改变方向非常迅速。
重型滑板车手（动量 SGD）：这位滑冰者骑在一块装有重型飞轮的滑板上。当他们开始移动时，飞轮会积累速度。如果需要转弯，飞轮的惯性使得他们难以迅速停止或改变方向。他们能平滑地滑过小颠簸，但如果路径突然弯曲，他们会因“困”在旧的动量中而冲过弯道。

核心发现：动量是一把双刃剑

论文提出了一个简单的问题：重型滑板车手何时有帮助，何时会造成损害？

作者证明，在稳定、不变的环境中，重型滑板车手非常出色。动量帮助他们忽略小颠簸（噪声），并更快地向目标移动。

然而，在变化、漂移的环境中（目标持续移动），论文揭示了一个根本缺陷：

“陈旧”问题：动量通过平均过去的移动来工作。但如果目标移动了，你过去的移动现在就变得“陈旧”或过时。
惯性惩罚：论文表明，随着你增加动量（使滑板车更重），算法对新方向的反应变慢。它不仅仅是摇晃，而是系统性地滞后于移动目标。
发散：如果你将动量设置得过大（接近 1.0），滞后会变得如此严重，以至于算法的表现实际上远不如简单的敏捷滑冰者。论文称此为“信息论障碍”——这不仅仅是数学错误，而是物理限制。你无法通过平均旧的、错误的信息来完美追踪新的、移动的目标。

误差的三个组成部分

作者将“追踪误差”（你与目标的偏离程度）分解为三个部分：

启动滞后：开始移动所需的时间。动量使这种情况更糟，因为重型飞轮需要更长时间才能加速旋转。
噪声基底：由随机颠簸引起的摇晃。动量有助于平滑这种摇晃，但仅在一定范围内有效。
漂移滞后：由目标移动引起的距离。这是致命因素。动量会放大这种滞后。目标移动得越快，重型滑板车手就越容易冲过弯道并落后。

“惯性窗口”

论文引入了一个称为**“惯性窗口”**的概念。想象目标突然改变方向。

敏捷滑冰者立即转弯。
重型滑板车手由于飞轮的作用，会继续沿直线行驶一段时间。论文证明，存在一个特定且不可避免的时间段（即窗口），在此期间基于动量的方法必然落后于目标，无论你怎么调整参数。

实验结果

研究人员在各种场景下测试了这一理论，从简单的数学问题到复杂的神经网络（如文中提到的“教师 - 学生”模型）。

结果：当目标移动缓慢或数据噪声很大时，动量有帮助。
结果：当目标移动迅速（高漂移）或问题“病态”（例如试图滑下非常狭窄陡峭的山谷）时，增加动量会导致算法崩溃或显著滞后。简单的敏捷滑冰者（SGD）保持稳定和稳健，而重型滑板车手则难以跟上。

结论

论文得出结论：动量并非应对动态情况的灵丹妙药。

虽然它在静态环境中平滑噪声方面表现出色，但在环境变化时，它会产生“系统性滞后”。如果你试图追踪一个移动目标，使用过多的动量就像试图用仅能响应 10 秒前水位的舵来驾驶一艘重型船只。论文提供了数学证明：在这些漂移场景中，更简单、更敏捷的方法（普通 SGD）通常被证明更优且更稳定。

技术摘要：动量 SGD 在非平稳随机优化中的可证明次优性

1. 问题表述

本文探讨了非平稳随机优化问题，其目标在于跟踪随时间变化的极小值点 $\boldsymbol{\theta}^*_t$ ，而非收敛至静态解。该设定涉及一系列强凸且平滑的目标函数 $G_t(\boldsymbol{\theta}) = \mathbb{E}_{X_t \sim \Pi_t}[g(\boldsymbol{\theta}, X_t)]$ ，其中数据分布 $\Pi_t$ 随时间发生偏移。

本文研究的核心问题是：在强凸性和平滑性条件下，动量在跟踪漂移极值点时，何时有益，何时可证明有害？

尽管 Polyak 的重球法（HB）和 Nesterov 的加速梯度法（NAG）等动量方法是加速平稳设定下收敛的标准手段，但作者假设：在非平稳机制中，动量固有的时间平均特性可能导致“过时”的梯度引发系统性的跟踪滞后和不稳定性。

2. 方法论与理论框架

作者在随机可预测性框架下，为随机梯度下降（SGD）及其动量变体（SGDM）开发了统一的理论分析。关键方法论组件包括：

假设：分析假设条件均值梯度映射具有 $\mu$ -强单调性和 $L$ -Lipschitz 连续性。噪声被建模为具有有界二阶矩（对于高概率界则为次高斯尾部）的鞅差序列。
跟踪误差分解：核心分析技术涉及将跟踪误差 $\|\boldsymbol{\theta}_t - \boldsymbol{\theta}^*_t\|^2$ $∥ θ_{t} - θ_{t}^{*} ∥^{2}$ 分解为三个 distinct 分量：
1. 瞬态项：指数衰减的初始化误差。
2. 噪声底：由随机梯度方差引起的不可约误差。
3. 漂移诱导滞后：由极小值点移动引起的不可约误差。
扩展状态空间分析：对于 SGDM，作者将动量更新方程转化为扩展状态向量上的二维动力系统。这使得他们能够利用 Lyapunov 函数方法分析迭代点与动量缓冲区的耦合动力学，揭示了依赖于动量参数 $\beta$ 的显式缩放因子。
极小极大下界：为了证明观察到的惩罚并非仅仅是分析的人为产物，作者在梯度变化预算下建立了动态 regret 的极小极大下界。这涉及构建困难实例（局部隆起函数）并利用信息论论证（Fano 不等式）来证明基本限制。

3. 主要贡献

3.1 具有显式动量惩罚的有限时间跟踪界

本文推导了 SGD 和 SGDM 的有限时间上界。

SGD：跟踪误差分解为收缩项、按 $\Delta^2/(\mu^2 \gamma^2)$ 缩放的漂移项，以及按 $\sigma^2 \gamma / \mu$ 缩放的噪声项。
SGDM：界揭示了动量引入的显式惩罚。当动量参数 $\beta \to 1$ $β \to 1$ 时：
- 对初始化的敏感性被 $(1-\beta)^{-2}$ 因子放大。
- 稳态噪声底被 $(1-\beta)^{-1}$ 因子膨胀。
- 有效衰减速率减缓至 $\exp(-\gamma \mu t / (1-\beta))$ 。
- 稳定性约束迫使步长 $\gamma$ 缩小为 $\gamma \lesssim \mu(1-\beta)^2/L^2$ ，这在病态问题中可能进一步恶化漂移跟踪。

3.2 时间分辨的高概率界

超越期望值，作者提供了时间分辨且漂移自适应的高概率界。

与依赖均匀最坏情况漂移界的前人工作不同，这些保证表明，由于指数遗忘，只有近期的漂移会显著影响误差。
一个关键发现是漂移 - 噪声耦合：迭代点与漂移极小值点之间的系统性错位放大了随机梯度噪声的影响。这种相互作用按 $(1-\beta)^{-2}$ 缩放，表明动量可能会加剧动态设定中的方差。
这些结果促使采用显式的遗忘机制（例如重启或窗口化），以丢弃过时的历史信息。

3.3 极小极大下界与“惯性窗口”

作者建立了动态 regret 的极小极大下界，证明了动量诱导的惩罚是一个信息论障碍。

下界分解为两个机制：受噪声/梯度变化限制的统计机制和受惯性限制的机制。
在惯性限制机制中，作者证明了存在一个不可避免的惯性窗口，其长度为 $\tau_\beta \approx \Omega(\kappa/(1-\beta))$ 。在分布偏移后的这段时期内，任何 SGDM 策略都必须滞后于漂移的极小值点，因为它被迫平均过时的梯度。
这证实了在漂移主导的机制中，无论参数如何调整，动量本质上都比普通 SGD 更差。

4. 实验结果

理论发现得到了漂移二次函数、线性/逻辑回归以及漂移师生 MLP 实验的证实。

机制划分：在低动量、低漂移设定中，动量可以通过抑制噪声而优于 SGD。
漂移下的退化：随着非平稳性（漂移幅度）、动量（ $\beta$ ）或病态性（ $\kappa$ ）的增加，SGDM 的性能急剧下降。
SGD 的鲁棒性：普通 SGD 在不同噪声水平和漂移强度下保持相对鲁棒，避免了动量方法中观察到的复合惯性和方差惩罚。
步长敏感性：将步长 $\gamma$ 增加到保守机制之外并不能恢复 SGDM 的跟踪性能；相反，它会导致数量级的退化，而 SGD 则保持稳定性。

5. 意义与主张

本文声称提供了动量在动态设定中经验不稳定性的首个全面理论依据。

基本权衡：它形式化了这样一种权衡：时间平均（动量）在平稳设定中减少方差，但在非平稳设定中诱导“过时梯度平均”，从而迫使产生系统性滞后。
信息论障碍：该工作论证了在分布偏移下动量的次优性并非分析的人为产物，而是一个基本限制：对于任何平均过去梯度的算法，“惯性窗口”都是不可避免的。
实际意义：结果划定了普通 SGD 可证明优于加速对应方法的精确机制边界。它们表明，在动态环境（例如在线预测、持续学习）中，从业者应对高动量值保持谨慎，并考虑显式遗忘或重启机制以减轻惯性惩罚。

作者总结道，虽然动量在静态或缓慢变化的噪声环境中加速了收敛，但它在分布偏移下引入了系统性脆弱性，其规模与 $(1-\beta)$ 成反比，这使得它在漂移主导的机制中可证明是次优的。