📊 statistics

Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients

本文引入了受保护的随机 Polyak 步长法（SPS $_{safe}$ ），这是一种针对随机次梯度方法的创新变体，它在无需强假设或已知最优解的情况下，为非光滑凸优化提供了严格的收敛保证，同时展示了在深度神经网络训练中针对梯度消失问题的鲁棒性能与稳定性。

原作者： Dimitris Oikonomou, Nicolas Loizou

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dimitris Oikonomou, Nicolas Loizou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个广袤、多雾且多石的地形中寻找最低点。这个地形代表了你试图解决的一个复杂问题，比如教计算机识别照片中的猫。这个“最低点”就是完美的解决方案。

为了到达那里，你沿着下坡方向迈步。但问题在于：地面是不平整的（非光滑），你看不清全貌（随机性），而且有时地面非常崎岖，以至于你的指南针（梯度）给出的信号微弱得几乎可以忽略不计，或者有时会疯狂旋转。

旧地图的问题

长期以来，在这种地形中导航的最佳方法是一种叫做随机波利亚克步长法 (Stochastic Polyak Step Size, SPS) 的方法。你可以把它想象成一个聪明的指南针，它观察你距离底部还有多远，并以此决定每一步该走多大。

优点： 它通常非常快速且高效。
缺点： 在这种崎岖不平的地形（非光滑问题）中，这个指南针有一个致命缺陷。如果地面变得非常平坦或者信号变得太弱，指南针会试图让你迈出一个巨大的、不可能完成的步伐（因为它除以了一个极小的数字）。这会导致你飞出地图范围或者陷入困境。

之前的修复尝试都有各自的问题：

“先知”问题： 一些修复方法要求你在开始之前就已经知道底部的确切位置。这就像是在说：“为了找到底部，你必须已经处于底部。”
“插值”问题： 其他修复方法只在地形完美光滑、且你每一步都能精准命中底部时才有效。现实世界的问题并非如此完美。
“封顶”问题： 有些人试图通过给步长设定一个硬性的上限来解决巨大步伐的问题。但这样做往往会让指南针变得毫无用处，使其变成一个简单的、缓慢的步行者，忽略了聪明的数学逻辑。

新的解决方案：带“护栏”的指南针

本文作者引入了一种名为 Safeguarded Stochastic Polyak Step Size (SPSsafe) 的新方法。

你可以把它想象成给你的指南针安装了一个安全护栏。

工作原理： 当信号变得极小时，它不会让步长爆炸，而是通过在公式的分母处设置一个“底线”来起作用。它会说：“如果信号变得太小，我们不会除以零；我们会除以这个安全的最小值。”
结果： 你永远不会迈出过大的步伐，也不需要预先知道底部的确切位置。你只需要知道一个大致的深度（一个下界）和一个安全设置（“护栏”参数）即可。

为什么这很重要（隐喻说明）

1. “梯度消失”的救援
在深度学习（训练 AI）中，有时告诉计算机如何改进的“信号”会变得极其微弱，甚至几乎消失（梯度消失）。旧的方法在面对这种情况时会陷入恐慌，要么采取巨大的、混乱的步伐，要么完全停止移动。

论文的观点： 这种“护栏”方法防止了这种恐慌。它保持了步长的稳定。在实验中，他们发现“信号强度”（梯度范数）保持得非常健康，没有塌陷，不像旧的“平滑化”方法那样容易导致信号枯竭。

2. “聪明”的步子 vs “笨拙”的步子
试图修复巨大步伐问题的旧方法，最终往往只是不断重复迈出同样大小的固定步长，从而忽略了聪明的数学计算。

论文的观点： 护栏方法与之不同。它不仅仅是限制步长的大小，它还调整了分母（即计算步长的部分）。这意味着它依然保持着“聪明”和自适应性，能够对地形做出反应，而不会变成一个只会迈固定步长的“笨拙”步行者。

3. 动量提升
有时，为了下坡更快，你需要携带一点惯性（动量）。作者还展示了如何将这种“动量”添加到他们的护栏式指南针中。

论文的观点： 他们从数学上证明了，即使加入了这种额外的速度，该方法也能保证找到底部（或非常接近底部），且不需要预先知道答案。

他们实际测试了什么

作者不仅在纸面上进行数学推导，还在现实世界中进行了测试：

数学问题： 他们在标准的、棘手的数学问题（如支持向量机和相位检索）上进行了测试，结果显示其表现优于旧的“聪明”指南针。
AI 训练： 他们使用 CIFAR-10 等数据集训练了图像识别 AI 模型（ResNet）。
- 结果： 该新方法实现了极高的准确率，足以与现有的最佳工具竞争。
- 关键观察： 他们在训练过程中观察了“信号强度”。在使用旧的“平滑化”方法时，信号逐渐枯竭；而在使用新的护栏方法时，信号保持强劲且健康，这证明了它不会被崎岖的地形所迷惑。

核心结论

这篇论文提供了一种新的、稳健的方法，用于教计算机从杂乱、不完美的数据中学习。它修复了流行学习方法（波利亚克步长法）中的一个特定弱点，这个弱点曾导致它在处理困难问题时失效。通过添加一个简单的“安全护栏”，它使得该方法既能保持快速，又能保持稳定，且无需预先知道答案。这就像是给登山者配备了一个即使在最恶劣的天气下也不会失控旋转的指南针。

技术摘要：用于非光滑优化的受保护随机 Polyak 步长法

1. 问题陈述

本文研究了优化如下形式的无约束有限和问题的挑战：
$\min_{x \in \mathbb{R}^d} f(x) = \frac{1}{n} \sum_{i=1}^n f_i(x)$
其中分量函数 $f_i$ 是凸的、Lipschitz 连续且非光滑的。目标是在不依赖于以下强假设的情况下，使用随机方法最小化经验风险：

插值（Interpolation）： 即假设存在一个解 $x^*$ 使得对于所有 $i$ ，都有 $f_i(x^*) = f_i^*$ 。
预知 Oracle 信息： 即不需要预先知道最优损失值 $f_i(x^*)$ 或 $f^*$ 。
步长截断（Step-size Capping）： 即不依赖于人工调优的上界 ( $\gamma_b$ )，这种做法通常会迫使算法表现得像固定学习率。

现有的随机 Polyak 步长 (SPS) 方法要么需要这些强假设，要么在梯度消失时（这在深度神经网络中很常见）会因步长爆炸而导致不稳定。

2. 方法论

作者为两种算法提出了受保护的随机 Polyak 步长 (SPSsafe)：随机次梯度法 (SSM) 和迭代移动平均 (IMA)，后者在代数上等价于随机重球 (Stochastic Heavy Ball) 动量法。

核心机制

所提出的步长通过在分母中引入一个保护常数 $M > 0$ 来修改标准的 Polyak 规则。与以往通过设置步长上限（如 $SPS_{max}$ 方法）的做法不同，SPSsafe 通过对分母进行下限保护，以防止因梯度接近于零而导致的除零问题。

对于随机次梯度法 (SSM)：
$\gamma_t = \frac{f_i(x_t) - \ell_i^*}{\max\{\|g_t^i\|^2, M\}}$
其中 $g_t^i \in \partial f_i(x_t)$ 是随机次梯度， $\ell_i^*$ 是已知的 $f_i$ 的下界（例如，对于非负损失， $\ell_i^* = 0$ ）。

对于带有动量的迭代移动平均 (IMA)：
$\eta_t = \frac{[f_i(x_t) - \ell_i^* + \lambda_t \langle g_t^i, x_t - x_{t-1} \rangle]_+}{\max\{\|g_t^i\|^2, M\}}$
其中 $\lambda_t \geq 0$ 是动量参数， $[\cdot]_+$ 表示正部。

与梯度裁剪的理论联系

本文建立了 SPSsafe 与梯度裁剪 (Gradient Clipping) 之间的理论联系。具体而言，命题 2.1 表明，使用 SPSsafe 的 SSM 在代数上等价于具有自适应步长的裁剪 SSM。这为非光滑随机环境下结合 Polyak 式更新与梯度裁剪提供了首个理论收敛保证。

3. 主要贡献

新型步长规则 (SPSsafe)：
- 引入了一种仅需下界 $\ell_i^*$ 和保护参数 $M$ 的 Polyak 型步长。
- 消除了对插值假设和已知最优损失值 $f_i(x^*)$ 的需求。
- 防止了由于 $\|g_t^i\| \to 0$ 导致的“梯度消失”问题，从而避免步长爆炸。
严谨的收敛保证：
- SSM： 证明了对于凸 Lipschitz 目标函数，其向解的邻域具有 $O(T^{-1/2})$ 的收敛速率。该邻域的大小取决于方差 $\sigma^2$ 和保护参数 $M$ 。
- IMA (动量)： 将这些保证扩展到动量设置中，证明了 Cesàro 平均和最后一次迭代 (last iterate) 均具有 $O(T^{-1/2})$ 的收敛性，且无需了解 $f_i(x^*)$ 。
对平滑化（Smoothing）的理论澄清：
- 作者指出，之前的“平滑化”Polyak 方法（例如带有递减上界 $\gamma_b$ 的 $SPS_{max}$ ）在实践中往往退化为固定学习率，因为该上界在大多数迭代中都会被选中。SPSsafe 通过保持分子完整并仅对分母进行限制，避免了这一问题，确保了步长的自适应性。
实证验证：
- 证明了 SPSsafe 在凸基准测试（SVM、相位检索）上相对于自适应基准（如 Adam）和现有 Polyak 变体具有竞争力的表现。
- 展示了在深度神经网络 (DNN) 训练（CIFAR 上的 ResNet）中，与平滑化基准相比，SPSsafe 能保持较大的梯度范数，从而防止梯度坍缩至接近于零的情况，同时保持泛化性能。

4. 结果与性能

收敛速率： 理论分析确认了 SSM 和 IMA 变体均具有 $O(T^{-1/2})$ 的速率。误差界由一个标准的优化项和一个与 $\sigma^2/M$ 成比例的邻域项组成。
敏感性分析： 在合成非光滑问题上的实验表明，增加保护参数 $M$ 会减小极限误差邻域，证实了其理论关系。
DNN 训练：
- 在 CIFAR-10/100 上的 ResNet-20/32 训练中，SPSsafe 达到了与调优后的 SGD、Adam 以及平滑化 SPS 基准相当或更好的测试准确率。
- 梯度范数： 不同于会将梯度范数推向接近于零（可能导致训练停滞）的平滑化 Polyak 方法，SPSsafe 在整个训练过程中能保持稳健的梯度范数，表明其对梯度消失具有韧性。

5. 意义与主张

本文声称提供了首批具有严谨收敛保证的 Polyak 型规则之一，适用于随机、凸、非光滑优化，且满足：

不假设插值。
不需要了解最优损失值 ( $f_i(x^*)$ )。
不依赖于会导致算法进入固定步长行为的任意上界。

作者强调，尽管其理论是针对凸 Lipschitz 目标导出的，但其在高度非凸深度学习模型上的实证结果表明，该方法在实践中是稳健且有效的。他们将 SPSsafe 定位为一种稳定且自适应的替代方案，弥合了 Polyak 步长的简洁性与现代非光滑优化任务所需的鲁棒性之间的差距。

局限性与未来工作：
作者承认，目前的理论保证主要限于凸 Lipschitz 设置。他们指出，将分析扩展到结构化非凸设置（例如弱凸、Polyak-Lojasiewicz）以及 $(L_0, L_1)$ -光滑回归，是弥合其与现代非凸训练之间差距的必要未来方向。他们还建议探索在分布式和联邦学习中的应用。