📊 statistics

What is the long-run distribution of stochastic gradient descent? A large deviations analysis

本文运用大偏差理论证明，非凸问题中随机梯度下降的长期分布类似于玻尔兹曼 - 吉布斯分布，导致该算法指数级地倾向于能量状态更低的临界区域，而非非临界区域、局部极大值点和鞍点。

原作者： Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Waïss Azizian, Franck Iutzeler, Jérôme Malick, Panayotis Mertikopoulos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广阔、雾气弥漫且极其复杂的山脉中找到最低点。这片山脉代表了机器学习问题的“损失景观”。山谷是好的解（低误差），山峰是坏的解（高误差），而两者之间平坦且棘手的区域则是“鞍点”（从某个方向看像山谷，但从另一个方向看却像山丘）。

你的目标是找到最深的那个山谷（全局最小值）。你手中有一个名为**随机梯度下降（SGD）**的工具。将 SGD 想象成一位试图向下行走的徒步者。然而，这位徒步者有点微醺，或者正行走在一条颠簸、晃动的路径上。每迈出一步，他们都会得到一个嘈杂且略有偏差的读数，无法准确判断哪边是下坡。

几十年来，我们知道这位徒步者最终会停止大幅移动（收敛），但我们不知道他们最终会定居在何处。他们会被困在一个浅山谷中吗？会在鞍点附近漫无目的地徘徊吗？还是会找到最深的那个山谷？

本文通过将徒步者的旅程视为一场物理游戏，回答了这个问题。

核心思想：徒步者即气体分子

作者意识到，这位“微醺徒步者”（SGD）的长期行为，与房间内气体分子的行为完全一致。

房间：整个山脉（问题的状态空间）。
分子：徒步者在任意时刻的位置。
温度：步长（徒步者每一步的大小）。
- 如果步长很大，徒步者就是“热”的且充满活力。他们会剧烈地弹跳，翻越小山坡，探索整个房间。
- 如果步长极小，徒步者就是“冷”的。他们移动缓慢，并被困在最近的凹陷处。
能量：该位置的山脉高度（目标函数值）。

本文证明，经过长时间后，徒步者并非随机选择一个地点。他们会稳定在一个特定的模式中，称为玻尔兹曼 - 吉布斯分布。用通俗的话来说，这意味着：

低洼处拥挤：徒步者在最深山谷中花费的时间最多。
高处空旷：徒步者很少造访山峰。
“温度”至关重要：步长越大（系统越“热”），徒步者跳出浅山谷并探索更高地形的可能性就越大。

四大关键发现

本文通过四条主要规则，精确地解析了徒步者最终会停留在何处：

1. 徒步者偏爱“临界”区域
徒步者几乎将所有时间都花在“临界区域”。这些是地面完全水平的平坦区域（数学上即梯度为零的地方）。这包括山谷底部、山峰顶部以及棘手的鞍点。徒步者几乎不会停在陡峭的斜坡上，因为重力（数学原理）会立即将他们拉离那里。

2. “基态”是最受青睐的
在所有平坦区域中，有一组特定的山谷，徒步者访问它们的频率呈指数级高于任何其他地点。作者称其为“基态”。

关键转折：这个“基态”并不总是整个山脉中绝对最深的山谷。它取决于噪声（路径的晃动）。有时，一个稍高一点的山谷因为更“平坦”或更能抵御噪声，反而成为首选的休息点。徒步者会选择那个能最小化特定“能量”的地点，该能量结合了山谷的深度以及噪声对其的影响。

3. 访问层级
如果徒步者不在绝对最偏爱的地点，他们仍然遵循严格的层级：

他们访问局部极小值（小山谷）的频率远高于鞍点（那些棘手的平坦区域）。
他们访问鞍点的频率远高于局部极大值（山峰）。
基本上，徒步者避开山峰和鞍点，更倾向于在山谷中休息。如果他们确实造访了鞍点，那也只是因为暂时被困在那里，随后噪声会将他们推向山谷。

4. “能量”计算
本文提供了一个公式，用于精确计算徒步者出现在任何特定山谷的可能性。这就像一张记分卡：

得分 = （山谷深度）+ （噪声与山谷的相互作用方式）。
得分越低，徒步者在那里花费的时间就越多。
“步长”充当温度旋钮。如果你将旋钮调低（步长更小），徒步者会变得非常挑剔，只访问得分绝对最低的地点。如果你调高它，他们就会变得更加冒险，也会造访得分较高的地点。

“微醺徒步者”与“完美徒步者”

在一个完美的世界（无噪声）中，徒步者只需沿着最陡峭的路径滚落，并被困在他们遇到的第一个山谷里。但因为我们的徒步者是“微醺”的（有噪声），他们可能会意外地撞出浅山谷，从而找到更深的山谷。

本文表明，这种“微醺”并非缺陷，而是一种特性，它创造了一种可预测的分布。徒步者并非随机漫游，而是统计性地漫游。在很长一段时间内，你可以根据“温度”（步长）和“能量”（山谷的形状及噪声）精确预测徒步者在任何特定山谷中花费的时间百分比。

总结

本文告诉我们，最流行的机器学习算法（SGD）的长期行为并非混乱无序。它表现得像一个处于热平衡状态的物理系统。

算法：一位试图找到山底的徒步者。
噪声：让徒步者踉跄的晃动地板。
步长：房间的温度。
结果：徒步者稳定在一个可预测的模式中，他们在“最佳”山谷中花费的时间最多，而“最佳”是由山谷的深度以及晃动对其影响的混合因素定义的。

作者并非凭空猜测；他们利用高等数学（大偏差理论）证明了，这种物理类比正是该算法在长期运行中的确切行为方式。

技术摘要：随机梯度下降的长期分布

1. 问题陈述

本文探讨了随机梯度下降（SGD）理论中的一个基本未解问题：SGD 在长期运行中会最频繁地访问状态空间的哪些区域，其程度如何？

尽管现有文献为 SGD 提供了收敛性保证（例如梯度期望平方范数的界），但这些结果并未刻画平稳分布或迭代点最终收敛的具体临界点。在现代机器学习普遍存在的非凸设置中，损失景观复杂，包含众多局部极小值、鞍点和局部极大值。先前的工作已确立 SGD 能够避免严格鞍点，但尚未量化访问不同临界分量的相对概率，也未能刻画远离全局最小值处的迭代点分布。

作者旨在量化一般非凸问题中 SGD 的长期分布，特别是试图理解算法所访问的临界区域的层级结构。

2. 方法论

本文采用基于大偏差理论和随机扰动动力系统理论的严谨数学框架，具体将 Freidlin–Wentzell 理论扩展至无界域上的离散时间系统。

关键技术步骤：

SGD 的大偏差原理（LDP）：
- 作者通过将离散迭代点插值为连续时间轨迹，为 SGD 过程建立了大偏差原理。
- 他们定义了一个基于噪声拉格朗日量和目标函数梯度的作用泛函 $S_T[\gamma]$ 。该泛函衡量了轨迹 $\gamma$ 偏离确定性梯度流的“代价”或“可能性”。
- 与以往依赖随机微分方程（SDE）的方法不同（由于步长 $\eta \to 0$ 时收敛速率缓慢，SDE 方法无法捕捉长期行为），该方法直接分析离散动力学。
转移代价与拟势：
- 目标函数 $f$ 的临界集被分解为有限个连通分量 $K_i$ 。
- 作者定义了一个拟势 $B(K_i, K_j)$ ，表示 SGD 迭代点从分量 $K_i$ 转移到 $K_j$ 所需的最小作用代价。
- 这些代价构成了一个加权有向图（转移图），其中顶点是临界分量，边权重是转移代价。
能级与不变测度：
- 临界分量 $K_i$ 的“能量” $E_i$ 定义为以 $i$ 为根的转移图中生成树的最小总权重。
- 利用适用于离散时间的 Freidlin–Wentzell 理论，作者推导了 SGD 过程不变测度（或平均占据测度）的渐近行为。

3. 主要贡献与结果

本文建立了一系列结果（定理 1–4），描述了 SGD 的长期分布：

临界区域的集中性（定理 3）： 在长期运行中，SGD 迭代点出现在 $f$ 的临界集邻域内的概率，比出现在非临界区域的概率呈指数级更高。具体而言，处于临界集 $\delta$ -邻域之外的概率以 $1 - e^{-c/\eta}$ 的速度衰减。
玻尔兹曼 - 吉布斯分布（定理 1）： 分配给特定临界分量 $K_i$ 的概率质量遵循近似的玻尔兹曼 - 吉布斯分布：
$\mu_\infty(U_i) \propto \exp\left( -\frac{E_i}{\eta} \right)$
其中 $E_i$ 是该分量的能级， $\eta$ 充当系统的“温度”。
极小值的主导性（定理 2）： 非极小化临界分量（局部极大值或鞍点）被访问的可能性比极小化分量呈指数级更低。具体而言，对于任意非极小化分量 $K$ ，存在一个极小化分量 $K'$ ，使得它们访问概率之比随 $1/\eta$ 呈指数级衰减。
基态的集中性（定理 4）： 迭代点呈指数级集中在系统的“基态”周围——即具有最小能级 $E_i$ $E_{i}$ 的临界分量集合。
- 关键区别： SGD 系统的基态（最小化 $E_i$ ）不一定与目标函数 $f$ 的全局最小值重合。能量景观由目标函数和噪声统计特性共同塑造。

具体案例：高斯噪声

对于方差为 $\sigma^2$ 的高斯噪声情况，作者推导出了能级的闭式表达式：
$E_i \approx \frac{2 f(K_i)}{\sigma^2}$
在这种特定情形下，长期分布类似于标准吉布斯测度 $\exp(-f(x)/\eta_{eff})$ ，其中有效温度与步长和噪声方差成正比。然而，对于一般的噪声模型（例如依赖于梯度或位置的噪声），能量景观可能与目标函数景观显著不同。

4. 意义与主张

作者声称，这项工作提供了一般非凸设置下 SGD 不变测度的首个描述，超越了局部收敛分析或鞍点避免的范畴。

热力学类比： 本文建立了 SGD 与平衡态热力学之间的直接类比。步长 $\eta$ 扮演温度的角色，决定了临界分量之间转移的难易程度。分量的“能量”决定了其被访问的可能性。
超越全局最小值： 这些结果挑战了 SGD 总是收敛到全局最小值的直觉。相反，SGD 收敛到由目标函数与噪声统计特性相互作用定义的“基态”。具有特定几何结构（例如平坦度）和有利噪声相互作用的局部极小值，可能比更深的局部全局最小值被访问得更频繁。
普适性： 该框架适用于一般的非凸目标函数和各种噪声模型（包括小批量 SGD 和注入噪声），前提是噪声满足次高斯尾部条件，且信噪比在无穷远处表现适当。

本文结论指出，理解长期分布需要分析临界分量的“能量”，这是损失景观和噪声结构的函数，而不仅仅是损失函数的值。这为理解 SGD 在深度学习中为何偏好某些解而非其他解提供了理论基础，即使这些解并非经验风险的全局最小值。