🤖 machine learning

Fisher-Geometric Sharpness and the Implicit Bias of SGD toward Flat Minima

本文通过利用费舍尔信息矩阵定义黎曼锐度，解决了平坦极小值在重参数化不变性方面的批判，证明了随机梯度下降（SGD）的梯度噪声会诱导出一个偏好这些不变平坦极小值的平稳分布，并将这种几何偏差通过 PAC-Bayes 界限与改进的泛化能力联系起来。

原作者： Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Md Sakir Ahmed, Kumaresh Sarmah, Hemen Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题： “地图” vs. “疆域”

想象一下，你正试图在一片广袤且大雾弥漫的山脉中寻找最低点（这代表了神经网络的“损失景观/loss landscape”）。你不仅想要找一个低点，还希望这个点是平坦的。为什么？因为作者认为，如果你的模型落在了一个宽阔、平坦的山谷中，它在处理未见的全新数据时表现会更好（即具有更好的“泛化能力”）。

然而，直到目前为止，科学家测量“平坦度”的方法一直存在一个重大问题。他们使用一把标准的尺子（欧几里得几何）来测量山谷的形状。

类比： 想象你有一张山谷的地图。

旧方法： 你把地图画在一块橡胶上。如果你水平拉伸这块橡胶，山谷看起来就会变得极其宽阔和平坦；如果你垂直挤压它，山谷看起来就像一个深邃且尖锐的突刺。
批判： Dinh 等人的著名论文指出，这种“尺子”是在作弊。你可以通过拉伸或挤压地图（对神经网络进行重参数化）来改变地图的外观，但实际上并没有改变山谷本身。你测得的“平坦度”完全取决于你如何绘制这张地图，而不是取决于真实的地面地形。这使得“平坦即是好”这一理论变得摇摇欲坠，因为其测量方式并非真实反映本质。

解决方案： “自然”指南针

这篇论文提出了一种新的测量平坦度的方法，它不再关心你如何拉伸地图。他们使用了被称为**费雪信息矩阵（Fisher Information Matrix, FIM）**的概念。

类比： 与其使用一把橡胶尺，不如想象你有一个直接内置于地形之中的指南针。这个指南针了解地面的“自然”形状。

如果你拉伸橡胶地图，指南针会随着地形一起移动。它依然指向相同的“自然”平坦度。
作者定义了一种新的测量指标，称为黎曼锐度（Riemannian Sharpness, $S_R$ ）。它测量的是山谷相对于数据“自然”几何结构的弯曲程度，而不是相对于一个任意的网格。

他们在数学上证明了这种新的测量方式是不变的（invariant）。无论你如何拉伸或挤压地图，“自然平坦度”都保持不变。这修复了旧理论中的根本缺陷。

SGD 是如何找到平坦山谷的

论文还解释了为什么随机梯度下降（SGD）——即用于训练 AI 的算法——往往能找到这些平坦的山谷。

类比： 想象你在大雾中下山。

标准梯度下降（Standard Gradient Descent）： 你沿着最陡峭的坡度笔直向下走。你可能会被困在一个底部极其狭窄且尖锐的裂缝中。
SGD（随机性）： 你在行走时会被人群轻微地碰撞（这是由于处理小批量数据产生的“噪声”）。
发现： 作者展示了这些“碰撞”并非随机的混乱。它们的形状是与地形本身相契合的（受 FIM 引导）。
- 如果你在一个陡峭、狭窄的山谷中，这些碰撞会过于剧烈，把你直接撞出山谷。
- 如果你在一个宽阔、平坦的山谷中，这些碰撞会足够温柔，让你能够留在那里。

在数学上，他们证明了 SGD 的“噪声”就像一块磁铁，将模型拉向最宽、最平坦的山谷。山谷越宽，模型就越有可能停留在那里。

证明：为什么平坦意味着更好的性能

作者通过一个被称为 PAC-Bayes 界（PAC-Bayes bound） 的数学安全网，将这种几何特性与现实世界的性能联系起来。

类比： 想象走钢丝的人下方的安全网。

如果钢丝是一根尖锐、细小的线（尖锐极小值），哪怕是一个微小的晃动（一个新的数据点）都可能让走钢丝的人跌落。
如果钢丝是一个宽阔、平坦的平台（平坦极小值），走钢丝的人可以大幅度晃动却依然安全。

论文证明了该平台的“宽度”（通过他们提出的新黎曼锐度来衡量）能直接预测模型在处理新数据时的表现。平台越平坦，安全网就越紧密，泛化能力也就越好。

实验结果显示了什么

作者在两个著名数据集（MNIST 和 CIFAR-10）上使用不同的设置进行了测试：

批大小（Batch Size）： 当他们使用较小的数据组（较小的 batch）时，“碰撞”变得更大，模型找到了更平坦的山谷，表现也更好。
学习率（Learning Rate）： 当他们采取更大的步长（更高的学习率）时，也倾向于找到更平坦的山谷。
衡量指标： 他们的新型“自然平坦度”（ $S_R$ ）成功预测了哪些模型会表现得最好。而旧有的“欧几里得平坦度”（ $S_E$ ）则无法准确预测这一点，尤其是在神经网络经过重新排列之后。

重要注意事项（细节说明）

作者诚实地指出了局限性：

“完美” vs. “真实”的指南针： 数学证明了真实的费雪信息矩阵是完全不变的。然而，在真实的计算机运算中，为了提高计算速度，他们必须使用一种近似值（“对角线”版本）。这种近似值是几乎不变的，但并非 100% 完美。
“碰撞”并不总是完美的： 理论假设这些“碰撞”（噪声）遵循特定的模式。在现实世界中，这个模式非常接近理论，但并不完全一致。不过，作者表明即使存在这些微小的偏差，主要结论（即 SGD 偏好平坦山谷）仍然成立。

总结

这篇论文修复了一个关于 AI 模型为何能实现泛化的破碎理论。

问题： 旧的测量“平坦度”的方法是在作弊，因为它们取决于你如何绘制地图。
修复： 他们引入了一种“自然”的测量方法（黎曼锐度），无论你如何拉伸地图，它都保持不变。
机制： 他们证明了训练过程中的随机噪声（SGD）会自然地将模型推向这些平坦、安全的山谷。
结果： 更平坦的山谷（通过这种新方法测量）意味着在处理新数据时有更好的表现。

简而言之：不要仅仅寻找最低点；要寻找最宽、最平坦的山谷，并且要使用尊重地形而非仅仅尊重地图的指南针。

技术摘要：Fisher-几何锐度与 SGD 向平坦极小值的隐式偏置

1. 问题陈述

深度学习中普遍存在的直觉认为，随机梯度下降（SGD）隐式地偏好“平坦极小值”（flat minima），且平坦极小值的泛化能力优于“锐利极小值”（sharp minima）。然而，这一叙事的理论基础已被 Dinh 等人 [2017] 所批判性地削弱，他们证明了标准的欧几里得度量（如损失 Hessian 的迹或最大特征值）在重参数化下是不具有不变性的。

具体而言，对于神经网络，可以通过缩放权重（例如， $W_1 \to \alpha W_1, W_2 \to \alpha^{-1} W_2$ ）在保持网络输入输出函数完全不变的同时，任意改变欧几里得意义下的锐度。由于泛化是函数的属性而非特定参数化的属性，因此非不变性的锐度度量无法有效地解释泛化。虽然在迈向不变度量方面已取得了部分进展（例如 Jang 等人 [2022]；Kristiadi 等人 [2023]），但一个连接不变锐度、SGD 隐式偏置与泛化界限的统一框架仍然缺失。

2. 研究方法

2.1 黎曼锐度 ( $S_R$ )

作者使用Fisher 信息矩阵 (FIM) $G(\theta)$ 取代参数空间上的欧几里得度量，从而诱导出模型预测分布内在的黎曼结构。他们定义了极小值 $\theta^*$ 处的黎曼锐度为：
$S_R(\theta^*) = \text{tr}\left( G(\theta^*)^{-1} \nabla^2 L(\theta^*) \right)$
其中 $\nabla^2 L$ 是训练损失的 Hessian 矩阵。与欧几里得锐度不同， $S_R$ 衡量的是相对于统计流形自然几何结构的曲率。

2.2 理论框架：将 SGD 视为随机微分方程 (SDE)

作者将小批量 SGD 公式化为连续时间 SDE。他们引入了假设 3，即梯度噪声的协方差与 FIM 成正比：
$\text{Cov}[\nabla \tilde{L}(\theta^*)] = \frac{\eta}{B} G(\theta^*)$
其中 $\eta$ 是学习率， $B$ 是批量大小。在此假设下，他们推导出了 SGD 过程的平稳分布 $\pi^*$ 。

2.3 泛化界限

作者利用 PAC-Bayes 框架将几何偏置与测试性能联系起来。他们构建了一个以训练出的极小值为中心的后验分布，并推导出了一个显式受 $S_R$ 控制的泛化界限。

2.4 经验估计

由于计算完整的 FIM 是难以实现的，作者采用了对角经验 FIM 估计器（通过从模型自身分布中采样预测）以及用于 Hessian 的 Hutchinson 随机迹估计器。他们承认，虽然真实的 FIM 保证了不变性，但实验中使用的对角经验估计器仅在近似意义上具有这种不变性。

3. 核心贡献

定义了重参数化不变的锐度： 论文定义了 $S_R$ ，并证明（引理 1）它在平滑且保持函数不变的重参数化下具有不变性，直接回应了 Dinh 等人 [2017] 的批评。
平稳分布分析： 作者推导了小批量 SGD 的平稳分布（定理 1），并证明概率质量指数级地集中在低黎曼锐度的极小值处（推论 1）。这建立了向黎曼平坦极小值移动的严格隐式偏置。
PAC-Bayes 泛化界限： 建立了一个泛化界限（推论 2），其中泛化差距由 $S_R$ 显式控制，从而在理论上建立了黎曼平坦度与测试性能之间的联系。
经验验证： 在 MNIST 和 CIFAR-10 上的实验证实， $S_R$ 在不同优化器（SGD, Adam）、批量大小和学习率下的表现，比欧几里得锐度 ( $S_E$ ) 更能追踪泛化性能。 $S_R$ 随 $\eta/B$ 的缩放符合理论预测。

4. 结果

4.1 不变性与一致性

不变性： 虽然真实的 FIM 是严格不变的，但经验对角估计器在任意缩放下并非完全不变。然而，与欧几里得锐度相比，它在权重缩放下的稳定性显著更高。
噪声结构： 经验测试（第 5 节）表明，梯度噪声协方差与 FIM 在不同配置下是方向一致的（余弦相似度 $\approx 1.0$ ）。然而，标量比例常数在所有配置下并不严格等于 $\eta/B$ 。作者通过引入标量因子 $\alpha(\theta)$ 完善了假设，证明即使标量结论不完全精确，其主要理论结论（向平坦极小值的偏置）依然稳健。

4.2 缩放法则与泛化

批量大小 ( $B$ )： 在 MNIST 上，增加 $B$ 会导致 $S_R$ 显著增加，并伴随测试准确率下降，这与预测的 $S_R \propto B/\eta$ 一致。在 CIFAR-10 上，由于小批量机制中的优化困难，关系更为复杂，但“较大 $B$ 导致较高 $S_R$ ”的趋势依然成立。
学习率 ( $\eta$ )： 增加 $\eta$ 通常会降低 $S_R$ 并提高泛化能力（直到达到训练不稳定的临界点）。
优化器：
- SGD： 在小批量设置下，始终能找到具有较低 $S_R$ 和更高准确率的极小值。
- Adam： 在 MNIST 上实现了低 $S_R$ 和高准确率。在 CIFAR-10 上，Adam 找到了比 SGD 更低 $S_R$ 的极小值，但准确率略低。作者认为这是因为 Adam 的自适应预处理改变了有效度量；预处理优化器的隐式偏置是向相对于其自身度量的平坦性移动。

4.3 训练动力学

训练轨迹显示，小批量 SGD 会随着训练的进行逐渐逃离锐利盆地并进入更平坦的区域（ $S_R$ 降低）。大批量 SGD 则稳定在较高的 $S_R$ 值，这与缺乏足够的噪声来逃离锐利极小值的现象一致。

5. 意义与主张

本文声称提供了第一个严谨的、重参数化不变的关于为何平坦极小值具有更好泛化能力的解释。通过将锐度建立在统计流形的黎曼几何（通过 FIM）之上，作者解决了“平坦度仅仅是参数化人工制品”这一根本性质疑。

这项工作的意义在于：

理论解决： 它架起了“平坦度-泛化”直觉与“重参数化批评”之间的桥梁，通过定义一种本质上属于模型函数的锐度度量，解决了上述问题。
隐式偏置机制： 它提供了一个数学推导，表明 SGD 的噪声结构（与 FIM 成正比）自然地驱动优化器向低黎曼锐度的极小值移动。
实用度量： 它证明了 $S_R$ 是比欧几里得锐度更可靠的泛化预测指标，尤其是在比较使用不同超参数或优化器训练的模型时。

作者承认的局限性：

经验对角 FIM 估计器并非完全具有重参数化不变性；实现精确不变性需要如 K-FAC 等结构化估计器。
关于噪声协方差的标量主张（ $\alpha = \eta/B$ ）是一种近似，它在方向上成立，但在不同数据集和架构下其量级会有所变化。
$S_R$ 与泛化之间的关系在优化器收敛时最具信息量；在不稳定机制下（例如极大的学习率），低 $S_R$ 并不保证良好的泛化。