📊 statistics

Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

本文认为，理解过参数化网络的泛化能力需要分析范数最小化与锐度降低之间的动态权衡，并证明了学习率在这些偏差之间进行插值，且两者中任何一种单独存在都不足以使泛化误差最小化。

原作者： Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心大局：AI 训练中的“金发姑娘问题”（适度原则）

想象一下，你正在教一名学生（神经网络）解谜题。你希望这个学生能把规则学得透彻，以至于他们能解决从未见过的新谜题（这被称为泛化能力）。

长期以来，研究人员认为存在一种让学生变得优秀的“魔术技巧”。他们认为训练过程（称为梯度下降）会自然地将学生推向最简单、最“紧凑”的解决方案。用数学术 liệu 来说，这就是最小化范数（Minimizing the Norm）（保持模型内部的数值小巧且整齐）。

然而，近期的观察显示了另一番景象。当你使用“快”学习率进行训练时，学生似乎会自然地避开“尖锐”或不稳定的解，转而寻找“平坦”、平滑的解。在数学术语中，这被称为最小化锐度（Minimizing Sharpness）。

该论文的核心发现： 这两种“魔术技巧”（保持数值小巧 vs. 保持路径平坦）实际上是在互相博弈。你无法同时拥有两者。论文指出，一个优秀的 AI 的秘密不在于具备其中某一种特质，而在于找到两者的完美平衡，而这种平衡是由你教导学生的速度（学习率）来控制的。

两个相互竞争的偏差

为了理解这种冲突，我们使用两个比喻：

1. “小背包”偏差（范数最小化）

它是什么： 当你教得非常慢时（极小的学习率），算法就像一个试图背着尽可能轻的背包进行徒步的旅行者。它试图让模型的“重量”（模型内部数值的大小）尽可能小。
结果： 你得到了一个非常简单、紧凑的模型。
论文的发现： 虽然简单通常是好事，但论文表明，最简单的模型并不总是那些在处理新数据时表现最好的模型。

2. “平坦谷底”偏差（锐度最小化）

它是什么： 当你以中等或较快的速度教学时，算法就像一个寻找宽阔、平坦的谷底而非狭窄、险峻的山峰的旅行者。如果解是“尖锐”的（就像站在针尖上），下一步哪怕只有微小的失误，都会让你跌落。如果解是“平坦”的（就像一片宽阔的高原），你可以左右晃动却依然安全。
结果： 你得到了一个非常稳定、对微小变化具有鲁棒性的模型。
论文的发现： 虽然稳定性很棒，但最平坦的解也并不总是最好的。

“稳定性边缘”之舞

论文引入了一个迷人的概念，叫做稳定性边缘（Edge of Stability, EoS）。

想象你正在走钢丝。

太慢（学习率过小）： 你走得非常小心，始终保持在正中心。你会得到一个“小背包”（低范数），但你可能走在一条并不理想的狭窄路径上。
太快（学习 rate 过大）： 你跑得太快，开始从钢丝上弹跳。你会摔下去（训练崩溃）。
恰到好处（稳定性边缘）： 你以一种几乎失去平衡的速度在行走。你会左右摇晃，但不会摔倒。在这种状态下，算法会自然地将你推向“平坦谷底”（低锐度）。

冲突点： 论文显示，随着你加快走路速度（增加学习率）以达到这种“摇晃但稳定”的状态，你的背包会变得越来越重（范数增加）。

慢速： 轻背包，狭窄路径。
快速： 重背包，宽阔平坦的谷底。

你无法同时拥有一个轻便的背包和一个宽阔的谷底。它们之间存在权衡。

“U型曲线”的秘密

关于泛化能力（模型在处理新数据时的表现），最重要的发现是：

如果你绘制模型性能与学习速度的关系图，通常会得到一个 U 型曲线：

太慢： 模型过于简单（低范数），错失了数据的细微之处。表现尚可，但并不出色。
太快： 模型过于混乱（高范数，即便它是平坦的），导致过拟合或变得不稳定。性能随之下降。
恰到好处（中间点）： 甜点位（Sweet Spot）就在中间。在这里，模型拥有一个“中等大小的背包”，并且处于“适度平坦”的状态。

类比： 想象你在调收音机。

把旋钮向左转得太多（太慢），你会听到静电噪音（欠拟合）。
把旋钮向右转得太多（太快），你也会听到静电噪音（不稳定）。
最清晰的信号出现在中间，即你平衡了这两个相反的力量。

理论证明（简单模型）

为了证明这不仅仅是复杂计算机上的偶然现象，作者构建了一个微小的、简单的数学模型（“玩具”网络）。

他们展示了拥有最小背包（最低范数）的解，与拥有最平坦谷底（最低锐度）的解，位于完全不同的位置。
他们证明了最佳解（即预测新数据表现最好的解）通常是第三种选择：一个处于这两个极端之间的位置。

结论：一场平衡的艺术

论文得出结论，我们不能仅仅通过观察单一因素（例如“它找到了最简单的解”）来解释为什么 AI 如此出色。

相反，学习率就像是一个调光开关，平衡着两个相互冲突的欲望：

保持模型的小巧与简单。
保持模型的稳定与平坦。

“深度学习的魔力”发生在我们调节这个开关，从而在两股相反的力量之间找到完美的折衷方案之时。论文认为，仅仅关注其中一种偏差是不够的；我们必须理解它们之间动态的权衡关系。

技术摘要：稳定性边缘的冲突偏差：范数与锐度正则化

问题陈述

过参数化神经网络卓越的泛化能力通常归功于梯度下降（GD）等优化算法的隐式偏差。目前已出现两种主导理论来解释这一现象：

范数最小化： 在消失学习率（或梯度流）的极限下，GD 表现出对最小参数范数（例如 $\ell_1$ 或 $\ell_2$ 范数）解的隐式偏差，特别是在线性及对角网络设置中。
锐度最小化： 在“稳定性边缘”（Edge of Stability, EoS）机制下，即学习率足够大以至于足以引起非单调损失行为的有限学习率情况下，观察到 GD 会收敛向低锐度的解（具体而言，海森矩阵的谱范数被限制在 $2/\eta$ 以内）。

本研究旨在解决的核心问题是，这两种形式的隐式正则化通常是孤立进行分析的。当使用实践中使用的有限且非忽略的学习率训练 GD 时，它们如何相互作用仍不清楚。具体而言，单一的偏差（无论是范数还是锐度）是否足以解释泛化，或者是否存在一种动态的权衡？

研究方法

作者采用了一种结合了多种设置下的广泛实证分析与简化模型上的严谨理论分析的双重方法。

实证分析

作者通过跨多种配置的系统性实验来隔离学习率 $\eta$ 的影响：

数据集： MNIST 和 CIFAR-10（包括 5k 子集和全集）。
架构： 不同宽度和深度的全连接网络（FCN）、卷积神经网络（CNN）、ResNet 以及 Vision Transformer（ViT）。
超参数： 对学习率进行系统性扫描，包括围绕临界转换点附近的细粒度网格以及针对较大学习率的粗粒度网格。
指标： 研究追踪最终参数范数（ $\ell_1, \ell_2$ , 核范数）、训练损失的锐度（海森矩阵的算子范数）以及测试误差。
控制变量： 实验使用全批量 GD 以消除随机性，使用固定初始化以确保可比性，并使用各种损失函数（MSE, Cross-Entropy）和激活函数（ReLU, tanh）。

理论分析

为了提供机制性的见解，作者分析了一个简化的回归任务：在单个数据点上使用平方损失训练一个具有共享权重的浅层对角线性网络。

他们明确表征了训练损失为零的解流形。
他们推导出了分别最小化参数范数与最小化锐度的特定解。
他们分析了这些不同解的泛化误差（风险），并将它们与不同学习率下 GD 的实际收敛行为进行了比较。

核心贡献

1. 发现学习率依赖的权衡关系

论文通过实证证明，学习率充当了一个控制旋钮，在两种截然不同的隐式偏差之间进行插值：

流对齐机制（ $\eta < \eta_c$ ）： 当学习率低于临界阈值 $\eta_c \approx 2/s_{GF}$ （其中 $s_{GF}$ 是梯度流轨迹的最大锐度）时，GD 的行为与梯度流相似。此时，参数范数和锐度都保持相对稳定。
稳定性边缘机制（ $\eta > \eta_c$ ）： 当学习率超过 $\eta_c$ 时，系统进入 EoS 机制。在此阶段，发生了一个剧烈的相变：模型的最终锐度呈双曲线下降（追踪 $2/\eta$ ），而参数范数则近似线性增加。
结论： 存在内在的权衡；无法仅通过调节学习率来同时最小化范数和锐度。

2. 泛化并不随单一偏差单调变化

作者表明，“最佳”泛化性能并不一定与学习率光谱中的任何一端对齐：

低学习率： 具有最小范数（流对齐）的解往往不能产生最低的测试误差。
高学习率： 具有最小锐度（EoS）的解如果范数变得过大，也可能导致次优的泛化。
U 型曲线： 在许多设置中，测试误差随学习率呈现 U 型曲线。最优泛化是在中间学习率处实现的，此时低范数和低锐度的偏差达到了平衡。

3. 理论反例

利用对角线性网络模型，作者证明了：

最小化范数的参数集与最小化锐度的参数集在几何上是截然不同的，且通常是不相交的。
范数最小化者或锐度最小化者都不一定能实现最低的期望泛化误差。
学习率控制着 GD 收敛到解流形的哪个区域，实际上起到了正则化超参数的作用，平衡了这些相互冲突的目标。

结果

相变： 从流对齐行为到 Eos 行为的转换是剧烈的，并且在不同架构、数据集和损失函数中一致地发生在 $\eta_c \approx 2/s_{GF}$ 处。
鲁棒性： 观察到的增加范数与降低锐度之间的权衡在各种范数（ $\ell_1, \ell_2$ , 核范数）和锐度度量（最坏情况、平均情况、自适应）中均成立。
优化动力学： 在 EoS 机制中，训练轨迹在锐度边界 $2/\eta$ 周围震荡，但参数范数随时间单调增长，表明轨迹访问了更高复杂度的区域。
分类与回归： 虽然 U 型泛化曲线在许多回归和分类设置中非常显著，但作者指出，在某些特定的分类场景（例如使用 Cross-Entropy 损失）中，这种关系可能更为复杂，尽管范数与锐度之间的权衡依然存在。

意义与主张

论文认为，将隐式正则化视为单一、静态偏差的流行观点不足以解释深度学习的泛化性能。

超越单一偏差： 基于 GD 的训练成功不能仅仅归因于范数最小化（如小学习率理论所暗示），也不能仅仅归因于锐度最小化（如 EoS 理论所暗示）。
动态相互作用： 良好的泛化来自于由学习率介导的、在这些竞争性偏差之间的动态权衡。
实践意义： 学习率不仅应被视为收敛速度参数，还应被视为一个关键的正则化超参数，它决定了最终模型的结构属性（复杂度 vs. 平坦度）。
局限性： 作者承认，由于在一般非线性网络中刻画隐式偏差存在困难，其理论结果受限于简化模型（对角线性网络）。然而，在多样化架构中观察到的实证结果的一致性表明，该现象具有普遍性。

总之，这项工作为一种更广泛的隐式正则化视角提供了动力，该视角关注由优化动力学塑造的多种偏差之间的相互作用，而非孤立看待它们。