📊 statistics

Edge of Stability Selectively Shapes Learning Across the Data Distribution

本文表明，稳定性边缘（Edge of Stability）不仅是一个全局优化边界，更是一种选择性机制，它通过放大那些具有与海森矩阵最大特征值方向一致且非饱和梯度的样本组的进展，同时抑制其他样本组，从而在数据分布中重新分配学习过程。

原作者： Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Shauna Kwag, Anakha Ganesh, Tomaso Poggio, Pierfrancesco Beneventano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一个深度神经网络（AI 模型）团队 운영 一个大规模训练营。目标是教模型识别事物，比如区分汽车和卡车。

通常，我们认为训练是一个平稳、稳步迈向解决方案的过程。但这篇文章揭示了，当训练变得“激进”时——具体来说，当学习率高到足以将系统推向稳定性的边缘时——它就不再是平稳的行进，而变成了一个选择性过滤器，决定了谁能学习，以及谁会被落下。

以下是使用简单类比对他们发现的拆解：

1. “稳定性边缘”是一根钢丝绳

想象 AI 正在走钢丝。如果它走得太慢（学习率低），它是安全的但很慢。如果它走得太快，它就会掉下来。“稳定性边缘”（Edge of Stability, EoS）是一个甜点区，在这里，AI 走得非常快，以至于开始摇晃并前后摆动，但又恰好勉强维持在绳子上。

长期以来，科学家们认为这种摇晃只是一个奇怪的副作用。而这篇论文说：不，这种摇晃实际上是一个强大的工具。 它像一束聚光灯，照亮了班级中特定的学生，同时忽略了其他人。

2. 选择性聚光灯：谁得到了帮助？

研究人员设计了一个“分叉路口”实验。他们用完全相同的数据训练了两个完全相同的 AI 模型。

模型 A 继续在钢丝绳上行走（保持在稳定性边缘）。
模型 B 放慢了速度并走下了钢丝绳（脱离了稳定性边缘）。

令人惊讶的结果： 模型 A 不仅仅是整体变好了。它在识别特定类型的示例方面变得好得多，而模型 B 在识别其他类型的示例方面变得更好。钢丝绳并没有平等地帮助所有人；它重新分配了学习的精力。

赢家： 那些“离群值”（奇怪、不寻寡的输入）或标签不太符合规则的示例（输出离群值）获得了巨大的提升。它们在钢丝绳上的学习速度更快。
输家： “正常”的示例（内点）以及处于类别边界上的示例，在钢丝绳上的学习速度比那个走下钢丝绳的模型要慢。

3. 聚光灯的两条规则

为什么钢丝绳对某些数据有帮助而对另一些没有？论文确定了两条严格的规则。一组数据要获得“稳定性边缘”的加持，必须通过两部分测试：

规则 #1：“方向对齐”（推力）

想象 AI 正被一阵巨风推动。只有当风吹向一个非常特定的方向时，“稳定性边缘”才会提供帮助。

测试： 该组数据的“梯度”（它们需要学习的方向）必须与“最高 Hessian 特征向量”完美对齐。
类比： 想象一群人试图推动一块沉重的巨石。如果他们都朝着同一个方向推，巨石就会移动得很快。如果他们朝随机的方向推，力量就会互相抵消。
发现： 论文证明，如果你取这些“离群值”数据并打乱它们推动的方向（同时保持距离不变），它们就会失去优势。它们必须连贯地在同一个方向上推动，才能获得这种加持。

规则 #2：“持久性”（耐力）

第二条规则是关于不放弃。

测试： 这一组必须在整个训练过程中持续“推动”（保持非零梯度）。
类比： 想象一场比赛。如果一名跑者变得自信并因为认为自己已经赢了而停止奔跑，那么他也就停止了进步。
发现： 在某些损失函数（如交叉熵）中，一旦 AI 对某个“正常”示例有了信心，它就会停止从该示例中学习（梯度消失）。但“离群值”或“错误标签”的示例会持续让 AI 感到困惑，因此 AI 会不断尝试学习它们。因为它们一直在推动，所以它们得到了加持。如果你切换到一种让自信示例停止推动的损失函数，优势就会转移到那些持续推动的示例身上。

4. 大局观：几何形状决定胜负

最引人入胜的部分是，哪一组会获胜完全取决于数据的形状。

如果你的数据具有特定的形状，使得“离群值”是那些朝正确方向推动的群体，那么稳定性边缘会使 AI 成为离群值的专家（这有助于增强针对奇特攻击的鲁棒性）。
如果你改变数据的形状，使得“边界”示例是朝正确方向推动的群体，那么稳定性边缘会突然让 AI 成为边界示例的专家。

核心结论：
稳定性边缘不仅仅是一个安全限制；它是一个分配学习的机制。它像是一个经理，决定：“我们要把精力集中在解决这些特定问题上，现在就这么做，而忽略其他的。”

这改变了我们看待 AI 训练的方式。这不仅仅是寻找全局最“平坦”或“最好”的解。而是要理解训练过程会根据数据的几何形状以及它们持续“抗争”学习的时间长短，自然地优先处理某些部分的数据。 “稳定性边缘”就是执行这种优先级的工具。

技术摘要：稳定性边缘选择性地塑造跨数据分布的学习

1. 问题陈述

现有关于稳定性边缘（Edge of Stability, EoS）的文献主要将其视为优化过程的一个全局属性，即顶层 Hessian 特征值会在阈值 $2/\eta$ （其中 $\eta$ 为学习率）附近进行自我稳定。虽然这一机制的动力学特征——以符号交替振荡和缓慢的修正漂移为特征——已被广泛记录，但处于该阈值下的功能性后果仍不明确。具体而言，目前尚不清楚稳定性约束是提供统一的收益，还是在不同数据子集之间产生差异化的塑造作用。核心问题是：EoS 机制是否诱导了一种选择性的学习偏差？如果是，哪些几何与动力学属性决定了哪些数据子集能从中受益？

2. 研究方法

2.1 实验设置与原型分类法

作者使用 CIFAR-10（汽车 vs 卡车）上的二分类任务，通过一个使用全批次梯度下降训练的双隐藏层 MLP 来实例化一个受控实验框架。为了隔离数据几何效应，他们定义了一个原型分类法（prototype taxonomy），根据点相对于类别质心（ $\mu_c$ ）的位置及标签一致性，将训练分布划分为四个组别（该划分独立于已训练的模型）：

内点（Inliers）： 位于类别质心附近的高密度点，具有正确标签。
边界点（Boundary）： 位于类间边界附近的分布内点（具有高标签模糊性）。
输入离群点（Input-outliers）： 几何上异常的输入（远离 $\mu_c$ ），具有正确标签。
输出离群点（Output-outliers）： 被分配了错误标签的高密度输入（通过合成构建）。

2.2 分支干预（因果识别）

为了因果识别保持在 EoS 机制与退出该机制的效果，作者采用了分支干预：

基准分支（Baseline Branch）： 继续以原始学习率 $\eta$ 进行训练，保持在 EoS 机制中。
退出分支（Exit Branch）： 在检测到 EoS 的时刻（当顶层 Hessian 特征值 $\lambda_1$ 到达 $2/\eta$ 时），将学习率减半（ $\eta \to \eta/2$ ）。这提升了稳定性阈值至 $4/\eta$ ，从而允许优化器退出 EoS 机制。
比较： 通过比较干预后两分支间各组损失（ $\ell_k$ ）的差异，作者隔离了 E 是否 E 稳定性约束的因果影响。

2.3 机制隔离

作者测试了两个假设的、使一个子集受益于 EoS 的必要条件：

方向对齐（Directional Alignment）： 子集的聚合梯度必须与顶层 Hessian 特征向量（ $v_1$ ）对齐。通过构建“随机方向”的输入离群点来测试这一点：保持位移距离不变，但随机化方向以破坏相干对齐。
梯度持久性（Gradient Persistence）： 子集必须维持非消失的梯度量级。通过比较均方误差（MSE）损失（梯度持续存在）与交叉熵（CE）损失（对于置信分类的点，梯度消失）来进行测试。

3. 关键结果

3.1 选择性学习权衡

分支干预表明，EoS 是选择性的，而非全局性的。稳定性约束不均匀地重新分配了优化精力：

受益者： 那些其梯度与 $v_1$ 对齐且持续存在的子集（例如 MSE 下的输入离群点，以及 CE 下的输出离群点）在 EoS 分支中表现出比退出分支更快的损失下降。
抑制者： 梯度正交或量级消失的子集（例如特定条件下的内点和边界点）在 EoS 分支中相对于退出分支表现出进度受阻。
这种权衡在不同架构（CNN, ResNet）、优化器（SGD, Momentum）和类别对之间均得到了复现。

3.2 机制：对齐 $\times$ 持久性

两个条件共同决定了一个组能否捕获 EoS 的优势：

对齐： 该组的聚合梯度必须与顶层 Hessian 特征向量（ $v_1$ $v_{1}$ ）对齐。
- 证据： 当输入离群点在保持距离但破坏对齐的情况下进行随机方向位移时，其曲率影响 $(\nabla \ell_k \cdot v_1)^2$ 下降了一个数量级，且 EoS 优势也随之消失。
持久性： 该组必须保持非消失的梯度量级。
- 证据： 在交叉熵损失下，分类置信度高的输入离群点的梯度会饱和（消失）。因此，EoS 优势转移到了输出离群点，尽管其对齐程度可能较低，但由于标签不一致性，其梯度保持活跃。

3.3 几何决定受益者

受益于 EoS 的子集由数据分布的几何构成决定：

在标准的 CIFAR-10 设置中，输入离群点（距离质心最远的点）主导了 $v_1$ 并从中受益。
在更难的类别对（猫 vs 狗）或使用不同的离群点构建参数时，边界点可能成为最远的一组，从而主导 $v_1$ 并成为主要的受益者。
自然数据： 在自然 CIFAR-10 分布上，在 EoS 发生时，质心距离与对 $v_1$ 的对齐程度之间呈现正相关，证实了几何离群点自然地驱动了不稳定模式。

3.4 泛化与鲁棒性含义

论文提出了初步证据，表明训练时的选择性会迁移到测试时的行为：

对抗鲁棒性： 仅当边界点主导 $v_1$ 时，EoS 才会提高边界点的鲁棒性。如果输入离群点占主导，EoS 分支在边界鲁棒性方面表现较差，因为优化预算被转移了。
分布外（OOD）泛化： 仅当这些输入在训练期间主导 $v_1$ 时，EoS 才会提高在外推输入上的 OOD 性能。

4. 理论框架

作者将自稳定性框架（Damian et al., 2023）从全局损失扩展到逐子集损失。他们推导出在 EoS 机制中的循环平均漂移包含一个与 $-\nabla S$ （其中 $S$ 是锐度/sharpness）成正比 world 的额外项。对子集 $k$ 的差异化影响由选择器控制：
$Q_k = \langle \nabla \ell_k, \nabla S \rangle$
在单模态近似下，该选择器正比于子集梯度在顶层特征向量上的投影平方：
$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$
这一分解证实了，若要使一个子集体验到 EoS 漂移，方向对齐（ $\cos^2 \theta_k$ ）和梯度量级持久性（ $\|\nabla \ell_k\|^2$ ）两者都是必需的。

5. 意义与主张

本文声称将 EoS 的理解从标量稳定性边界转向了管理数据分布间学习分配的机制。

重构平坦性（Flatness）： 作者认为，“平坦性”不是解的一个标量属性，而是一个由数据几何决定的方向属性。低曲率的功能性收益完全取决于哪个子集主导了顶层 Hessian 特征方向。
归纳偏置： EoS 作为一种归纳偏置，根据特定子集与不稳定模式的几何关系来选择特定的子集进行优化，而非仅仅是在等效极小值之间进行选择。
统一视角： 本研究将参数空间的隐式正则化（曲率约束）与数据分布上的归纳偏置（哪些样本被学习）联系了起来。
研究范围限制： 作者承认了局限性，指出由于计算 Hessian-向量积的成本较高，其实验仅限于小型模型和全批次训练。他们指出，这些选择性效应是否在更大规模的数据集、小批量优化器或表示空间原型中持续存在，仍是一个开放性问题。

总之，本文证明了稳定性边缘是一个选择性机制，稳定性约束会放大那些与顶层 Hessian 特征方向对齐且持续存在的子集的学习，同时抑制其他子集，从而从根本上塑造了模型的函数特性。