🤖 machine learning

Navigating Potholes with Geometry-Aware Sharpness Minimization

本文介绍了 LLQR+SAM，这是一种新颖的优化方法，它将锐度感知最小化与来自 LLQR 框架的、缓慢更新的 learned 预条件器相结合，专门用于靶向并逃离“坑洞”状尖锐极小值，同时在宽阔平坦的盆地中保持稳定性，从而在各类基准测试中超越了单独的 SAM 和 LLQR。

原作者： Simon Dufort-Labbé, Mehrab Hamidi, Razvan Pascanu, Ioannis Mitliagkas, Damien Scieur, Aristide Baratin

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Simon Dufort-Labbé, Mehrab Hamidi, Razvan Pascanu, Ioannis Mitliagkas, Damien Scieur, Aristide Baratin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在广阔而雾气弥漫的山脉中找到最低点。这正是训练人工智能（AI）的过程：AI 试图通过在一个复杂的地形中找到最深的山谷，来最小化其“损失”（即错误）。

问题在于，这片地形十分棘手。它具有两种特征：

宽阔平缓的盆地：这些是理想的定居点，因为它们稳定且能带来良好的结果（泛化能力）。
尖锐狭窄的坑洞：这些看起来像深坑，但实际上是陷阱。如果你掉进去，可能会被困在一个局部看似不错但整体表现糟糕的地方。

本文介绍了一种名为LLQR+SAM的新方法，旨在帮助 AI 更有效地穿越这片地形。它结合了两种通常独立工作的现有策略，证明它们协同工作时效果更佳。

两种现有策略

1. “尖锐度”侦探（SAM）
将SAM（Sharpness-Aware Minimization，尖锐感知最小化）想象成一位害怕掉进坑洞的徒步者。在迈出一步之前，SAM 会向各个方向戳探地面。如果地面感觉“尖锐”（陡峭且不稳定），它就知道要避开那个位置。

缺陷：SAM 有点笨拙。无论地形是宽阔的山谷还是狭窄的峡谷，它都以相同的力度向各个方向戳探地面。它平等地对待所有方向，这可能导致效率低下。

2. “地图”阅读器（LLQR）
将LLQR想象成一位长期研究地形的制图师。它不戳探地面，而是构建一个缓慢移动、平滑处理的地形概貌图。它学习哪些方向陡峭、哪些方向平坦，从而让徒步者能够采取更聪明、更高效的步伐。

缺陷：因为它研究的是“平均”形状，所以移动缓慢。它可能会错过徒步者正前方突然出现的尖锐坑洞，因为它的地图过于模糊，无法看清细节。

新方案：LLQR+SAM

作者意识到，这两种方法实际上是完美的搭档。他们将它们结合为LLQR+SAM，创造出一个既拥有缓慢移动的地图，又具备敏锐快速戳探能力的徒步者。

以下是通过一个简单类比来说明其工作原理：

“慢地图”与“快戳探”
想象你正在一条颠簸的道路上开车。

LLQR是你的 GPS。它更新缓慢，为你提供道路曲率的大致情况（是长直公路还是蜿蜒的山路？）。它帮助你平稳转向。
SAM是你的悬挂系统。它对每一个颠簸做出即时反应。如果你撞上突然出现的坑洞，悬挂系统会吸收冲击，防止你撞毁。

“双时间尺度”的魔力
本文认为，这两个系统以不同的速度运行，这正是关键所在：

慢速（地图）：GPS（LLQR）告诉汽车：“嘿，总的来说，这条路是平坦的。”这设定了汽车应如何行驶的基础。
快速（戳探）：悬挂系统（SAM）检测到 GPS 漏掉的一个具体而尖锐的坑洞。

“坑洞逃脱”机制
这是本文发现的巧妙之处：

如果你身处宽阔平坦的山谷，GPS 会说“正常行驶”，而悬挂系统只需保持你的稳定。你便停留在良好的位置。
如果你掉进尖锐的坑洞，悬挂系统（SAM）会试图将你推出。但关键在于：因为 GPS（LLQR）已经告诉汽车周围区域是平坦的，悬挂系统的推力会被放大。

这就像蹦床。如果你身处一个被平坦蹦床包围的深窄坑洞（坑洞），一次小小的跳跃（SAM 的戳探）会将你高高弹起，因为平坦的周围区域起到了弹簧的作用。周围区域的“平坦性”实际上帮助你更快地逃离坑洞。

如果没有 GPS（LLQR），悬挂系统（SAM）只会以同样微弱的力量向各个方向将你推出。有了 GPS，推力会在最需要的地方变得更强：即逃离尖锐陷阱的同时，确保在宽阔山谷中的安全。

结果展示

作者在多种 AI 任务上测试了这种方法，从识别图像（如猫和狗）到翻译语言。

更高的准确率：这种组合方法 consistently 优于仅使用“地图”或仅使用“戳探”。
效率：他们曾担心添加“地图”阅读器会让汽车行驶过慢。然而，他们发现地图更新非常不频繁（仅在每小时驾驶中更新几次），因此不会显著拖慢速度。这就像每 10 分钟查看一次 GPS；它不会破坏你的驾驶体验，但能帮助你避免迷路。

总结

本文声称，通过将对地形形状的缓慢、习得性理解与快速、尖锐度检测的戳探相结合，AI 模型能够更可靠地避免陷入糟糕的位置（坑洞），并找到更好的解决方案（宽阔山谷）。这不仅仅是将两种工具相加，而是利用一种工具让另一种工具工作得更聪明。

技术摘要：利用几何感知锐度最小化规避“坑洞”

问题陈述

现代深度学习损失景观呈现出双尺度结构：由架构和数据塑造的大尺度平滑特征（宽阔的盆地、山谷），以及作为泛化能力差之吸引子的小尺度尖锐特征（狭窄山谷、局部“坑洞”）。当前的优化研究通过两条基本独立的探究路线来解决这些尺度问题：

几何感知方法（例如自然梯度、K-FAC、Shampoo）利用曲率估计重塑下降方向，以解决平均损失几何中的病态问题。然而，由于依赖累积的平滑统计量，它们通常对尖锐的局部特征不敏感。
锐度感知方法（例如 SAM）通过扰动参数将优化偏向更平坦的极小值。虽然 vanilla SAM 在探测局部锐度方面有效，但它以欧几里得方式均匀对待所有参数方向，忽略了底层的优化几何结构。

核心问题在于：单一方法无法完全捕捉必要的动态；几何感知方法忽略了局部锐度，而锐度感知方法缺乏几何方向性。

方法论：LLQR+SAM

作者提出了LLQR+SAM，这是一种混合算法，协同结合了缓慢更新的、学习到的预条件器与锐度感知扰动。

1. 预条件器 (LLQR)

该方法利用LLQR（逐层线性二次调节器），这是一个学习结构化逆预条件器 $U$ 的框架（其中 $P = U^{-1}$ 为度量）。

机制：LLQR 将最速下降法重构为逐层最优控制问题。它最小化一个源自逐层网络动力学和选定散度（例如 KL/Fisher 或 Newton/Bregman）的线性二次调节器目标函数。
更新调度：预条件器 $U$ 稀疏更新（例如每 500 步一次），并维持为缓慢的指数移动平均（EMA）。这确保 $U$ 捕捉到平均损失几何的平滑、低分辨率图像，同时对快速、局部的波动保持不敏感。
结构： $U$ 由结构化块（例如对角线或 K-FAC）表示，以平衡表达能力和计算成本。

2. 锐度扰动 (SAM)

标准 SAM 在欧几里得球内的最坏情况扰动下评估梯度。LLQR+SAM 对此进行了两方面的修改：

几何感知扰动：扰动 $\epsilon_t$ 是在由学习到的度量 $P = U^{-1}$ 诱导的范数下计算的。扰动方向是 $P$ 下的归一化最速上升方向：
$\theta^+ = \theta + \rho \frac{U g(\theta)}{\|g(\theta)\|_U}$
几何感知传输：外部梯度更新同样利用相同的学习度量 $U$ 将梯度从扰动点传输回来：
$\theta \leftarrow \theta - \eta U \nabla L(\theta^+)$

3. 算法流程

该算法在双时间尺度结构上运行：

慢时间尺度：LLQR 状态 $U$ 定期更新以跟踪平均几何结构。
快时间尺度：在每个小批量上，使用当前的 $U$ 应用 SAM 扰动，并使用 $U$ 传输由此产生的梯度。

理论分析：坑洞逃逸

作者在双尺度二次模型上分析了该方法： $L(\theta) = \frac{1}{2}\theta^\top (\bar{H} + H_\epsilon)\theta$ ，其中 $\bar{H}$ 代表平滑的平均几何结构， $H_\epsilon$ 代表尖锐的局部“坑洞”。

悬停机制：SAM 扰动防止迭代点完全停留在极小值处，迫使其在极小值周围“悬停”。
逃逸放大：在对应于坑洞的方向上，LLQR+SAM 的悬停包络（振荡尺度）被推导为 $\rho \bar{\lambda}^{-1/2}$ ，其中 $\bar{\lambda}$ 是平均几何结构的曲率。
关键洞察：对于 vanilla SAM，悬停包络在所有方向上都是均匀的（ $\rho$ $ρ$ ）。对于 LLQR+SAM，包络被平均曲率的逆平方根缩放。
- 在宽阔盆地（ $\bar{\lambda}$ 小）中，悬停尺度很大，但仍保持在盆地内。
- 在坑洞中（局部锐度高，但周围平均盆地平坦），悬停尺度超过了坑洞的吸引域。
结果：预条件器在平均几何平坦但局部特征尖锐的方向上放大了逃逸信号。这种放大因子随着周围盆地变得平坦而增长，而这正是预条件最有益的领域。

实验结果

作者在标准的视觉和序列建模基准上验证了 LLQR+SAM，证明了其相对于各个独立组件（仅 LLQR、仅 SAM）及其他基线的一致提升。

视觉基准：
- CIFAR-10/100：LLQR+SAM 在 VGG16-BN、ResNet-18、WRN-28-10 和 PyramidNet-110 上实现了最先进的测试准确率。由自然梯度（NGD）诱导的几何变体通常产生最强的结果。
- TinyImageNet：该方法优于仅使用 SAM，即使在仅使用 LLQR 未超越 SGD 的设置中也是如此，表明几何结构提供了互补信息。
- ImageNet (ResNet-50)：将 LLQR 与 F-SAM（一种强大的 SAM 变体）结合，比单独使用 F-SAM 获得了更好的 Top-1 准确率和更快的收敛速度。
序列建模：
- IWSLT14 (德语到英语)：在 Transformer 模型上，与 AdamW、SAM 和仅 LLQR 相比，LLQR+SAM 实现了最佳的 BLEU 分数和更快的优化收敛。
鲁棒性：
- 标签噪声：在对称标签篡改（高达 80% 噪声）下，LLQR+SAM 表现出优于 SAM 的鲁棒性，表明通过学习到的几何结构传输锐度感知更新增强了抵抗损坏监督的能力。
可扩展性：
- ViT 模型：在 ViT-Tiny 到 ViT-Large 上的实验表明，LLQR+SAM 的计算开销随参数数量呈近乎线性缩放（ $O(P^{1.27})$ ），远优于二阶方法典型的二次缩放。当 LLQR 更新频率较低时，实际运行时间仍然实用。

意义与主张

该论文声称，缓慢学习的几何结构与快速锐度校正的结合是协同的，而不仅仅是加性的。

互补机制：学习到的预条件器 $U$ 和 SAM 扰动并非独立的成分，而是对单一学习几何结构的两种互补使用。 $U$ 在平坦方向上实现快速收敛，同时放大来自尖锐坑洞的逃逸信号。
理论依据：双时间尺度结构被证明是导航复杂景观的机制：慢度量调整“悬停”尺度以匹配平均几何结构，使优化器能够逃离尖锐的局部极小值，同时在宽阔盆地中保持稳定。
实际效率：尽管是一种受二阶方法启发的方法，LLQR+SAM 并未成为计算瓶颈。它保留了 SAM 的性价比，同时提供更强的泛化能力，使其成为大规模训练的可行选择。

作者对局限性保持了谦逊，指出其理论分析依赖于理想化的二次模型，且实证范围虽然广泛，但尚未涵盖大型语言模型的预训练或所有架构家族。