🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

本文提出了一种受曲率启发的、具有动态衰减 $p$ 参数的 $\ell_p$ 范数优化方案，该方案从抑制高曲率主导地位过渡到实现稳定更新，从而产生了实现 $O(T^{-1/2})$ 收敛并在各种深度神经网络架构和数据集上提升泛化能力的 LPSGD 和 LPSGDM 优化器。

原作者： Jianhao Xu, Zhuang Yang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jianhao Xu, Zhuang Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：在变化的景观中航行

想象一下，你正试图引导一辆沉重的推车沿着山坡向下行驶，目标是到达山谷的最底部（即 AI 模型的完美解）。这座山的起伏地形就是深度神经网络（DNN）的“损失景观”（loss landscape）。

问题在于，随着你的行进，这座山的形状也在发生变化：

在山顶阶段（训练初期）： 地形狂野且崎岖。有些路径是极其陡峭的悬崖（高曲率），而另一些则是平缓、平坦的斜坡（低曲率）。
在山底阶段（训练后期）： 地形变得平滑。悬崖消失了，地面变得相对平坦且均匀。

论文指出，我们通常用来引导推车的工具（优化器）由于只能使用一种类型的轮子，导致在一种情况下表现出色，但在另一种情况下却表现糟糕。

问题所在：两种糟糕的轮子

作者解释说，目前的 AI 训练方法通常依赖于两种“几何结构”（即测量距离和方向的方式）：

$\ell_2$ 范数（标准轮）：
- 工作原理： 它根据推力的力度大小，平等地对待每一个方向。
- 缺陷： 在崎岖的山顶，这种轮子会陷入困境。如果某个方向存在陡峭的悬崖，轮子会感到“恐惧”并减慢所有方向的速度以避免坠落。它忽略了那些可以快速移动的平缓斜坡。这就像开着一辆制动过于敏感的汽车，只要遇到一个小颠簸，刹车就会锁死，导致无法在平直路段加速。
$\ell_\infty$ 范数（“符号”轮）：
- 工作原理： 它完全忽略推力的力度大小，只看方向（左或右，上或下）。它在每个方向上都采取步长完全一致的步伐。
- 缺陷： 这在崎岖的悬崖地带表现出色，因为它不在乎陡峭程度，只管向前推进。然而，一旦到达平坦的山谷底部，这个轮子就变得毫无用处了。因为它在每个方向都采取同样大的步长，它会开始在谷底来回跳动（振荡），无法温柔地停留在谷底的最深处。

解决方案：“变形”轮

作者提出了一种名为 $\ell_p$ 范数调度（ $\ell_p$ -norm scheduling） 的新方法。他们并没有选择其中一种轮子，而是制造了一个能根据所处位置改变形状的**“变形轮”**。

策略： 他们使用“余弦调度”（一种平滑的、波浪式的曲线）来随时间改变轮子的形状。
- 早期阶段（崎岖的山顶）： 轮子的形状开始像 $\ell_\infty$ 范数一样。它忽略极端的陡峭程度，高效地穿过崎岖地形，防止了“锁死”问题。
- 后期阶段（平坦的山谷）： 随着训练的进行，它会平滑地演变成标准的 $\ell_2$ 范数形状。现在地面变平坦了，它可以采取精确、轻微的步伐，在不产生跳动的情况下，完美地停留在最低点。

你可以把它想象成登山者的鞋履：

在开始阶段，他们穿着带有尖刺的坚固靴子，以抓牢岩石崎岖的悬崖并保持前进。
当他们到达底部的平坦草地时，他们换上了柔软、灵活的拖鞋，以便安静地行走，并在不绊倒的情况下找到田野的正中心。

他们如何证明其有效性

论文并不仅仅是靠猜测，他们做了两件事：

数学证明： 他们利用数学证明了这种“变形”方法保证最终能找到谷底，并且精确计算了到达该处所需的时间。
现实测试： 他们将新的优化器（命名为 LPSGD 和 LPSGDM）应用于著名的图像数据集（如 CIFAR 和 ImageNet）以及标准的 AI 模型（如 ResNet）。
- 结果： 他们的“变形”方法始终优于标准方法。它在初期学习得更快，并在结束时实现了更高的准确率。例如，在一次测试中，它比现有的最佳方法提高了近 2% 的准确率——这在 AI 领域是一件了不起的大事。

总结

简而言之，这篇论文的核心观点是：“不要用单一的工具完成所有的工作。”

训练 AI 就像穿越一个从崎岖山脉到平坦平原不断变化的景观。作者创建了一个智能优化器，它先进入“无惧攀爬”模式，然后平滑过渡到“精准行走”模式。这使得 AI 能够学习得更快，并最终获得比使用单一、不变的方法更聪明、更准确的模型。

技术摘要：超越 $\ell_2$ 范数与 $\ell_\infty$ 范数：一种受曲率启发的深度神经网络 $\ell_p$ 范数方案

问题陈述

深度神经网络（DNN）的训练往往受到**曲率各向异性（curvature anisotropy）**的阻碍，这是一种损失函数景观在不同参数维度上表现出截然不同的曲率的现象。研究指出，现有的优化器通常依赖于固定的几何假设，这些假设无法适应训练过程中各向异性的动态变化：

基于 $\ell_2$ 范数的优化器（例如 SGD）： 这些优化器受高曲率方向的主导。在训练早期阶段（其特征是具有较大的 Hessian 特征值离群值），由于曲率各向异性极强，基于 $\ell_2$ 的更新会限制在较平坦方向上的进展，从而导致收敛速度变慢。
基于 $\ell_\infty$ 范数的优化器（例如 Lion、signSGD 等基于符号的方法）： 这些方法根据梯度符号以相同的幅度更新坐标。虽然它们在高度各向异性的区域非常有效，但在平坦区域（训练后期阶段）由于缺乏幅度缩放，容易导致振荡。

近期对 Hessian 特征值分布的研究（例如在 CIFAR-10 上的 ResNet-18 和在 ImageNet-1K 上的 ResNet-50）表明，损失景观从一个具有极端特征值的强各向异性、非凸状态，逐渐演变为后期阶段更平坦、弱各向异性且近似凸的区域。核心问题在于：单一固定的范数几何（ $\ell_2$ 或 $\ell_\infty$ ）是否足以应对整个训练过程，还是需要一种动态方案来匹配这些演变的曲率结构。

方法论

作者提出了一种余弦 $\ell_p$ 范数方案（Cosine $\ell_p$ -Norm Scheme），通过动态调整整个训练过程中的范数参数 $p$ ，以对齐变化的曲率各向异性。

1. 理论动机

基于 $\ell_p$ 平滑模型， $\ell_p$ 几何下的最速下降更新方向涉及一个坐标级缩放因子 $|g^{(i)}|^{p-2}$ 。

当 $p=2$ （欧几里得几何）时，更新随梯度幅度线性缩放。
当 $p > 2$ 时，缩放变为亚线性（ $\alpha = \frac{1}{p-1} < 1$ ），从而压缩方向性的不平衡，抑制高曲率方向的主导地位。
当 $p \to \infty$ 时，更新趋向于基于符号的形式（ $\ell_\infty$ ），完全忽略幅度。

作者认为，较大的 $p$ （例如 $p > 2$ ）有利于处理早期训练中的强各向异性，而较小的 $p$ （趋向于 2）在后期阶段更理想，以确保在平坦区域进行稳定、精细的更新。

2. 提出的算法

该方案被集成到随机梯度下降（SGD）和带动量的 SGD（SGDM）中，从而创建了两种新优化器：LPSGD 和 LPSGDM。

动态调度： 第 $s$ 个 epoch 的范数参数 $p_s$ 使用余弦退火策略进行调度：
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
其中 $p_{\max} \geq 2$ 是初始最大范数， $S$ 是总 epoch 数。该调度从 $p_{\max}$ 开始，并平滑衰减至 2。
更新规则： 对于随机梯度 $g_t$ （或 LPSGDM 中的动量缓冲 $m_t$ ），更新方向 $u_t$ 通过非线性缩放映射计算：
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
其中 $\rho_s = \frac{p_s - 2}{p_s - 1}$ ， $\epsilon$ 是稳定性常数。随后参数更新为 $\theta_{t+1} = \theta_t - \eta u_t$ （同时加入权重衰减用于 LPSGDM）。

3. 收敛性分析

论文为非凸随机优化提供了理论保证：

在标准假设（ $\ell_p$ 平滑性、无偏梯度、有界噪声）下，作者证明了 LPSGD 和 LPSGDM 均能实现期望平方梯度范数的 $O(T^{-1/2})$ 收敛速率，其中 $T$ 是迭代次数。
该分析依赖于建立变换后的更新方向的条件对齐性和有界二阶矩。

核心贡献

曲率演化的表征： 本工作通过实验表征了 DNN 训练期间 Hessian 特征值分布的演化，强调了从强各向异性向弱各向异性的转变。
余弦 $\ell_p$ 范数方案： 一种创新的调度策略，通过将优化器的几何结构从高 $p$ 范数（抑制离群曲率主导）过渡到欧几里得范数（确保平坦区域的稳定性），且计算开销几乎可以忽略不计。
新优化器（LPSGD/LPSGDM）： 将该方案集成到标准的阶一阶方法中，产生了优于现有基准方法的算法。
理论保证： 为所提算法在非凸设置下的 $O(T^{-1/2})$ 收敛速率提供了严谨的证明。

实验结果

在各种架构（VGG-11, ResNet-18, ResNet-50）和基准数据集（CIFAR-10, CIFAR-100, ImageNet-1K）上进行了广泛实验。所提方法与 SGD w/ Momentum、AdamW 和 Lion 进行了对比。

CIFAR-10： LPSGDM 在所有模型和检查点中始终取得了最高的 Top-1 准确率。例如，在 ResNet-18 上，它在 200 个 epoch 时达到 94.81% 的准确率，优于 SGD (93.15%)、AdamW (94.09%) 和 Lion (94.04%)。
CIFAR-100： 在这个更具挑战性的设置中，性能差距进一步扩大。LPSGDM 在 ResNet-18 上达到 77.98%，在 ResNet-50 上达到 76.78%，显著优于基准方法（例如在 ResNet-50 上比最佳基准高出 1.87%）。
ImageNet-1K： 在 ResNet-50 上，LPSGDM 在训练中期和后期阶段均超越了所有基准方法，在第 60 个 epoch 时达到 74.04% 的 Top-1 准确率，比 AdamW 高出 2.25 个百分点。
泛化能力： 值得注意的是，即使在训练负对数似然（NLL）并非最低的情况下，LPSGDM 通常也能获得更高的测试准确率，这表明该方法提升的是解的泛化质量，而不仅仅是最小化训练损失。

意义与主张

论文声称，所提出的余弦 $\ell_p$ 范数方案通过适应 DNN 损失景观内在的几何变化，有效地解决了固定范数优化器的局限性。通过在训练早期动态抑制高曲率方向的主导地位，并在后期过渡到稳定的欧几里得更新，该方法实现了卓越的泛化性能。作者强调，这种方法仅需要一阶信息，且增加的计算成本极小（仅为元素级缩放），使其成为现有优化框架的一种实用且可扩展的增强方案。 $O(T^{-1/2})$ 的理论收敛速率证实了这些经验收益得到了严谨数学分析的支持。