🤖 machine learning

Rényi Sharpness: A Novel Sharpness that Strongly Correlates with Generalization

本文引入了 Rényi 锐度（Rényi sharpness），这是一种基于 Rényi 熵的新型度量指标，用于表征损失 Hessian 谱的平均展宽，证明了其与神经网络泛化能力的卓越相关性，并由此实现了具有竞争力的 RSAM 正则化算法的开发。

原作者： Qiaozhe Zhang, Jun Sun, Ruijie Zhang, Yingzhuang Liu

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qiaozhe Zhang, Jun Sun, Ruijie Zhang, Yingzhuang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，计算机通过调整数百万个微小的内部旋钮来学习解决问题，这一过程通常涉及在广阔而复杂的误差景观中寻找最低点。多年来，科学家们一直认为，这种景观的形状蕴含着为何某些学习模型在处理新数据时表现出色，而另一些则会失败的秘密。普遍的直觉是，模型如果能落在该景观中宽阔、平坦的谷底，其泛化能力会比那些处于陡峭、狭窄峰顶的模型更好。这种观点认为，平坦的极小值起到了缓冲作用，使模型能够容忍数据的微小变化而不至于性能崩溃。然而，近期的研究对这一简单的图景提出了质疑，发现传统测量谷底“平坦”或“陡峭”程度的方法往往无法预测模型的实际表现。用于测量这种景观的旧尺子似乎忽略了最重要的细节，导致出现了一些令人困惑的结果：即被一种度量标准判定为“平坦”的模型，实际上却是一个糟糕的泛化者。

华中科技大学的一个研究小组现在针对这一问题提出了一种新的观察方式，他们认为理解泛化的关键不在于谷底的平均深度或其最陡峭侧壁的高度，而在于地形本身的不均匀性。他们观察到，景观是由一个数值谱定义的，就像一段由许多不同音符组成的音乐和弦。其中一些音符非常响亮且数量稀少，另一些则较为细微但数量众多，还有一些几乎听不到。以往的方法只关注最响亮的音符或整个和弦的平均音量，忽略了那些较细微音符的具体分布。研究人员意识到，为了让模型实现良好的泛化，整个频谱需要保持平衡，不能有任何单一部分以一种导致不稳定的方式主导其他部分。为了捕捉这种微妙的平衡，他们转向了信息论中的一个概念——瑞利熵（Rényi entropy），这是一种旨在衡量一组数值分布不均匀程度的数学工具。

通过将这一概念应用于神经网络的内部结构，该团队定义了一种名为“瑞利锐度”（Rényi sharpness）的新度量标准。与那些可能会被模型的规模或特定构建方式所误导的旧度量标准不同，这种新度量标准无论模型的内部参数如何拉伸或偏移，都能保持一致性。研究人员证明，该度量标准在数学上与模型在训练数据上的表现与在未见过的全新数据上的表现之间的差距相关联。在实验中，他们在各种网络架构和数据集上测试了这一新度量标准，范围涵盖了从简单的图像识别任务到更复杂的视觉处理任务。他们发现，瑞利锐度对泛化性能的预测能力远优于现有方法，在以往度量标准失效甚至与现实相悖的地方，它展现出了强大且可靠的相关性。

为了将这种新理解投入实践，研究人员开发了一种名为“瑞利锐度感知最小化”（Rényi Sharpness Aware Minimization，简称 RSAM）的训练算法。该算法在学习过程中充当引导者，轻轻地将模型从具有不均匀内部数值频谱的解中引导出来，转向那些更加平衡的解。在面对面的对比测试中，这种新方法在提高泛化能力方面被证明比目前最先进的技术更为有效，而后者依赖于较旧且不够准确的景观平坦度测量方式。研究结果表明，通过关注模型内部值的完整分布而非仅仅关注极端值，我们可以构建出不仅更聪明、而且在面对现实世界时更加稳健的人工智能系统。这项工作提供了一张更清晰的学习景观地图，表明模型成功的秘密在于其整个内部结构的和谐，而不仅仅在于其最响亮的音符。

技术总结：Rényi Sharpness（Rényi 锐度）

1. 问题陈述

过参数化神经网络的泛化能力被广泛认为与损失景观（loss landscape）极小值的“平坦度”有关。然而，现有的锐度度量标准——例如 Hessian 矩阵的迹（ $\text{tr}(H)$ ）或最大特征值（ $\lambda_{\max}(H)$ ）——往往与泛化性能表现出微弱甚至矛盾的相关性。本文指出，这些传统的度量指标是不充分的，因为它们仅关注 Hessian 谱的特定部分：迹捕捉的是平均值（由中间特征值主导），而最大特征值仅捕捉最大的特征值。因此，它们无法解释整个 Hessian 谱的平均分布情况（或不均匀性），而作者认为这才是决定泛化的关键因素。

2. 方法论

2.1 核心概念：Rényi Sharpness

为了表征 Hessian 谱的不均匀性，作者提出了 Rényi Sharpness，其定义为损失 Hessian $H$ 的归一化特征值的负 Rényi 熵。

定义： 对于具有特征值 $\lambda_i$ 的 Hessian 矩阵 $H$ ，Rényi Sharpness 定义为 $-H_\alpha(H)$ ，其中 $H_\alpha(H)$ 是归一化谱 $(\lambda_i / \text{Tr}(H))$ 的 Rényi 熵。
原理： Rényi 熵（源自信息论）是一个能够捕捉分布不均匀性的凹函数。通过调整阶数参数 $\alpha$ ，该度量可以调节对大特征值和小特征值的敏感度平衡。
关键特性： 当激活函数是齐次的（或接近齐次的，如 GELU/Transformer 中的激活函数）时，该度量具有重参数化不变性（具体而言是在层级缩放变换下）。这一特性对于推导理论界限至关重要。

2.2 理论框架

本文建立了两个将总体风险（population risk）与 Rényi Sharpness 联系起来的泛化界限：

数据扰动转换： 作者认为数据差异可以建模为乘性权重扰动。
界限： 通过利用 Rényi Sharpness 的重参数化不变性，并将数据差异转化为权重扰动，作者推导出了泛化界限（定理 3.2 和 3.3），其中泛化差距被包含着涉及 Hessian Rényi 熵的项所限制。这些界限表明，最小化 Rényi Sharpness 在理论上可以约束泛化差距。

2.3 估计算法

直接计算完整的 Hessian 谱在计算上是极其昂贵的。本文提出了一种基于**随机 Lanczos 积分法（Stochastic Lanczos Quadrature, SLQ）**的快速估计算法：

Rényi 熵被重新表述为矩阵幂次的迹 $\text{Tr}(H^\alpha)$ 的一个泛函。
使用 Hutchinson 方法（随机迹估计器）和 Lanczos 算法来高效近似 $\text{Tr}(H^\alpha)$ 和 $\text{Tr}(H)$ ，而无需进行显式的特征值分解。

2.4 正则化：RSAM

为了在训练中使用该度量，作者提出了 Rényi Sharpness-Aware Minimization (RSAM)。

近似： 为了避免在训练期间计算精确 Hessian 的高昂成本，RSAM 使用梯度平方幅度的平方来近似 Hessian（ $H \approx G_M$ ）。
目标： 该算法最小化一个正则化损失，其中正则项是源自梯度向量的 Rényi Sharpness 变体。
实现： 在切换到 RSAM 之前，采用使用标准 SGD 的预热（warm-up）策略，以确保训练稳定性。

3. 主要贡献

新颖度量： 引入了 Rényi Sharpness，这一度量受观察到的 Hessian 谱分布规律启发，旨在捕捉通过 Rényi 熵体现的谱分布不均匀性。
理论界限： 利用重参数化不变性和数据-权重扰动转换，建立了关于 Rényi Sharpness 的两个严谨的泛化界限。
经验相关性： 在各种架构（ResNet, ViT）和数据集（CIFAR-10/100, TinyImageNet）上展示了 Rényi Sharpness 与泛化差距之间强且一致的相关性，其表现优于 trace、max-eigenvalue、Fisher-Rao 以及基于 PAC-Bayes 的度量。
算法： 提出了 RSAM 算法，该算法使用 Rényi Sharpness 的变体作为正则项。

4. 实验结果

相关性分析： 使用 Kendall 秩相关系数，Rényi Sharpness 与泛化差距的相关性显著高于现有度量（如 SAM, ASAM, Trace, Parameter Norm）。在许多情况下，其他度量的相关性接近于零甚至为负。
阶数选择： 作者分析了 Hessian 谱并发现两种主要的类型：“零主导多簇型”（需要 $\alpha \in (0,1)$ ，通常取 $\alpha=0.5$ ）和“零主导均匀型”（需要 $\alpha > 1$ ，通常取 $\alpha=1.5$ ）。
训练性能： 在使用 ResNet 和 WideResNet 处理图像分类任务（CIFAR-10/100, TinyImageNet）时，RSAM 达到了最先进的测试准确率，优于标准的 SGD、SAM、ASAM、Eigen-SAM 和 Fisher-SAM。
- 示例： 在 CIFAR-10 的 ResNet-56 上，RSAM 达到了 95.26% 的准确率，而 SAM 为 94.96%，ASAM 为 95.12%。
- 示例： 在 CIFAR-100 的 ViT-B-16 上，RSAM 达到了 89.58%，优于 SAM (89.38%) 和 ASAM (88.78%)。

5. 意义与主张

本文声称，Rényi Sharpness 通过关注 Hessian 谱的分布而非仅仅是其极值或平均值，解决了锐度直觉与泛化现实之间的脱节问题。

理论意义： 它通过信息论中的熵，建立了泛化与损失景观“不均匀性”之间的严谨理论联系。
实践意义： 所提出的 RSAM 算法为现有的锐度感知最小化（Sharpness-Aware Minimization）方法提供了一个具有竞争力的、通常更优的替代方案。
谦逊态度： 作者承认目前的 RSAM 实现依赖于 Hessian 的近似（使用梯度幅度）以提高计算效率。他们指出，在某些任务上 RSAM 与其他方法（如 ASAM）之间的性能差距可能源于这种近似，这表明使用精确的 Rényi Sharpness 或更紧密的估计器可能会带来进一步的提升。他们并不声称 RSAM 解决了所有的泛化问题，而是将其定位为理解和优化损失景观几何结构的一个重要进展。