Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

技术摘要：通过局部曲率与锐度感知最小化解释基于 $f$-散度的正则化

问题陈述
在终身学习智能体及通用深度学习的背景下，实现鲁棒的泛化能力需要控制过拟合和局部敏感性。两种突出的方法是：基于散度的正则化（惩罚原始输入与扰动输入之间的预测分布差异）以及锐度感知最小化（SAM，旨在寻找具有平坦损失景观的参数）。虽然这两种方法都受到对扰动鲁棒性的启发，但它们的理论关系在很大程度上仍未得到充分探索。具体而言，尚不清楚由散度正则化诱导的局部几何结构是否可以与 SAM 隐式控制的 Hessian 结构建立正式的联系。即：由散度正则化产生的局部几何形状是否能与 SAM 所控制的 Hessian 结构在形式上相关联。

方法论
本文通过分析 $f$-散度正则化的局部二阶几何结构，建立了一个统一的理论框架。作者通过以下步骤展开研究：

1. 局部二次展开： 他们推导了当模型的预测分布 $P$ 与扰动分布 $Q$ 接近时，$f$-散度的二阶泰勒展开。他们证明了在这一局部机制下，任何 $f$-散度都会简化为一个由 $\phi''(1)/2$ 缩放的二次惩罚项。
2. 几何解释：
   • 参数空间： 当扰动发生在参数空间（$\theta \to \theta + \delta$）时，正则化会诱导一个正比于 $\delta^\top F_x(\theta) \delta$ 的惩罚项，其中 $F_x(\theta)$ 是 Fisher 信息矩阵。
   • 输入空间： 当扰动发生在输入空间（$x \to T(x)$）时，正则化会诱导一个涉及密度对输入梯度的“拉回”（pullback）二次型。
3. 与 SAM 的联系： 作者将这种由散度诱导的惩罚项与 SAM 进行对比。研究表明，SAM 在局部近似于一个正比于主 Hessian 特征值（$\lambda_{\max}(H)$）的谱曲率惩罚。论文证明，对于使用指数族输出分布（例如带有 Softmax 的交叉熵）的负对数似然目标函数，Fisher 矩阵与广义高斯-牛顿（GGN）矩阵一致，而 GGN 捕捉了 Hessian 的正定部分。因此，基于散度的正则化与 SAM 通过共享的曲率几何在局部变得具有可比性。
4. 受控实验平台： 为了验证这些理论主张，作者利用了非对称 $\alpha$-偏斜 Jensen-Shannon 散度（JSD）族。该族的局部曲率系数随 $\alpha(1-\alpha)$ 缩放，并在对称点 $\alpha = 1/2$ 处达到最大值。这使得可以在不改变正则化基本结构的情况下，实现对曲率惩罚强度的受控实验。

核心贡献

• 统一的局部展开： 本文推导了 $f$-散度正则化的局部二阶展开，证明了它在参数空间中诱导由 Fisher 几何决定的曲率敏感惩罚，并在输入空间中诱导拉回度量。
• 与 SAM 的正式联系： 论文建立在标准概率损失假设下（特别是针对指数族的 NLL），证明了由散度正则化诱导的几何结构在局部与通过 Fisher/GGN/Hessian 关系的 SAM 的二阶解释具有可比性。
• 通用扰动框架： 该分析扩展到了输入空间的扰动，表明基于散度的正则化提供了一个比标准 SAM（通常定义为参数扰动）更通用的扰动框架，同时保留了相同的局部敏感性解释。
• 曲率系数推导： 对于非对称 $\alpha$-偏斜 JSD 族，作者明确推导出其局部曲率系数正比于 $\alpha(1-\alpha)$，并确定对称情况（$\alpha=1/2$）为最大曲率惩罚机制。

结果
作者使用 EfficientNet-B2 模型结合输入空间扰动（随机掩码），在四个基准数据集（CIFAR-10, Fashion-MNIST, EMNIST, 和 Oxford-IIIT Pet）上进行了经验验证。

• 性能趋势： 在所有数据集中，模型性能（以准确率和负对数似然衡量）在对称机制 $\alpha = 1/2$ 附近表现最为出色。这与理论预测一致，即最强的局部曲率惩罚（在 $\alpha=1/2$ 时最大化）能产生更优的泛化效果。
• 损失景观可视化： 在 CIFAR-10 上使用 ResNet-18 进行的损失景观可视化显示，与基线相比，使用散度正则化训练的模型收敛到了更平坦的局部极小值。此外，在对称设置（$\alpha=0.5$）下训练的模型展现出了最平坦的盆地，对应于最高的曲率惩罚；而 $\alpha=0.9$ 的非对称设置则表现出中等程度的平坦度。
• 统计指标： 对损失景观统计数据的定量分析证实，对称设置 $\alpha=0.5$ 导致的平均损失最低，且曲率指标（Hessian 平方迹和最大特征值）相较于基线和高度非对称设置均有所降低。

意义与主张
本文旨在从局部几何的角度阐明基于散度的正则化与锐度感知最小化之间的关系。文章指出，虽然两者并非完全相同的目标，但在特定的概率假设成立时，它们通过共同的曲率几何在局部趋于一致。

作者谦逊地将自身的贡献界定为主要是分析性的。他们明确了基于散度的正则化、Fisher 几何以及锐度感知目标在何时可以进行局部比较。经验研究侧重于在特定的 $\alpha$-偏斜 JSD 族和输入扰动语境下，验证更广泛的局部曲率视角，而非声称在所有设置下都与 SAM 存在直接的实验等价性。这项工作表明，诱导局部曲率的强度是基于散度的正则化有效性的一个重要因素，而在测试场景中，对称机制提供了最优的性能。