技术摘要：基于随机几何探测的奇点感知优化

1. 问题陈述

深度学习优化理论传统上依赖于 Lipschitz 连续梯度的假设，以确保稳定的下降和收敛。然而，现代神经网络架构通过 ReLU 激活函数、量化算子（在量化感知训练 QAT 中）以及诱导稀疏性的正则化项等非平滑组件，系统地违反了这一假设。

在这些非平滑区域中，局部几何特征并非由单一梯度刻画，而是由Clarke 次微分（$\partial_C f(x)$）——一个极限梯度的凸集——所刻画。当该集合的直径较大时，基于动量的自适应优化器（如 Adam）会遭受梯度抖动（gradient chattering）。这种现象涉及次微分内部冲突的方向信号引起的剧烈振荡，导致收敛性差、无法在尖锐的低损失盆地中稳定下来，以及泛化性能次优。

现有的补救措施尚不充分：

• 近端方法需要显式的近端映射，而这对于量化神经网络（QNN）中常见的嵌套非平滑函数通常是不可处理的。
• 随机平滑技术通常用代理梯度替代原始梯度，引入了估计偏差和高方差，从而损害高精度训练中的性能。
• **锐度感知最小化（SAM）**依赖于一阶泰勒展开，这在不可微点处在理论上是不成立的。

2. 方法论：奇点感知 Adam（S-Adam）

作者提出了S-Adam，这是一种新颖的优化器，它通过根据局部几何不稳定性动态调节步长来稳定训练，而无需平滑目标函数本身。

2.1 局部几何不稳定性（LGI）度量

核心创新是LGI 度量（$\rho_t$），这是一种计算高效的 Clarke 次微分直径估计器。S-Adam 不计算 Hessian 矩阵或显式次梯度，而是采用随机几何探测：

1. 在每次迭代 $t$，从单位球面 $U(S^{d-1})$ 采样 $k$ 个随机方向 $\{u_1, \dots, u_k\}$。
2. 通过有限差分计算方向导数 $D_i$：$D_i = \frac{f(x_t + \delta u_i) - f(x_t)}{\delta}$。
3. LGI 分数定义为这些方向导数的归一化方差：
   $$\rho_t(x_t) = \frac{\text{Var}_{u_i \sim \{u\}}[D_i]}{\mathbb{E}[D_i^2] + \epsilon}$$
   理论上，该度量近似于平滑代理的相对曲率，并与 Clarke 次微分的直径相关。高 $\rho_t$ 值表示高几何不稳定性区域（即奇点）。

2.2 自适应几何制动

S-Adam 通过引入指数阻尼因子（几何制动）修改了标准 Adam 更新规则，实时缩放学习率：
$$\hat{\eta}_t = \eta_t \cdot \exp(-\lambda \rho_t)$$

• 高不稳定性（$\rho_t \gg 0$）： 指数项变小，急剧减速更新以防止在奇点间振荡。
• 平滑区域（$\rho_t \to 0$）： 阻尼因子趋近于 1，允许 S-Adam 退化为标准 Adam 以实现快速收敛。

该机制充当具有动态正则化的隐式近端方法，在自适应控制步长的同时保留原始梯度方向。

3. 主要贡献

1. LGI 度量： 一种基于方差的局部几何不稳定性估计器，无需计算 Hessian 矩阵，并避免了梯度代理的偏差。
2. 自适应阻尼机制： 几何制动 $\exp(-\lambda \rho_t)$ 在奇点区域稳定训练，同时在平滑盆地中保持效率。
3. 严格的收敛分析： 利用微分包含框架，作者证明了 S-Adam 以 $O(1/\sqrt{T})$ 的最优随机非平滑速率几乎必然收敛到 $(\delta, \epsilon)$-Clarke 驻点。
4. 实证鲁棒性： 在极端非平滑设置中表现出优越性，特别是低比特量化感知训练（QAT）和高噪声小批量学习。

4. 实验结果

该论文在两个主要实验设置下评估了 S-Adam 与 AdamW 和 Prox-SGD 的性能：

4.1 量化感知训练（QAT）

在 CIFAR-100（2-bit）、TinyImageNet 和 Imagewoof2-160（4-bit）以及 ImageNet（8-bit）上进行评估。

• 精度提升： S-Adam 始终优于基线。在 CIFAR-100 上，其准确率达到18.67%（AdamW 为 15.94%）。在 TinyImageNet 上，达到23.18%（AdamW 为 18.91%）。
• 稳定性： 虽然 AdamW 和 Prox-SGD 表现出严重振荡或发散（例如 Prox-SGD 在 CIFAR-100 上崩溃至低于 10% 的准确率），但 S-Adam 保持了稳定的收敛并达到更低的损失底线。
• 效率： 低成本设置（$k=2$ 次探测）产生的开销极小（例如在 ImageNet 上墙钟时间仅增加 1.4%），同时带来了显著的精度提升。

4.2 高噪声小批量学习

在 ResNet-18 上评估，批量大小低至 $N=2$ 以最大化随机梯度噪声。

• 极端噪声韧性： 在 $N=2$ 时，S-Adam（$k=8$）在 Imagewoof2-160 上的准确率比 AdamW 提高了**+24.69%**（75.87% 对比 51.18%）。
• 批量大小扩展： 性能差距在最不稳定的区域（小批量大小）最大，并随着批量大小增加和损失景观平滑而缩小，证实了几何制动的自适应特性。
• 学习率敏感性： S-Adam 在广泛的学习率范围（$10^{-4}$ 到 $10^{-3}$）内均优于 AdamW，展示了对超参数选择的鲁棒性。

5. 意义与主张

该论文将 S-Adam 定位为连接非平滑优化理论与实际深度学习可扩展性的桥梁。其主要意义在于：

• 理论根基： 提供了首个在非平滑深度学习设置中具有可证明收敛保证至 Clarke 驻点的自适应优化器，超越了启发式方法。
• 实际适用性： 提供了一种 Adam 的“即插即用”替代品，能够处理嵌套非平滑性（如量化），而无需不可处理的近端映射或通过梯度代理改变优化动力学。
• 几何洞察： 证明了随机梯度统计量编码了关于局部不稳定性的可操作几何信息，使优化器能够区分随机噪声和拓扑奇点。

作者得出结论，S-Adam 有效缓解了梯度抖动，使得在低比特量化和高噪声等标准优化器失效的关键应用中实现稳定训练成为可能。