Stochastic Rounding Increases Small Singular Values

技术摘要：随机舍入提升微小奇异值

问题陈述
近期的研究已经证实，随机舍入（Stochastic Rounding, SR）作为一种隐式正则化项，能够增加矩阵的最小奇异值，特别是对于具有极端长宽比（极高瘦或极矮胖）的矩阵。然而，目前的理论理解在两个关键方面仍存在局限性：

1. 长宽比限制： 现有的界限主要适用于行数和列数差异巨大的矩阵（例如 $d \ll n^{1/4}$）。它们无法处理在现代机器学习中普遍存在的常数长宽比矩阵（例如自注意力权重、全连接层）。
2. 谱范围： 先前的分析几乎完全集中在最小奇异值（$\sigma_{\min}$）上。它们并未考虑到“谱尾”（spectral tail）——即编码了细粒度信息并影响深度学习泛化能力的微小奇异值簇。

本文旨在确定 SR 的正则化效应是否在常数长宽比的矩阵中依然存在，以及该效应是否能从单个最小奇异值扩展到提升整个谱尾的奇异值簇。

方法论
作者分析了一个通过对矩阵 $A$ 进行逐元素应用均匀抖动量化器（Uniformly Dithered Quantizer）而得到的矩阵 $\tilde{A} \in \mathbb{R}^{n \times d}$。该过程可建模为 $\tilde{A} = A + E$，其中 $E$ 是一个具有独立、中心化且有界且亚高斯（sub-Gaussian）项的噪声矩阵。

分析主要分为两个方向：

1. 最小奇异值 ($\sigma_d(\tilde{A})$)：
   作者利用不等式 $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$，其中 $P_A$ 是 $A$ 列空间的正交投影算子。

   • 他们采用了由 Brailovskaya 和 van Handel [2024] 导出的关于 $\sigma_d(E)$ 的尖锐下界，该界限考虑了非齐次噪声方差。
   • 他们利用 $\epsilon$-网（$\epsilon$-net）论证和 Hoeffding 不等式，推导出了一个更紧致的投影项 $\|P_A E\|_2$ 的上界。
   • 通过结合上述两者并使用联合界（union bound），他们建立了一个在高概率下成立的 $\sigma_d(\tilde{A})$ 高概率下界，该界限在常数长宽比约束下（$d \leq c_0 n$）依然成立。

2. 谱尾正则化：
   为了分析奇异值簇，作者假设 $A$ 在指数 $k$ 处具有较大的谱间隙（$\sigma_k(A) \gg \sigma_{k+1}(A)$）。他们定义“期望过剩尾部能量” $T$ 为 $\tilde{A}$ 与 $A$ 在指数 $k+1$ 到 $d$ 之间的平方奇异值之和的差值。

   • 围道积分： 他们利用谱投影的解析解表示法。通过定义一个包围 Gram 矩阵 $G = A^\top A$ 前 $k$ 个特征值但不包含其余特征值的围道 $\Gamma$，他们将能量偏移表示为围道积分级数。
   • Neumann 展开： 扰动后的解析解被展开为 Neumann 级数。前两项（$I_1, I_2$）通过留数计算精确求解，而高阶项则利用集中不等式和扰动 $\Delta = \tilde{G} - G$ 的算子范数进行限制。
   • 能量恒等式： 他们利用了这样一个恒等式：期望的总平方奇异值质量的增加量等于期望的噪声 Frobenius 范数的平方，从而使他们能够将尾部能量偏移与前 $k$ 项能量偏移联系起来。

核心贡献与结果

1. 推广至常数长宽比：
   本文证明了 SR 的正则化效应并不局限于极端的维度失衡情况。

   • 结果： 对于满足 $d \leq c_0 n$ 的矩阵 $A$，舍入矩阵 $\tilde{A}$ 的最小奇异值满足 $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$（以高概率成立），其中 $\rho$ 是量化分辨率，$\nu$ 衡量噪声的列方差。
   • 对比： 这显著改进了先前的工作（如 Dexter 等人 [2025]），后者要求 $d = o((n/\log n)^{1/4})$。新的界限涵盖了 $d$ 和 $n$ 同阶的矩阵，使得该结果适用于标准的深度学习权重矩阵。

2. 奇异值簇的正则化：
   本文表明，SR 不仅提升了最小奇异值，还提升了谱尾中非平凡的一部分。

   • 结果： 期望过剩尾部能量 $T$ 的下界为噪声矩阵最小的 $(d-k)$ 个列方差之和，减去依赖于谱间隙和扰动强度的低阶项。
   • 意义： 这表明 SR 注入的噪声在各个方向上进行扩散，防止了能量在低维子空间中的集中。因此，它强化了整个簇中的弱谱模态，而非仅仅作为一个一维正则化项起作用。

重要性与主张
作者声称这些结果为将随机舍入表征为谱正则化器提供了更通用且更准确的描述。

• 理论基础： 该工作为低精度训练中 SR 的经验成功提供了严谨的理论基础，表明这种“有害”的量化噪声实际上是以一种改善谱几何的方式进行构建的。
• 隐式正则化的机制： 通过展示 SR 如何影响谱尾，本文将 SR 与深度学习中观察到的隐式自我正则化现象联系起来，即重尾谱与泛化能力相关。
• 局限性： 作者谦虚地承认，他们对谱尾的界限依赖于一些限制性假设，包括强谱间隙、有界的特征值比例以及较小的扰动水平。他们指出，在最小奇异值界限的近方阵情形（$d \approx n$）下，目前的分析尚未完全覆盖，且仍需在下游深度学习任务中进行进一步的实证验证。

总而言之，本文确立了随机舍入作为一种通用的谱正则化器，它作用于具有常数长宽比的矩阵，并提升整个微小奇异值簇，从而重塑了矩阵谱的低能子空间。