🤖 machine learning

Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent

本文证明了在随机梯度下降中，使用各向同性噪声配合单次扰动前向传播的简单、轻量级参数噪声注入策略，足以实现更复杂扰动设计所具备的优化与泛化优势。

原作者： Benjamin Leblanc, Louis-Jacob Lebel, Teddy Kana, Richard Kamel

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Leblanc, Louis-Jacob Lebel, Teddy Kana, Richard Kamel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且迷雾缭绕的山脉中寻找最低点（这代表了训练一个复杂的 AI 模型）。你的目标是到达谷底，这样 AI 才能表现出色。通常情况下，你会根据面前坡度的方向，迈出小小的下坡步。这被称为随机梯度下降（Stochastic Gradient Descent, SGD）。

有时，地形会变得很棘手。你可能会陷入一个小凹陷，它看起来像是底部，但其实并不是真正的底部；或者你可能会卡在一个平坦且湿滑的地方（鞍点），在那里你无法判断该往哪个方向走。

为了解决这个问题，研究人员长期以来一直使用一种技巧，叫做噪声注入（Noise Injection）。你可以把它想象成时不时给登山者一个轻微的、随机的“推力”。这些推力可以帮助登山者跳出小凹陷，并更广泛地探索地形，从而找到真正的最佳位置。

这篇论文提出了一个简单的问题：我们是否需要一台复杂、昂贵、高科技的“推力机器”来让这一切奏效，还是说一个简单、廉价的推力就能达到同样的效果？

以下是作者的研究发现，通过日常概念进行了拆解：

1. “批次”推力的难题

在现代 AI 训练中，我们不是一次只看一条山路，而是同时观察一组路径（即一个“批次/batch”）。

旧方法： 想象你有 64 名登山者。旧方法会给这整个群体在同一时间施加完全相同的随机推力。这种方式很高效，但这意味着所有人都会朝着同一个略显奇怪的方向移动。
新想法： 作者希望给这 64 名登山者中的每一个人都施加一个独特的、随机的推力。这样可以让这群人更好地探索地形。
障碍： 通常情况下，给每个人一个独特的推力需要进行 64 次单独的数学计算，这既慢又耗费计算资源（就像是雇用了 64 个独立的向导，而不是一个）。
解决方案： 作者发现了一个数学捷径（一种“分布恒等式”）。这就像是意识到，如果你了解山的形状和推力的类型，你就可以在仅需一次计算的时间内，计算出 64 次独特推力的结果。他们将这种新方法称为 ENSGD。它允许每一个训练样本都获得自己独特的“轻推”，而不会减慢计算机的速度。

2. 我们需要多次推力吗？

研究人员想知道：“如果一次推力有帮助，那么每次走一步时给予 10 次或 100 次推力，会不会更有帮助呢？”

测试： 他们尝试在每一步中给予登山者 1、2、4、8 甚至 128 次不同的随机推力。
结果： 在第一次推力之后，增加推力次数并没有带来实质性的帮助。事实上，这反而让训练过程变得漫长得多。
结论： 每一步只需一次简单的轻推，就能捕捉到几乎所有的收益。这样做多次，就像是为了到达同一个目的地而去购买一辆豪华轿车，而自行车其实也能让你到达。

3. 我们需要高级的推力吗？

他们还测试了推力的“类型”是否重要。

简单推力： 一个标准的、在任何方向上的均匀推力（各向同性噪声/Isotropic noise）。
高级推力： 复杂的推力，它们会根据登山者的移动速度、移动的历史记录或地面的特定纹理发生变化（各种“对角高斯/diagonal Gaussian”参数化形式）。
结果： 简单的、均匀的推力与那些复杂的高级推力效果一样好。高级方法增加了额外的数学运算量，但并没有让 AI 变得更聪明或更准确。

核心结论

论文的结论是：简单就足够了。

你不需要设计精巧、高科技的方案来让 AI 训练变得更好。只需给训练过程一个简单的、随机的轻推（并且高效地执行，让每个样本都能获得自己独特的轻推），就足以帮助 AI 跳出糟糕的状态并学得更好。

简而言之：不要把“推力”复杂化。一种简单、轻量级的策略与复杂的方法一样有效，既不会牺牲性能，又能节省时间和计算能力。

技术摘要：随机梯度下降中参数噪声注入的简洁性已足够

问题陈述

在优化过程中注入噪声是增强深度神经网络训练和泛化能力的成熟技术，通常被解释为一种帮助逃离尖锐极小值点（sharp minima）和鞍点的平滑机制。然而，尽管存在广泛的现有方法——涵盖了从参数噪声注入、梯度噪声注入到无梯度方案的各种路径——但目前尚不清楚哪些特定的设计选择能带来实质性的实际收益。

两项主要问题驱动了本项研究：

批次效率（Batch Efficiency）： 如何在不破坏矩阵运算计算效率的前提下，高效地为小批量（mini-batch）中的每个训练样本分配其独特的扰动？
复杂度与收益（Complexity vs. Benefit）： 复杂的噪声参数化方案（例如具有时变方差的对角高斯分布）或多样本梯度平均（即每次更新使用多个受扰动的正向传播过程）是否比更简单的替代方案（如具有单一扰动的各向同性噪声）提供显著的改进？

研究方法

高效噪声注入 (ENSGD)

作者通过利用线性层的分布恒等式来解决第一个挑战。标准的噪声注入将单一的随机权重扰动 $Z$ 应用于整个批次，这意味着每个样本 $x_i$ 接收到相同的噪声。为了在分配独特扰动的同时保持批处理计算的效率，作者提出将噪声注入到矩阵乘法的输出而非权重本身。

给定线性层 $L_k(X) = \sigma(XW_k)$ ，如果权重被扰动为 $Z \sim \mathcal{N}(0, \sigma^2 I)$ ，则单个输入 $x$ 的结果为 $x(W_k + Z) = xW_k + xZ$ 。通过应用引理 1（该引理指出 $xZ \sim \mathcal{N}(0, \sigma^2 \|x\|^2 I)$ ），作者推导出了定理 1。该定理证明，可以通过向预激活输出添加一个噪声项 $\psi$ 来模拟批次中每个样本的独特扰动，其中 $\psi_i \sim \mathcal{N}(0, \sigma^2 \|x_i\|^2 I)$ 。

由此产生了高效噪声随机梯度下降 (ENSGD) 算法（算法 2），该算法：

为小批量中的每个样本分配唯一的扰动。
保留了单次矩阵乘法正向传播的效率。
可以推广到包含偏置（biases）和其他线性层的情况。

实验设计

作者在三个数据集上系统地评估了所提方法相对于基准方法的表现：

CIFAR-100： 使用 CNN 进行图像分类。
AG News & IMDB： 使用 TF-IDF 向量和全连接 MLP 进行文本分类。

实验改变了三个关键因素：

噪声强度 ( $\sigma$ )： 在对数均匀范围内进行测试。
样本数量 ( $s$ )： 比较单样本更新（ $s=1$ ）与多样本平均（ $s \in \{2, 4, \dots, 128\}$ ）。
噪声参数化： 将**各向同性（Isotropic）**基准（恒定方差）与以下方案进行比较：
- 移动（Moving）： 经验梯度方差的指数移动平均。
- SqGrad： 由 Adam 的二阶矩缩放。
- InvSqGrad： 由 Adam 二阶矩的倒数缩放。

核心结果

1. 独特扰动的效率

在 CIFAR-100 上对比标准噪声 SGD (NSGD, 算法 1) 与提出的 ENSGD (算法 2)，ENSGD 在所有测试的噪声水平下均一致实现了更低的测试误差。这证实了在批次内为每个样本分配独特扰动可以在不牺牲计算效率的情况下提高优化性能。

2. 多样本平均的收益递减

通过改变每次更新步骤中的噪声样本数 $s$ 的实验表明，增加 $s$ 会出现收益递减现象。

最佳测试误差在 $s=1$ 时达到（0.6185）。
当 $s$ 增加到 128 时，结果略有下降（0.6261），同时显著增加了计算成本。
这表明，每次更新步骤中仅需一次受扰动的正向传播即可捕捉到噪声注入的大部分收益。

3. 噪声参数化的简洁性

在 CIFAR-100、AG News 和 IMDB 上，简单的**各向同性（Isotropic）**噪声参数化表现出了与复杂方案竞争的实力：

图像分类 (CIFAR-100)： 各向同性方法（0.6241）仅略逊于表现最好的 SqGrad 方法（0.6213）。
文本分类： 相比于基准模型，噪声注入带来的收益很小（最多 0.11 个百分点），这可能是由于 TF-IDF 表示本身具有相对平滑的优化景观。在这种设置下，各向同性方法匹配或接近了最佳结果。
复杂度： 复杂的方案如 SqGrad 和 InvSqGrad 并未提供系统性的优势。值得注意的是，在测试的所有噪声水平下，SqGrad 在 IMDB 上均未能优于基准模型。
稳定性： 在其最优噪声水平下，没有任何方法导致明显的性能退化。

意义与主张

论文得出结论：对于随机梯度下降中的参数噪声注入，简洁性已足够。作者声称，从业者无需诉诸复杂的扰动设计（例如具有时变方差的对角高斯参数化或多样本梯度平均），即可获得噪声 SGD 带来的优化和泛化收益。

相反，结合以下两点：

各向同性噪声（恒定方差），以及
每次更新步骤中单次受扰动的正向传播（由高效的 ENSGD 算法实现），

足以回收复杂方案的大部分收益。这一发现简化了基于噪声的正则化实现，表明轻量级策略在包括优化景观已相对平滑的任务设置在内的多样化任务中都是稳健的。

未来工作

作者指出，计划通过增加更多数据集来扩大实验部分，以进一步巩固这些发现，并将噪声注入方法从线性层扩展到卷积层（涉及权重共享）。