🤖 machine learning

Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization

本文引入了“梯度平滑”（Gradient Smoothing），这是一种计算高效的优化框架，通过对层级更新应用深度平滑处理，在不修改模型架构或训练目标的情况下，利用跨架构块的结构化关系，从而提升深度神经网络的训练效果与泛化能力。

原作者： Haoming Meng, Anton Sugolov, Vardan Papyan

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoming Meng, Anton Sugolov, Vardan Papyan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一支庞大的团队来解决一个复杂的谜题。在现代人工智能中，这个团队就是一个“深度神经网络”，它被组织成许多个完全相同的站点（层），一个接一个地堆叠在一起。每个站点接收来自前一个站点的成果，加入一点自己的处理过程，然后将其传递下去。

通常情况下，当老板（优化器）告诉团队如何改进时，他们会根据每个站点各自的错误，给出独立的、孤立的指令。第一站收到一张便条，第二站收到一张便条，以此类推。它们彼此之间并不交流各自学到了什么。

问题所在：
这篇论文的作者注意到了一些有趣的现象：随着团队的训练，这些站点实际上开始表现得非常相似。它们学习到相关的内容，并同步移动，就像合唱团找到了它们的和谐旋律。然而，标准的训练方法忽略了这种和谐性，而是将每一站都视为在真空中独立工作的个体。这就像是要求合唱团在不听邻座声音的情况下唱歌；这是低效的，并且可能导致杂乱无章的声音。

解决方案：梯度平滑（Gradient Smoothing）
这篇论文引入了一种名为“梯度平滑”的新方法。你可以把它看作是一种“邻里咨询”规则，用于训练过程。

不再让每个站点根据孤立的指令独自行动，现在的规则是：老板不仅会查看某个站点的指令，还会查看其相邻站点（即位于其正上方和正下方的层）的指令。然后，他在分发指令之前，会将这些指令进行平均化处理。

类比： 想象你正和一群朋友在森林中行走。如果每个人都只按自己感觉到的方向走，整个队伍就会散开。但如果每个人都同意观察左右两个最近的朋友在往哪个方向走，然后取三者方向的平均值来迈出一步，那么整个团队就会移动得更加平滑且保持一致。
结果： 这种“平均化”既不会改变目标（谜题的解法），也不会改变架构（工人的数量）。它只是改变了他们向目标迈进的方式。

研究发现：
研究人员在各种 AI 任务上测试了这种“邻里咨询”法，包括：

教导 AI 进行数学推理。
训练大型语言模型（例如那些写故事或编写代码的模型）。
教导计算机识别图像。
训练 AI 从零开始生成图像。

在每一种情况下，加入这个简单的平滑步骤都让 AI 学习得更快且更好。与标准方法相比，它达到了更高的准确率，并且犯错更少。

为什么有效（“秘密武器”）：
论文指出，通过对指令进行平均化，AI 的内部“思维过程”变得更加有序。

对齐（Alignment）： AI 在不同层所采取的“步伐”变得更加一致，就像士兵齐步走，而不是随机踉跄。
稳定性（Stability）： 它减少了学习过程中的“噪声”或抖动。想象你在走钢丝；如果你仅根据自身的平衡进行微小的、剧烈的修正，你可能会摔倒。如果你通过考虑整体路径来平滑你的修正，你就能保持稳健。

核心要点：

即插即用的升级： 你不需要重建 AI，也不需要改变背后的数学目标。你只需要在现有的训练过程中加入这个平滑步骤即可。
成本极低： 它几乎不增加额外的计算成本。这就像是在相机镜头上加了一个微小的滤镜；图像变得更清晰了，但并没有减慢快门速度。
适用广泛： 无论 AI 是在阅读文本、观察图片还是创作艺术，这种方法都能帮助它更高效地学习。

简而言之，这篇论文表明，通过鼓励 AI 的不同层在训练期间“倾听”邻居的声音，我们可以在不改变 AI 基本设计的前提下，构建出更聪明、更稳定、学习速度更快的模型。

技术摘要：梯度平滑：通过耦合层间更新提升优化性能

问题陈述

现代深度神经网络，特别是由重复架构块（如 Transformer 和残差网络）组成的网络，在训练过程中会展现出跨层级的结构化关系。近期关于 Transformer 块耦合（Transformer Block Coupling）和残差对齐（Residual Alignment）的研究表明，块雅可比矩阵（block Jacobians）和残差表示的奇异向量在各层之间趋于对齐，这表明整个网络深度范围内存在隐式协调。然而，标准的优化方法（如 SGD、Adam、Muon）通常独立地构建并应用块级更新，未能显式地利用这些跨深度的结构化关系。这引发了一个问题：优化更新本身是否可以通过利用深度中涌现的结构来得到增强？

方法论

深度向梯度增强

作者引入了深度向梯度增强（Depth-wise Gradient Augmentations），这是一个通用的优化范式，其中应用于每一层的更新是通过对沿深度维度的块级优化器更新集合进行变换而获得的。该框架并非孤立地应用更新，而是对由基础优化器生成的更新集 $\{u_1, \dots, u_L\}$ 应用一个深度向增强算子。

梯度平滑与窗口平滑

在该框架内，论文提出了梯度平滑（Gradient Smoothing），这是一类在深度方向上平滑优化器更新的方法。研究中主要探讨的实例是窗口平滑（Window Smoothing），即一种局部平均算子。

对于一个具有 $L$ 个块的网络，令 $u_\ell$ 为第 $\ell$ 层由基础优化器产生的更新。平滑后的更新 $\tilde{u}_\ell$ 计算为该层自身的更新与其相邻层的凸组合：
$\tilde{u}_\ell = \begin{cases} (1 - \frac{\alpha}{2}) u_1 + \frac{\alpha}{2} u_2 & \ell = 1 \\ (1 - \alpha) u_\ell + \frac{\alpha}{2} (u_{\ell-1} + u_{\ell+1}) & 2 \le \ell \le L-1 \\ (1 - \frac{\alpha}{2}) u_L + \frac{\alpha}{2} u_{L-1} & \ell = L \end{cases}$
其中 $\alpha \in [0, 1)$ 控制平滑强度。边界条件确保了该算子是行随机的（row-stochastic）。

该方法是优化器无关的（optimizer-agnostic），它纯粹作用于任何基础优化器（如 Adam、AdamW、Muon）产生的更新向量。它产生的计算开销极小，且不需要对架构进行修改。作者还探索了归一化变体：范数保持平滑（Norm-Preserving Smoothing）（通过缩放以匹配原始更新幅度）和方向平滑（Directional Smoothing）（仅平滑方向，然后进行缩放）。

核心贡献

框架引入： 论文定义了深度向梯度增强作为将跨深度信息纳入优化器更新的一种通用范式。
梯度平滑： 论文通过梯度平滑（特别是窗口平滑）实例化了该框架，证明其是一种简单、有效且广泛适用的方法。
实证验证： 该方法在多种场景下进行了评估：
- LLM 预训练： 使用 GPT 式模型（深度为 24 和 30）的 nanochat 配方。
- RL 后训练： 使用 GRPO 针对数学推理任务对 LLM（DeepSeek-R1-Distill-Qwen-1.5B）进行微调。
- 图像分类： 在 CIFAR-100 上训练 Vision Transformer (ViT-B)。
- 扩散模型： 在 CIFAR-10 上训练 U-ViT 主干网络进行图像生成。
理论分析： 作者提供了理论界限，表明窗口平滑收缩了更新方向在深度上的变化，从而提高了表示残差对齐的下界。

实验结果

研究报告称，在不修改训练超参数或目标函数的情况下，该方法在所有测试设置中均实现了优化和泛化能力的持续提升：

LLM 预训练： 梯度平滑加速了验证损失和每字节比特（BPB）的收敛，并提升了 DCLM CORE 指标。在更深的模型（深度 30 对比深度 24）中，收益更为显著。
RL 推理： 在数学基准测试（AIME24、AIME25、AMC23、MATH-500）上，窗口平滑将平均 pass@1 准确率从 55.45%（基线）提升至 57.60%。
图像分类： 在 CIFAR-100 上的 ViT-B 取得了 75.62% 的测试准确率（当 $\alpha=0.2$ 时），而基线为 74.56%。
扩散模型： 梯度平滑降低了 CIFAR-10 的 FID 分数，在 10k 样本时从 6.58 降至 5.82，在 50k 样本时从 4.01 降至 3.74。

表示分析

对 Token 轨迹的实证分析揭示了梯度平滑促进了更具结构化的表示演化：

对齐度增加： 相邻残差更新之间的余弦相似度有所增加，表明各层之间的方向性更新更加协调。
线性度： 线形形状得分（Line Shape Score, LSS）下降，表明 Token 轨迹变得更加线性（更接近一维仿射空间）。
稳定性： 该方法降低了整个训练过程中的微批次（microbatch）梯度方差，表明训练稳定性得到了提高。

意义与主张

论文声称，深度向梯度增强是一个利用优化中跨深度结构的有力框架。具体而言，梯度平滑被呈现为一种简单、广泛适用的实例化方法，它：

在不改变架构的情况下，改善了优化轨迹和泛化性能。
促进了更具结构的表示演化，这与其作为一种结构化深度向预处理方法的解释相一致。
为如何通过收缩更新变化来提高表示对齐提供了理论基础。

作者强调，虽然他们侧重于局部窗口平均，但该框架允许更丰富的形式的深度向增强（例如指数平滑、自适应方案）。他们总结道，在优化过程中显式利用跨深度结构可以为广泛的现代深度学习任务带来益处。