🤖 AI

Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization

本文揭示了由 Post-LN 架构加剧的梯度异质性会降低 Transformer 中 SGD 的收敛性，但这种现象能被 Adam 和 SignSGD 等对梯度尺度变化不敏感的逐坐标自适应方法有效缓解。

原作者： Akiyoshi Tomihari, Issei Sato

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Akiyoshi Tomihari, Issei Sato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能这一广阔且快速演进的领域中，一种被称为“Transformer”的特定计算机模型已成为支撑现存一些最强大的语言和图像系统的引擎。这些模型的训练过程被称为“优化”，即计算机通过反复调整其内部设置来减少误差，就像一名徒步旅行者试图在雾气弥漫的山谷中寻找最低点一样。几十年来，这项任务的标准工具是一种被称为“随机梯度下降”的方法，它根据地形的即时坡度采取细小且经过计算的步伐。然而，随着模型变得越来越庞大和复杂，研究人员发现这种传统工具经常显得力不从心，要么踉跄蹒跚，要么移动得过于缓慢，以至于无法投入实际应用。因此，该领域已转向使用一种不同的工具——Adam，它能动态地调整步长，并已被证明在训练这些大规模系统方面更为有效。然而，一个悬而未解的谜团依然存在：为什么 Adam 比旧方法效果好得多？在模型内部究竟发生了什么，才造就了这种差异？

东京大学的一个研究小组现在揭开了这一谜团的层层迷雾，从模型内部景观是如何塑造的角度提供了一个清晰的解释。他们发现，训练这些模型的困难源于模型处理数据时的一种特定的不均匀性或异质性。想象一下这样一个景观：有些山丘极其陡峭狭窄，而另一些则平缓宽阔；传统的处理方式对每个方向一视同同，会被这种混合情况所迷惑，往往在陡峭部分采取过大的步幅，而在平缓部分采取过小的步幅。研究人员发现，这种不均匀性并非随机的奇特现象，而是这些模型构建方式中的一种结构性特征，特别受到架构中某些稳定组件放置位置的影响。

研究表明，自适应优化器的卓越性能并非由于其具备某种处理噪声的“魔力”（正如之前的某些理论所暗示的那样），而是因为它能有效地忽略步长的规模，而传统方法则不然。通过分析这些优化器的数学行为，作者展示了传统方法对模型不同部分梯度强度变化的高度敏感性。当模型的某一部分需要微调，而另一部分需要大幅调整时，传统方法试图应用统一的步长，这导致了效率低下。相比之下，自适应方法及其一个更简单的版本——SignSGD，通过观察变化的“方向”而非“幅度”来调整其方法，从而能够更加轻松地在模型的崎岖地形中航行。

为了证明这一点，研究人员进行了严密的理论分析，推导出了描述每种方法达到解所需的步数的数学边界。他们的工作表明，当模型表现出高度的梯度不均匀性时，传统方法的进度会显著放缓，而自适应方法则保持稳健。他们进一步将这种不均匀性的根源追溯到 Transformer 本身的设计，特别是“层归一化”（layer normalization）组件的放置位置。他们发现，当该组件被放置在主要处理步骤之后时，它会放大梯度强度的差异，使景观变得更加险恶，从而对传统优化器造成更大的挑战。当它被放置在步骤之前时，景观变得更加平滑，传统方法的表现也会有所提升，尽管自适应方法仍然保持优势。

该团队通过在语言和视觉任务上对模型进行微调，利用现实世界的实验验证了这些理论见解。他们观察到，在梯度不均匀性较高的场景中，传统优化器难以收敛，学习速度极慢，而自适应方法及其基于符号（sign-based）的对应方法则能高效训练。这证实了性能差距的关键在于这些优化器如何处理模型的结构性异质性。研究结果表明，现代人工智能的成功不仅在于拥有更多的数据或计算能力，还在于使用正确的数学工具来应对由模型架构本身所创造的特定、不均匀的地形。通过理解这一动态过程，研究人员可以更好地设计训练策略，并有可能为下一代人工智能开发出更有效的优化器。

技术摘要：梯度异质性与 Hessian 异质性在 Transformer 优化中的互补作用

问题陈述

Transformer 在语言模型等领域取得了显著成功，但使用标准随机梯度下降（SGD）对其进行优化仍然困难。在实践中，训练高度依赖于像 Adam 这样的自适应优化器。虽然 Adam 与 SGD 之间的性能差距已被广泛记录，但其底层机制尚未被完全理解。以往的解释将其归因于随机梯度噪声、重尾标签分布或 Hessian 异质性（块状 Hessian 谱的差异）。然而，这些因素并不能完全解释观察到的行为，特别是在标注数据有限的微调阶段。本文认为，这种性能差距源于 Hessian 异质性与一个新表征的现象——梯度异质性之间的相互作用。

方法论

作者通过对梯度类方法（SGD）与基于符号的方法（SignSGD）进行理论分析来研究优化迭代复杂度，后者作为 Adam 类行为的一个在分析上可处理的代理。

理论框架

定义与假设：
- 梯度异质性（Gradient Heterogeneity）： 定义为不同参数块之间梯度范数的差异 $\{ \|\nabla L(\theta)\|_b \}$ 。
- Hessian 异质性（Hessian Heterogeneity）： 定义为块状 Hessian 谱的差异。
- 假设： 分析假设处于微调设置中，参数保持在局部区域内，Hessian 是 Lipschitz 连续的，且 Hessian 矩阵近似为块对角矩阵。
- 梯度-Hessian 相关性： 作者观察并利用了这样一个经验发现：特定块中较大的梯度范数通常与这些块中较大的 Hessian 算子范数相关联。
复杂度度量：
本文引入了两种加权 Hessian 范数来界定优化过程中遇到的局部曲率：
- $\Lambda_G$ （梯度加权）： 通过各块梯度的平方范数对 Hessian 块范数进行加权。该量控制梯度类方法（SGD）的迭代复杂度。
- $\Lambda_P$ （参数加权）： 通过各块参数维度对 Hessian 块范数进行加权。该量控制基于符号的方法（SignSGD）的迭代复杂度。
界限推导：
通过在不同范数（SGD 下为 $\ell_2$ ，SignSGD 下为 $\ell_\infty$ ）下的最速下降解释，作者推导出了确定性和随机设置下的迭代复杂度上界。
- 对于 SGD，复杂度与 $\Lambda_G$ 成正比。在梯度-Hessian 相关性的作用下，具有大梯度的块同时也具有大曲率，导致 $\Lambda_G$ 变得很大，从而减慢收敛速度。
- 对于 SignSGD，复杂度与 $\Lambda_P$ 成正比。由于基于符号的更新使用单位量级的方向，其更新幅度与梯度范数无关。因此， $\Lambda_P$ 对大梯度与高曲率之间的对齐不那么敏感，导致其有效复杂度界限更小。
架构分析：
本文通过分析层归一化（Layer Normalization, LN）的 Jacobian 结构来研究 Transformer 架构中梯度异质性的来源。它比较了 Post-LN（残差连接后进行 LN）和 Pre-L N（残差连接前进行 LN）。理论推导表明，在 Post-LN 中，LN Jacobian 会乘以整个残差分支，从而复合了输入依赖的尺度变化并放大了梯度异质性。在 Pre-LN 中，恒等路径绕过了 LN Jacobian，减轻了这种效应。

核心贡献

理论界限： 作者推导了确定性和随机设置下两种方法的迭代复杂度上界。这些界限表明 SGD 受 $\Lambda_G$ 控制，而基于符号的方法受 $\Lambda_P$ 控制。
梯度异质性表征： 研究确定了梯度异质性是补充 Hessian 异质性的关键因素。它提供了定量度量（基尼系数）和可视化结果，显示 Transformer 比 CNN（如 ResNet）表现出显著更高的梯度异质性。
架构洞察： 本文将梯度异质性与架构选择联系起来，特别指出 Post-LN 架构由于 LN Jacobian 的乘法性质表现出显著的异质性，而 Pre-LN 架构则更为稳定。
学习率含义： 分析表明，SignSGD（以及由此衍生的 Adam）受益于由梯度 $\ell_1$ 范数缩放的学习率，这与 $\ell_\infty$ 范数下的最速下降一致。

实验结果

理论主张通过在 NLP（用于 SuperGLUE/GLUE 的 RoBERTa）和视觉（用于 Flowers102, Aircraft 的 ViT, ResNet）任务上的微调实验得到了验证。

梯度异质性： 实验确认了 Transformer（RoBERந்து）表现出显著高于 ResNet（基尼系数 $\approx 0.43$ ）的梯度异质性（基尼系数 $\approx 0.94$ ）。
Post-LN vs. Pre-LN： 具有 Post-LN 归一化的模型显示出比 Pre-LN（0.880）更高的基尼系数（0.941），支持了 Post-LN 会放大异质性的理论主张。
优化器性能：
- SGD： 在高异质性任务（如 RTE 上的 RoBERTa）上，即使使用了梯度裁剪和调优的学习率调度，其训练损失收敛速度也明显慢于自适应优化器。
- SignSGD： 在高异质性（RoBERTa）和低异质性（ViT）任务上均能实现与 Adam 相当的性能并可靠收敛。
- 动量（Momentum）： 实验表明，性能差距主要由自适应学习率（逐坐标缩放）驱动，而非动量，因为即使不带动量的 SignSGD 仍然优于 SGD。

意义与主张

本文声称通过引入梯度异质性，为 Transformer 优化中 Adam-SGD 差距提供了一个更完整的理论解释。作者认为：

Adam 类方法的优越性不仅在于处理梯度噪声或重尾分布，更从根本上源于其基于符号的特性（逐坐标更新），这减轻了梯度和 Hessian 异质性的负面影响。
梯度异质性与 Hessian 异质性的相互作用创造了一种场景，使得基于梯度的算法（SGD）面临比基于符号的方法（ $\Lambda_P$ ）更大的有效曲率（ $\Lambda_G$ ）。
架构选择（特别是层归一化的位置：Post-LN vs. Pre-LN）直接影响梯度异质性的程度，从而影响优化的难度。

研究结论认为，理解这些异质性对于解释为什么 Transformer 难以用 SGD 优化以及为什么自适应、基于符号的方法有效至关重要。研究结果表明，块状归一化技术在理论上可以通过减少对梯度异质性的敏感性来弥合部分差距，即使在没有完全的逐坐标自适应能力的情况下也是如此。