🤖 machine learning

Accelerating LMO-Based Optimization via Implicit Gradient Transport

本文提出了 LMO-IGT，这是一类新的随机优化方法，它利用隐式梯度传输，在每次迭代仅需一次梯度评估的情况下实现了改进的 $\mathcal{O}(\varepsilon^{-3.5})$ 迭代复杂度，同时通过引入统一框架和正则化支撑函数，弥合了基于线性优化器（LMO）的无约束方法与约束方法之间的理论鸿沟。

原作者： Won-Jun Jang, Si-Hyeon Lee

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Won-Jun Jang, Si-Hyeon Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个广阔而雾气弥漫的山谷（即“损失景观”）中寻找最低点，以训练一个庞大的 AI 模型。你无法看清整个山谷，因此必须根据脚下的坡度来迈步。这正是优化算法所做的事情。

长期以来，实现这一目标的标准方法类似于沿着地面下坡的方向迈步，并根据坡度的陡峭程度调整步幅。然而，最近一些新方法（如Lion和Muon）改变了这一局面。它们不再仅仅关注当前的坡度，而是查看随时间变化的平均坡度（动量），然后对其进行“归一化”。这就像一位徒步者，他不仅会向下坡行走，还会不断检查指南针，以确保无论山坡多么陡峭，他始终走在最高效的方向上。

然而，这些新方法仍然存在一个问题：它们可能略显“滞后”。因为它们依赖于过去步骤的平均值，所以有时对地形的突然变化反应过慢。

问题：滞后的指南针

该论文指出，这些基于“线性最小化 oracle（LMO）”的方法虽然出色，但存在延迟。想象你驾驶着一辆方向盘非常沉重的汽车。你转动方向盘，但汽车需要片刻才能实际改变方向。用数学术语来说，“动量”（即汽车当前的方向）是基于旧数据的，因此它并不完全匹配你此刻实际需要前往的方向。

为了消除这种滞后，先前的研究人员尝试了一种称为方差缩减的技术。这就像派一名侦察兵提前探路，然后回来告诉你方向。这种方法速度更快，但代价高昂：你每走一步，就必须派侦察兵出去两次（即计算两次梯度），这会拖慢整个进程并消耗更多计算资源。

解决方案：“前瞻”技巧（IGT）

作者提出了一种名为LMO-IGT（隐式梯度传输）的新方法。他们希望获得“侦察兵”带来的速度提升，却无需付出派遣两名侦察兵的代价。

以下是富有创意的类比：
想象你正牵着一条狗散步。

标准方法：你看着狗此刻的位置，猜测它要去哪里，然后拉紧牵引绳。但狗已经在移动了，所以你总是慢半拍。
方差缩减（旧方案）：你停下脚步，跑到狗可能在的位置前方，检查地形，再跑回来，然后拉紧牵引绳。准确，但令人筋疲力尽（往返两次）。
LMO-IGT（新方案）：你既不停下也不向前奔跑。相反，你想象有一个“幽灵”版本的自己走在你前方稍许的同一条路径上。你问这个幽灵：“那里的地面感觉如何？”并利用这一信息来拉紧牵引绳。你只迈一步，却利用了前方稍许位置的信息。

这个“幽灵”就是传输点。通过计算这个略微超前点的坡度，算法在真正因跟随旧数据而犯错之前，就对其动量进行了修正。这就像拥有一个水晶球，它只向你展示前方几英寸的路径，让你无需额外努力即可完美转向。

统一框架

该论文还为这些方法构建了一个“通用翻译器”。

某些方法在开阔地带（无约束）表现最佳。
某些方法在围墙花园内（有约束）表现最佳。
此前，科学家们使用不同的规则手册来衡量每种方法的成效。

作者创造了一种名为**正则化支撑函数（RSF）**的新标尺。这就像一把通用尺子，无论你在开阔地带还是围墙花园内，都能测量你距离山谷底部还有多远。这使得他们能够在同一尺度上公平地比较所有这些不同的方法。

结果

利用这种新的“前瞻”技巧（IGT），作者发现：

速度：他们的新方法收敛（找到最低点）的速度快于标准方法。
效率：与“侦察兵”方法（方差缩减）不同，它不需要额外的计算。它保持了“一步一算”的规则，因此运行速度与标准方法一样快，但能获得更好的结果。
性能：当他们在图像识别（CIFAR-10）和语言模型（文本生成）上进行测试时，他们的新版本Muon-IGT consistently 击败了其他方法。它在相同时间内达到了更高的准确率。

总结

该论文提出了一种更智能的方式来驾驭 AI 训练中的复杂地形。与其因反应旧信息而陷入滞后，要么付出沉重代价去检查前方路况（方差缩减），他们利用巧妙的“前瞻”技巧，以相同的努力实现了更精准的转向。这使得训练大型 AI 模型更快、更高效，而无需增加计算资源。

技术摘要：通过隐式梯度传输加速基于线性最小化 oracle 的优化

问题陈述

近期出现的优化器（如 Lion 和 Muon）通过利用线性最小化 Oracle（LMO）对梯度动量进行归一化，展现了强大的实证性能。尽管这些方法行之有效，但其理论理解在 unconstrained（无约束）和 constrained（有约束）公式之间仍然碎片化，往往依赖于不同的平稳性度量（梯度范数与 Frank–Wolfe 间隙）。此外，虽然方差缩减（VR）技术已被探索用于加速基于 LMO 的方法，但它们通常因需要在每次迭代中进行额外的梯度评估（例如，计算当前迭代点和前一个迭代点的梯度）而产生巨大的计算开销。这就形成了一个权衡：实现更快的理论收敛速率往往因增加墙钟时间和内存使用而损害大规模设置下的实际效率。

本文解决了两个核心问题：

基于 LMO 的方法能否在避免与方差缩减相关的巨大计算开销的同时实现加速收敛？
随机 LMO 优化能否在一个统一框架内被理解，从而桥接无约束和有约束设置？

方法论

1. 面向 LMO 的隐式梯度传输（IGT）

作者提出了LMO-IGT，这是一类新的随机 LMO 方法，将隐式梯度传输（IGT）的概念扩展至通用的 LMO 更新。

核心机制：与在当前位置 $w_t$ 评估梯度的标准随机 LMO 不同，LMO-IGT 在“传输”点 $x_t$ 处评估随机梯度。该点作为优化轨迹的前瞻近似。
更新规则：该方法维护两个具有不同时间尺度的动量缓冲区。梯度动量 $g_t$ 使用在 $x_t$ 处评估的梯度进行更新，而迭代点 $w_t$ 则通过由 $g_t$ 导出的 LMO 方向进行更新。传输点 $x_{t+1}$ 使用相同的 LMO 方向更新，但可能采用不同的步长。
效率：关键在于，该机制保留了标准随机 LMO 的每次迭代单次梯度结构。它不需要方差缩减方法（如 Lion-VR 或 Muon-VR）所必需的前一个迭代点的额外梯度评估。

2. 统一框架与正则化支撑函数（RSF）

为了统一分析这些方法，作者引入了一个涵盖三类方法的统一框架：

随机 LMO：标准方法（如 Lion、Muon），每次迭代进行一次梯度评估。
方差缩减 LMO（LMO-VR）：包含类似 STORM 校正项的方法，每次迭代进行两次梯度评估。
LMO-IGT：所提出的方法，每次迭代进行一次梯度评估，但使用传输点。

一个关键的理论贡献是引入了正则化支撑函数（RSF），记为 $\Psi_{C,\lambda}(w)$ 。

定义： $\Psi_{C,\lambda}(w) := \sup_{v \in C} \langle -\nabla F(w), v - \lambda w \rangle$ 。
统一性：
- 当 $\lambda > 0$ （有约束设置）时，RSF 缩放为 Frank–Wolfe 间隙。
- 当 $\lambda = 0$ （无约束设置）时，RSF 退化为支撑函数，这与对偶范数一致（例如，欧几里得球上的梯度范数）。
该度量允许在有约束和无约束公式之间进行共同的收敛分析，弥合了基于梯度范数和 Frank–Wolfe 间隙的平稳性概念之间的差距。

主要贡献

LMO-IGT 算法：一类新的优化器，通过在传输点评估梯度来加速基于 LMO 的方法，在不增加额外梯度评估的情况下实现更快的收敛。
统一理论框架：一个通用的更新算法和 RSF 平稳性度量，统一了对随机 LMO、LMO-VR 和 LMO-IGT 的分析。
收敛保证：本文建立了达到 $\epsilon$ $ϵ$ -平稳性（由 RSF 衡量）的以下迭代复杂度：
- 随机 LMO： $O(\epsilon^{-4})$ （标准速率）。
- LMO-VR： $O(\epsilon^{-3})$ （每次迭代需要 2 次梯度评估）。
- LMO-IGT： $O(\epsilon^{-3.5})$ （每次迭代仅需 1 次梯度评估）。
实际实例化：作者使用特定的 LMO 集合实例化了 LMO-IGT，得出了Lion-IGT（使用 $\ell_\infty$ -范数球）和Muon-IGT（使用算子范数球）。

实验结果

作者在图像分类（CIFAR-10 搭配 ResNet-18）和语言建模（Shakespeare 数据集搭配 nanoGPT，以及 OpenWebText 搭配 1.24 亿参数模型）上评估了所提出的方法。

性能：Muon-IGT在评估的所有设置中始终取得了最强的整体性能，优于标准的 Lion/Muon、它们的方差缩减对应版本（Lion-VR/Muon-VR）以及 AdamW 和 NIGT 等基线。
效率：虽然方差缩减方法（Lion-VR、Muon-VR）在理论上提供 $O(\epsilon^{-3})$ 的速率，但由于额外的梯度评估，它们导致了显著更高的墙钟时间。相比之下，LMO-IGT 方法的运行速度几乎与其普通版本（单次梯度评估）相同，同时实现了更高的准确率。
鲁棒性：消融研究和超参数敏感性测试表明，Muon-IGT 对学习率和权重衰减的选择具有鲁棒性，在广泛的搜索空间中表现良好。

意义与主张

本文主张，IGT 为现代基于 LMO 的优化提供了一种有效且实用的加速机制。

桥接理论与实践：这项工作成功弥合了标准随机 LMO 与方差缩减方法之间的差距。它证明了可以在不付出方差缩减所固有的高昂计算成本的情况下，实现接近最优 $O(\epsilon^{-3})$ 的收敛速率（具体为 $O(\epsilon^{-3.5})$ ）。
统一视角：通过引入 RSF，本文提供了一种通用的理论语言，用于比较此前在不兼容标准（梯度范数与 Frank–Wolfe 间隙）下进行分析的优化器。
实际影响：实证结果表明，在计算效率至关重要的规模设置中，LMO-IGT 提供了更优越的权衡，与标准 LMO 方法相比，它以可忽略的开销实现了最先进的准确率。

作者指出，他们的理论保证依赖于标准的平滑性和二阶正则性假设，这些假设相对于实际深度学习而言是理想化的，但该框架为速率比较提供了原则性基础。他们并未声称解决了所有优化挑战，但强调传输梯度将欧几里得归一化扩展到了通用的基于 LMO 的更新。