🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

本文提出了 ZO-MOPI，这是一种用于微调大语言模型的零阶优化方法，它通过采用基于幂迭代和动量子空间投影的部分正交化策略替代完全正交化来加速收敛，在保持具有竞争力的准确性的同时，实现了比最先进的 ZO-Muon 快 1.5 到 4 倍的收敛速度。

原作者： Jiahe Chen, Ziye Ma

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiahe Chen, Ziye Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《利用幂迭代部分正交化加速零阶谱优化》的通俗解释，辅以生动的类比。

宏观图景：在没有说明书的情况下调校巨型收音机

想象你拥有一台庞大而复杂的收音机（即大型语言模型或 LLM），上面有数十亿个旋钮。你希望将它调校到完美播放特定歌曲的状态（即为新任务进行微调）。

通常，工程师会使用“一阶”方法：他们观察旋钮，感受振动，确切知道该朝哪个方向转动以获得更好的音质。这种方法很快，但需要一个巨大且昂贵的控制室（大量的计算机内存）来容纳所有指令。如果你试图在智能手机或车载电脑这样的小型设备上调校这台收音机，你就没有那么多内存可用。

零阶（ZO）优化是一种“盲”方法。你不去感受振动，而是猜测一个方向，转动旋钮，然后听一听音乐是变好了还是变差了。你不需要那个庞大的控制室，因此它适合小型设备。然而，由于你是在猜测，这种方法极其缓慢且充满噪声。这就像试图通过随机旋转调谐盘来寻找完美的电台，并指望恰好落在正确的频率上。

问题所在：“嘈杂”的信号

研究人员注意到，虽然这种“盲”方法节省了内存，但它收集的信息非常混乱。

真实信号：在一个理想世界中，转动旋钮的“最佳”方向是清晰且强劲的（就像响亮、清晰的声音）。
零阶现实：由于该方法依赖于随机猜测，信号中充满了静电和噪声。这就像试图在飓风中听到耳语。

有一种名为 Muon 的新工具曾试图提供帮助。Muon 就像一个智能助手，它查看所有旋钮并说：“好吧，让我们整理这些方向，以免我们在弱方向上浪费能量。”它试图让所有方向变得同样强劲。

关键问题：Muon 是为“理想世界”（一阶）设计的。当研究人员尝试将 Muon 用于“嘈杂”的零阶数据时，情况反而变得更糟。因为数据充满了静电，Muon 试图增强所有东西，包括噪声。这就像把一台只播放静电的收音机音量调大；噪声变得比音乐还响亮。

解决方案：“部分正交化”（选择性过滤器）

作者 Jiahe Chen 和 Ziye Ma 提出了一种名为 ZO-MOPI 的新方法。他们的秘诀在于部分正交化。

他们决定不再尝试整理每一个方向（其中包含那些嘈杂且无用的方向），而是只关注那些实际上强劲且清晰的前几个方向。他们忽略了其余的噪声。

可以这样理解：

旧方法（Muon）：你有一桶混合了沙子、泥土和金粉的水。你试图完美地分离所有东西。结果你浪费了大量时间在筛选泥土上。
新方法（ZO-MOPI）：你意识到金粉很重，会沉到底部。你只需舀起底层（强信号），忽略漂浮的泥土（噪声）。你因此能更快地获得黄金。

他们是如何做到的：“流式幂”技巧

为了实现这种选择性过滤，他们使用了一种称为**流式幂迭代（SPI）**的技术。

想象你正试图在暴风雨的田野中寻找最强的风。

旧方法：你站定不动，测量每一阵风的 gust，然后试图计算平均风向。这耗时极长，而且风太混乱了。
新方法（SPI）：你举着一面旗帜。你只关注那些最猛烈推动旗帜的阵风。你忽略那些几乎无法推动旗帜的微风。通过只关注强劲的推力，你可以迅速弄清楚风真正吹向哪个方向。

他们还添加了一个“动量”功能。这就像记住几秒钟前风是如何吹的。即使某一阵风是偶然（噪声），你对之前阵风的记忆也能帮助你保持稳定，不被混乱迷惑。

结果：更快的调校，相同的内存占用

研究人员在大型 AI 模型（如 OPT-13B 和 LLaMA3-8B）上，使用标准语言测试（SuperGLUE）测试了这种方法。

速度：他们的新方法比当前最好的“盲”调校方法快 1.5 到 4 倍。它在更短的时间内达到了相同的准确度水平。
准确度：最终质量与其他方法相同（甚至略好）。
内存：它保持了相同的低内存占用，意味着它仍然可以在小型设备上运行。

总结

这篇论文介绍了一种在内存受限的设备上调校 AI 模型的更智能方法。新方法（ZO-MOPI）不像以前那样试图修正每一个嘈杂的猜测，而是像一个过滤器，只关注最强、最可靠的信号，忽略静电。这使得 AI 能够在不需要超级计算机的情况下更快地学习。

技术摘要：利用幂迭代部分正交化加速零阶谱优化

问题陈述
零阶（ZO）优化已成为在内存受限的边缘设备上微调大语言模型（LLM）的关键技术，因为它避免了基于一阶（FO）方法所需的内存密集型反向传播。然而，由于蒙特卡洛扰动，ZO 方法的梯度估计方差较高，导致其收敛速度显著慢于 FO 方法。

近期加速 ZO 优化的尝试主要集中在低维子空间搜索（如 LOZO、SubZero）和利用正交化挖掘矩阵几何结构的谱优化器（如 Muon）上。虽然 Muon 通过在 FO 设置中正交化梯度以利用弱谱方向而优于 AdamW，但作者观察到，将 Muon 直接应用于 ZO 设置所带来的提升有限。核心问题在于 ZO 梯度估计本质上具有噪声且不可靠。与集中在主导奇异方向上的 FO 梯度不同，ZO 估计表现出“更重且更平坦的谱尾”（图 1）。因此，Muon 标准的牛顿 - 舒尔茨（NS）正交化方法，其作用是将整个活跃谱的能量均等化，却无意中放大了这些噪声大、不准确的方向，将估计误差转化为有害的更新分量。

方法：ZO-MOPI
作者提出了ZO-MOPI（带部分正交化的零阶动量），这是一种旨在通过选择性地提取主导谱方向并抑制噪声来加速 ZO 优化的方法。该方法整合了三个关键组件：

基于流式幂迭代（SPI）的部分正交化：
不同于执行全谱正交化（如 NS 迭代），ZO-MOPI 采用“部分正交化”策略。它仅专注于前 $k$ 个主导奇异方向，丢弃噪声谱尾。
- 机制： 该方法用更快、更集中的**流式幂迭代（SPI）**取代了 NS 过程。SPI 在训练步骤中追踪前 $k$ 维主导子空间。
- 效率： 通过缓存右奇异子空间（ $V_{t-1}$ ）并将其作为下一次迭代的温启动，SPI 避免了完整的 SVD 或昂贵的矩阵乘法。计算成本降低至 $O(rnk + nk^2)$ ，其中 $k \ll r \ll \min(m, n)$ ，远低于全谱方法的成本。
- 稳定性： 该方法基于以下观察：在动量平滑下，主导谱方向演变平滑，使得前一个子空间成为当前步骤可靠的初始化。
子空间 ZO 估计：
为了进一步降低方差，梯度估计被限制在低秩子空间内。随机扰动矩阵 $Z$ 被分解为 $AB $，其中$ A $是固定的子空间矩阵，$ B $是该子空间内的随机扰动。这将有效搜索维度从$ mn $降低到$ rn$，显著降低了梯度估计量的方差。
投影动量：
动量在缩减后的 $r \times n$ 坐标系中维持，而非整个参数空间，以节省内存。该方法的一个关键组件是当子空间 $A$ 定期刷新（每 $\nu$ 次迭代）时，对动量进行投影。动量 $M_{old}$ 通过 $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ 投影到新子空间 $A_{new}$ 上。
- 必要性： 作者证明，动量不仅仅是为了减少方差，对于 SPI 的稳定性至关重要。如果没有动量，由于噪声 ZO 估计，主导子空间会剧烈波动，导致幂迭代变得不稳定。

主要贡献

谱失配的识别： 论文指出，全谱正交化（牛顿 - 舒尔茨）在 ZO 设置中是有害的，因为它放大了 ZO 梯度估计中固有的噪声，而 FO 梯度则是自然集中的。
部分正交化： 引入了一种选择性正交化策略，仅保留最可靠的谱分量（前 $k$ 个），同时忽略噪声谱尾。
流式幂迭代（SPI）： 一种轻量级、高效的算法，用于追踪主导奇异方向，它利用时间连续性和温启动来避免昂贵的计算。
投影动量集成： 一种在子空间刷新期间维持动量稳定性的机制，已被证明对于在噪声环境中进行谱追踪的有效性至关重要。

实验结果
作者在 SuperGLUE 基准（SST-2、RTE、BoolQ、SQuAD）上使用 OPT-13B、LLaMA3-8B 和 Gemma2-2B 模型评估了 ZO-MOPI 在 LLM 微调任务上的表现。

收敛速度： 与当前最先进的 ZO-Muon 相比，ZO-MOPI 实现了1.5 倍至 4 倍的收敛加速。例如，在 RTE 和 SQuAD 任务上，ZO-Muon 达到与 ZO-MOPI 相同精度所需的墙钟时间约为 ZO-MOPI 的 3 倍。
最终精度： 与 MeZO、LOZO 和 ZO-Muon 等强基线相比，该方法达到了具有竞争力或更优的最终精度。在若干情况下（例如 SST-2 和 RTE 上的 OPT-13B），ZO-MOPI 创造了新的最佳 ZO 精度记录。
效率： 该方法保持了 ZO 微调的内存效率，仅因存储子空间和幂迭代状态而产生可忽略的额外内存开销。
消融研究： 实验证实，移除动量或使用过短的子空间刷新间隔会显著降低性能，验证了所提出的动量投影和惰性子空间采样策略的必要性。

意义与主张
论文声称，ZO-MOPI 通过解决噪声梯度估计的特定谱特征，成功弥合了 LLM 微调中 ZO 与 FO 优化之间的性能差距。作者认为，加速 ZO 优化的关键不仅在于通过子空间投影减少方差，还在于采用选择性谱对齐以避免放大噪声。通过将激进的完全谱正交化替换为基于幂迭代的部分正交化，该方法使得谱优化器能够在高方差的 ZO 机制中有效运行。这项工作表明，即使在噪声估计下也能更好地利用谱结构，为在不依赖反向传播的情况下高效、内存受限地微调大模型提供了一条途径。