技术摘要：关于零阶优化中的自适应性

问题陈述

本文探讨了大语言模型（LLM）在内存受限条件下的微调挑战。虽然反向传播是微调的标准方法，但它需要大量内存用于激活缓存和高精度浮点运算。零阶（ZO）优化作为一种内存高效的替代方案应运而生，它通过对随机扰动后的参数进行前向传播来近似梯度。然而，ZO 方法存在高方差问题，导致其收敛速度比一阶（FO）方法慢。

最近的研究试图通过引入自适应 ZO 优化器（例如 ZO-Adam）来缓解这种方差，这些优化器通过跟踪每个坐标的梯度一阶和二阶矩来模仿 FO 自适应方法。作者质疑这种方法的有效性，并假设在高分辨率 ZO 设置中，自适应方法成功所需的坐标异质性可能并不存在。

方法论与分析

ZO 梯度的理论分析

作者分析了高维空间中 ZO 梯度估计量的统计特性。他们证明，由于随机扰动的各向同性，ZO 梯度估计缺乏 FO 梯度中存在的坐标异质性。

• 命题 3.1：作者证明，期望平方 ZO 梯度主要由一个依赖于真实梯度平方范数的全局项主导，而非单个坐标值。具体而言，估计量引入的偏差随 $1/q$ 缩放（其中 $q$ 为噪声样本数），并在高维情况下（$q \ll d$）变得与坐标无关。
• 推论：跟踪每坐标统计信息（如 Adam 的二阶矩）的自适应机制与 ZO 梯度的底层统计特性不一致，这使得它们在未提供收敛优势的情况下变得内存低效。

提出的方法：MEAZO

利用全局步长自适应已足够这一见解，作者提出了MEAZO（内存高效自适应零阶优化器）。

• 设计：与为每个参数维护二阶矩向量的 ZO-Adam 不同，MEAZO 仅跟踪一个标量，该标量代表投影梯度的全局平方范数。
• 更新规则：更新过程通过该标量缩放全局步长，从而在不增加每参数内存开销的情况下，基于全局曲率自适应地调整学习率。
• 分组扩展：MEAZO 自然地扩展到分组（块坐标）ZO 设置中，为每个块而非每个参数维护一个标量，在进一步减少内存的同时捕捉块级异质性。

理论保证

本文在标准假设（L-平滑、有界方差、有界梯度）下为 MEAZO 提供了形式化的收敛保证。

• 分析将 ZO 梯度视为平滑目标函数的无偏估计量。
• 定理 4.7：确立了 MEAZO 的收敛率，该收敛率在存在仿射方差界的情况下与自适应 SGD 的标准收敛率相匹配。收敛率被证明为 $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$，证实该方法收敛至一个平稳点，其噪声邻域大小取决于样本数 $q$ 和扰动幅度 $\epsilon$。

实验结果

合成实验

• 二阶矩行为：在合成二次问题中，作者观察到随着维度的增加，ZO-Adam 的二阶矩向量坍缩为单个值（全局范数），而 FO-Adam 则保持不同的坐标值。这从经验上验证了理论主张，即在高维 ZO 设置中，每坐标自适应是冗余的。
• 鲁棒性：与 ZO-SGD 相比，MEAZO 对步长选择表现出增强的鲁棒性，特别是在异质块结构设置中，其稳定性与 ZO-Adam 相当。

LLM 微调

实验在多个模型系列（Llama-3.2、Qwen-3、Ministral）和任务（XSum、SST-2、SQuAD）上进行，使用了 LoRA 和提示微调两种方法。

• 性能与内存：
  • ZO-SGD 与 ZO-Adam：在适当的步长调整下，ZO-SGD 在高维 LoRA 微调中匹配或超越了 ZO-Adam，证实了坐标自适应带来的收益有限。
  • MEAZO 性能：MEAZO 实现了与 ZO-Adam 相当的性能，但内存占用与 ZO-SGD 相当（跟踪一个标量而非完整向量）。
• 鲁棒性：虽然经过良好调整的 ZO-SGD 表现良好，但它对次优步长非常脆弱。MEAZO 保留了自适应方法的鲁棒性（拓宽了稳定学习率窗口），同时没有内存成本。
• 分组设置：在分组 ZO 设置中，MEAZO 能够适应特定组的统计信息（例如，早期层显示出更高的敏感性），在分组 ZO-SGD 可能发散的情况下保持稳定的收敛。

主要贡献

1. 理论见解：本文确立了高维空间中的 ZO 梯度本质上是同质的，这使得每坐标自适应机制（如 ZO-Adam 中的机制）在内存上低效，且在理论上对于收敛并非必要。
2. 算法创新：引入了MEAZO，这是一种基于标量的自适应 ZO 优化器，以可忽略的内存开销实现了全局步长自适应。
3. 经验验证：通过跨多种 LLM 和任务的综合实验证明，MEAZO 在匹配自适应基线（ZO-Adam）性能的同时，保持了非自适应基线（ZO-SGD）的内存效率。
4. 收敛分析：在非凸设置下为 MEAZO 提供了形式化的收敛保证，弥合了自适应 SGD 理论与零阶优化之间的差距。

意义与主张

作者声称，他们的工作重新评估了零阶优化中复杂自适应机制的必要性。他们认为，对于高维 LLM 微调，自适应的主要优势不在于每坐标缩放，而在于全局步长鲁棒性。

MEAZO 的意义围绕内存受限环境（例如边缘设备）展开。通过以 SGD 的内存效率实现自适应方法的鲁棒性，MEAZO 使更多资源有限的研究人员和从业者能够参与大模型的微调。本文谦逊地总结道，虽然 ZO-SGD 在完美调整时已足够，但 MEAZO 提供了一种实用、稳定且可扩展的替代方案，它在不承担内存惩罚的情况下缓解了步长选择的脆弱性。未来的工作建议改进对精确平稳点的收敛，并将 MEAZO 扩展到子空间 ZO 框架。