🤖 machine learning

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

本文介绍了 $\texttt{AdaNAGED}$ ，一种新颖的无参数零阶优化方法，它将自适应调节与基于线性最小化算子的几何感知更新相结合，旨在实现大型语言模型的高效内存微调，且无需昂贵的超参数搜索。

原作者： Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、极其聪明的机器人（一个大型语言模型），它已经通过阅读整个互联网学会了说话和写作。现在，你想教它一项特定的新技能，比如理解电影评论。这个过程被称为“微调”（fine-tuning）。

通常，教导这个机器人涉及一种叫做“反向传播”（backpropagation）的方法。可以把这想象成一位老师站在机器人旁边，观察它的每一个动作，计算出如何修正它的错误，然后写下一本厚厚的笔记（激活值、梯度、优化器状态）来记住下次该怎么做。问题在于，对于一个巨大的机器人来说，这本笔记如此庞大，以至于填满了整个教室的内存，使得过程既缓慢又昂贵。

论文的核心思想：“在黑暗中摸索”

作者提出了一种不同的教导机器人的方式，称为“零阶优化”（Zero-Order Optimization）。与其观察机器人并进行精确的数学计算，不如想象你是在一个黑暗的房间里寻找出口。你没有地图（梯度）。相反，你迈出一小步，感受一下空气是否变凉快了（损失函数是否下降了？），然后再迈出另一步。你只需要知道是“更好”还是“更差”，而不需要知道精确的数学原理是为什么。这节省了大量的内存，因为你不需要写下那本巨大的笔记。

“摸索”带来的问题

然而，这里有一个陷阱。当你通过感觉来摸索时，你需要决定两件事：

要迈多大的步子？（如果步子迈得太大，你可能会掉下悬崖；迈得太小，你永远也到不了目的地。）
你的感官应该有多“模糊”？（如果你走得太远去测试空气，你可能会错过小的障碍物；如果你靠得太近，一阵微风就可能让你感到困惑。）

在过去，人们必须为每个新任务完美地猜测这些数字。如果你猜错了，机器人就学不到任何东西。这需要大量的试错，既慢又令人烦恼。

解决方案：一个自动调节的指南针

作者引入了一种新方法，叫做 AdaNAGED（以及它的矩阵版本 AdaMuGED）。把这想象成给机器人一个自动调节的指南针。

无参数化（Parameter-Free）： 机器人不需要你告诉它步子该迈多大。它会观察自己最近的历史记录。如果它刚刚迈出一步且结果很好，它就知道自己走在正确的轨道上。如果结果不稳定，它就知道要放慢速度。它能实时算出完美的步长和“模糊度”设置，而不需要人类预先进行调整。
几何感知（LMO）： 作者还注意到，机器人的大脑不仅仅是一串平坦的数字，它是由不同的形状组成的（有些部分像网格，有些像列表）。标准方法将一切视为平坦的列表。作者的方法使用了一个特殊的工具，叫做线性最小化算子（Linear Minimization Oracle, LMO）。想象你在推一个沉重的箱子。如果你直着推，它可能会卡住。但如果你知道箱子在一个斜坡上，你会斜着推，让它顺着坡滑下去。这种方法能根据机器人大脑的具体形状，计算出推动它的最佳“角度”，使学习过程更平滑、更快速。

实验结果

团队在大型模型（OPT-1.3B）上进行了测试，教它理解电影评论（SST-2 任务）。

他们将这个“自动调节指南针”机器人与经过专家手动调优（专家花费数小时猜测正确的步长）的机器人进行了对比。
结果： 这个自带“自动调节指南针”的机器人表现得几乎与那些经过专家调优的机器人一样好。它不需要人类进行猜谜游戏，却依然有效地学习了这项任务。

总结

这篇论文提出了一种教导巨型 AI 模型的新方法，它：

节省内存： 它不需要写下那本巨大的笔记（无需反向传播）。
节省时间： 它能自动计算自己的学习速度和设置，因此人类不必浪费时间去猜测。
效果更好： 它理解 AI 大脑的特定形状，从而能在最有效的方向上推动它。

这就像是教一个巨大的机器人走路，通过让它感受自己的平衡并自动调整步幅，而不是强迫它遵循一份僵化的、预先写好的手册。

技术摘要：基于 LMO 方法的零阶无参数优化

问题陈述
微调大语言模型（LLMs）是现代优化领域的核心应用，但它面临着一个关键瓶颈：反向传播带来的内存开销。存储像 OPT-1.3B 这样模型的中间激活值、梯度和优化器状态需要大量的内存（例如约 25 GB），这限制了可扩展性。零阶（ZO）优化通过使用基于函数值查询的有限差分估计来替代梯度计算，提供了一种内存高效的替代方案。然而，现有的 ZO 方法存在两个主要局限性：

超参数敏感性： 性能高度依赖于步长（stepsize）和平滑参数（ $\tau$ ）。最优设置通常需要了解问题相关的常数（例如 Lipschitz 常数、到最优解的距离），而这些在实践中是无法获取的，因此需要进行昂贵的针对特定任务的网格搜索。
几何不匹配： 标准的欧几里得更新可能无法捕捉参数块（例如 LLM 中的矩阵形状权重）的异构结构。利用线性最小化算子（LMOs）的方法可以适应非欧几里得几何（如矩阵的谱范数），但将这些与零阶设置中的无参数（PF）自适应相结合的研究仍处于空白。

方法论
作者提出了 AdaNAGED（ADAptive Norm-Agnostic Gradient-frEe Descent，自适应范数无关梯度自由下降），这是一种统一了三种范式的创新算法：内存高效的零阶优化、无参数自适应以及通过 LMO 实现的几何感知更新。

无参数估计：
- 平滑度 ( $L$ )： 该方法不要求预先知道 Lipschitz 常数，而是沿着优化轨迹迭代地估计局部平滑度。它计算连续迭代点之间 ZO 梯度近似值的差异与两者之间距离的比率： $L_t = \|g_t(x_{t+1}, e_t)_* / \|x_{t+1} - x_t\|$ 。至关重要的是，为了保持内存效率，在两个点处使用了相同的扰动方向 $e_t$ （以随机种子形式存储）。
- 初始间隙 ( $\Delta$ )： 该方法使用目标函数的已知下界（ $f_{min}$ ）来估计初始间隙 $\Delta \leq f(x_0) - f_{min}$ ，从而避免了需要了解到最优解距离的需求。
- 自适应步长： 步长 $\gamma_t$ 使用基于局部平滑度估计的 AdaGrad-Norm 风格累积进行更新（ $S_t = S_{t-1} + L_t$ ），从而得到 $\gamma_t \propto 1/\sqrt{S_t}$ 。
- 平滑参数 ( $\tau$ )： 为了确保稳定性， $\tau_t$ 与步长进行线性缩放（ $\tau_t = \rho C_2 \gamma_t$ ），该缩放源自收敛证明的理论要求。
基于 LMO 的更新：
算法通过范数球上的线性最小化算子定义更新： $v_t = \text{lmo}(g_t)$ 。这使得该方法能够适应不同的几何结构：
- 向量几何： 使用 $\ell_\infty$ 范数可以实现类似于 Sign-SGD 的更新。
- 矩阵几何： 使用谱范数可以实现类似于 Muon 的更新。由于精确的极分解（SVD）计算成本高昂，作者引入了 AdaMuGED，通过几次 Newton–Schulz (N-SS) 迭代来近似极算子，从而避免了矩阵求逆。

核心贡献

新型无参数 ZO 构建： 本文引入了一种在无需预知问题常数的情况下，估计局部平滑度并设置步长的零阶方法。通过仅存储用于生成扰动方向的生成器种子，保持了 ZO 的内存效率。
范式统一： 提出的 AdaNAGED 算法结合了内存高效的 ZO、降低的超参数依赖以及几何感知的 LMO 更新。
收敛保证： 作者为 Lipschitz 连续、光滑且凸的目标函数建立了收敛速率。所得速率是渐近最优的（ $O(1/\epsilon^2)$ ），并计入了参数化估计和随机性带来的额外因素。
实用变体： AdaMuGED 的引入将该框架扩展到了矩阵值参数，利用 Newton–Schulz 迭代，使其适用于参数具有矩阵结构的 LLM 微调。

实验结果
研究人员在 SST-2 情感分类任务上对 OPT-1.3B 模型进行微调，以此评估该方法在内存受限的 LLM 适配场景下的表现。

基准测试： 作者将其与经过调优的零阶优化器进行了对比，包括 ZO-AdaMM、ZO-SignSGD 和 ZO-Muon。
性能表现：
- AdaNAGED（类 SignSGD）达到了 0.903 的准确率，与调优后的 ZO-SignSGD（0.910）仅差 0.7 个百分点。
- AdaMuGED（类 Muon）达到了 0.908 的准确率，将与调优后 ZO-SignSGD 的差距缩小到了 0.2 个百分点，并比 AdaNAGED 高出 0.5 个百分点。
- 调优后的 ZO-Muon 仍然是最强的基准，准确率为 0.921，这证实了矩阵感知几何的优势。
结论： 无参数方法展现出了与手动调优的基准方法竞争力的性能，验证了自适应规则可以在无需昂贵超参数搜索的情况下，恢复大部分调优后 ZO 方法的性能。

意义
本文声称提出了首个处于零阶（Zeroth-Order）、无参数（Parameter-Free）和线性最小化算子（Linear Minimization Oracle）优化交汇点的算法。其意义在于证明了：

内存效率： 通过避免反向传播，可以使 ZO 优化在 LLM 上变得切实可行。
自动化： 通过对平滑度和步长的自适应、无参数估计，可以消除对成本高昂的、针对特定任务的超参数调优的依赖。
几何灵活性： 该框架支持非欧几里得更新（通过 LMO），这与模型参数的结构属性（如矩阵）相一致，从而提高了条件性和稳定性。

作者保持了谦逊的态度，指出虽然其无参数方法具有竞争力，但调优后的基准方法（特别是 ZO-Muon）仍略占优势，这表明手动调优目前仍是最优的选择，但所提方法提供了一个鲁棒且自动化的替代方案。

技术摘要：基于 LMO 方法的零阶无参数优化

类似论文