🤖 machine learning

Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens

本文介绍了 ZoVH，这是一个通过单步策略优化来重新诠释零阶 Hessian 近似的统一框架，旨在为 Hessian 及其逆矩阵提供一套全面的、方差缩减且无偏的估计量，从而在高维无导数优化中实现卓越的精度和收敛性。

原作者： Junbin Qiu, Zhaowei Hong, Renzhe Xu, Yao Shu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Junbin Qiu, Zhaowei Hong, Renzhe Xu, Yao Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个巨大的、雾气缭绕的山谷中寻找最低点（即问题的“最优解”），但你被蒙上了眼睛。你看不见地形的形状，也感觉不到脚下的坡度。你唯一能做的就是询问：“这里有多高？”并得到一个带有噪声、略有偏差的回答。这就是**零阶优化（Zeroth-Order Optimization）**的世界：仅通过“是/否”或“高/低”的回答来解决问题，而不需要知道斜率的方向（梯度）。

大多数蒙着眼睛的徒步者只会采取微小的、随机的步伐。但如果你想走得又快又稳，你就需要了解土地的曲率。地面是像碗一样向上弯曲（容易找到底部），还是平坦且难以捉摸？这种曲率信息被称为海森矩阵（Hessian）。

你提供的这篇论文——《重访零阶海森近似》（Revisiting Zeroth-Order Hessian Approximation）——解决了一个巨大的难题：在这样一个高维且雾气弥漫的世界中，弄清楚曲率是非常困难的，通常需要询问过多的次数（查询）才能获得清晰的图像。

以下是该论文的解决方案，通过简单的概念进行拆解：

1. 新的视角： “策略优化”视角

作者意识到，尝试猜测土地的曲率，在数学上等同于强化学习中的一个问题——策略优化（Policy Optimization）。

类比： 想象你是一名正在教机器人走路的教练。机器人尝试不同的腿部动作（采样方向），以观察哪种动作效果最好。作者意识到，估计地面的曲从性，就像机器人试图根据地面对其步伐的反应来调整其“策略”（strategy）一样。
突破点： 通过这个“教练与机器人”的视角，他们找到了一种统一的方法，来审视所有旧有的、混乱的猜测曲率的方法。他们证明了所有这些旧方法本质上都是机器人选择“基准线”（baseline，即参考点）的不同方式。

2. 问题所在：噪声与方差

在一个充满噪声的环境中，每当你问“这里有多高？”时，答案都会产生抖动。如果你试图根据这些抖动的答案来计算曲率（二阶导数），误差会呈爆炸式增长。这就像试图通过一张摇晃模糊的照片来测量道路的弯曲程度；结果是模糊且毫无用处的。

3. 解决方案：ZoVH（“超级扫描仪”）

作者构建了一个名为 ZoVH（零阶方差缩减海森算法）的新工具。可以把它想象成一个能够清理噪声的超级智能扫描仪。它使用了两个主要技巧：

技巧 A：“完美的参考点”（最优基准线）

当机器人（或算法）询问“这里有多高？”时，它通常会将答案与一个随机猜测或一个固定数值进行比较。这就像是将今天的温度与去年的一个随机数字进行比较。

修正方案： ZoVH 计算了近期所有“这里有多高？”回答的平均值，并使用那个作为参考点。
隐喻： 想象你正在试图猜测人群的平均身高。与其将某个人与一个陌生人进行比较，不如将他们与你刚刚测量的实际群体平均身高进行比较。这抵消了大部分噪声，使曲率计算变得极其锐利且准确。论文证明了这是在数学上“最佳”的做法。

技巧 B：“回收足迹”（查询复用）

通常，为了获得更好的图像，你必须提出更多的疑问，这会耗费时间和金钱。

修正方案： ZoVH 查看了它在近期过去所提出的问题。由于机器人还没有移动太远，旧的答案仍然非常相关。
隐喻： ZoVH 不是每秒钟都对道路拍一张全新的照片，而是将你拍摄的最后几张照片缝合在一起。它复用了你已经留下的“足迹”。这让它在不向雾中的神谕（oracle）询问任何新问题的情况下，获得了更大的数据集（更多的样本）。它免费地获得了一幅更清晰的图像。

4. 结果：走得更快、更稳

通过结合这两个技巧，ZoVH 能够比以往的方法以更少的噪声来估计土地的曲率。

实践应用： 作者在合成数学问题、神经网络（AI 模型）甚至攻击 AI 模型（对抗性攻击）上测试了它。
成果： 比起其他蒙着眼睛的徒步者，ZoVH 能更快地找到“山谷底部”。它能以更少的步数达到解，且更加准确。
大语言模型（LLM）微调： 他们还展示了它在微调大语言模型（比如你正在与之交谈的 AI）方面的效果。它能帮助 AI 更好地学习，而无需进行可能导致内存崩溃的复杂数学计算。

总结

这篇论文的核心观点是：“我们发现了一种看待盲目优化器如何猜测世界形状的新方法。通过将其视为机器人学习策略的过程，我们发明了一种方法（ZoVH），它利用智能平均值来抵消噪声，并回收旧数据以在不增加额外成本的情况下获得更清晰的图像。这使得盲目优化变得更快、更准确，并能胜任现实世界的 AI 任务。”

技术摘要：重新审视零阶 Hessian 近似：单步策略优化视角

1. 问题陈述

零阶（Zeroth-order, ZO）优化旨在解决目标函数 $F(\theta) = \mathbb{E}_\xi[f(\theta; \xi)]$ 仅能通过带噪声的函数值进行访问的黑盒场景。虽然 ZO 梯度估计已经非常成熟，但准确的 ZO Hessian 近似 仍然是一个重大挑战，特别是在高维和高噪声的场景下。

准确的曲率信息对于以下场景至关重要：

无导数双层优化（Derivative-free bilevel optimization）。
不确定性量化（Uncertainty quantification）。
大语言模型（LLM）的曲率感知微调。

现有方法面临两个主要局限性：

高方差： 经典的随机估计器（例如 Stein 型估计器）在高维设置下通常面临高方差问题，导致优化不稳定。
范围有限： 先前的研究主要集中在估计 Hessian 矩阵 $\nabla^2 F(\theta)$ 本身。对于 正则化逆 Hessian $(\nabla^2 F(\theta) + \lambda I_d)^{-1}$ 以及 逆 Hessian-梯度乘积 $(\nabla^2 F(\theta) + \lambda I_d)^{-1}\nabla F(\theta)$ 的关注较少，而这两者对于二阶 ZO 更新是必不可少的。
查询效率： 朴素的有限差分法需要 $O(d^2)$ 次查询，而现有的随机化方法往往无法在降低方差与有效复用查询之间取得平衡。

2. 方法论

2.1. 理论框架：策略优化视角

作者提出了一个统一的框架，通过 单步策略优化（Policy Optimization, PO） 的视角来重新解释 ZO Hessian 近似。

平滑目标： 将 ZO 目标函数重新表述为平滑目标 $F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)}[\mathbb{E}_\xi[f(x; \xi)]]$ ，其中 $\pi_\theta$ 是参数化的采样策略（例如高斯分布 $N(\theta, \mu^2 I_d)$ ）。
Hessian 恒等式： 通过对策略梯度求导，作者推导出了平滑目标的通用 Hessian 恒等式：
$\nabla^2 F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)} \left[ H_{\pi_\theta} \cdot \mathbb{E}_\xi[f(x; \xi)] \right]$
其中 $H_{\pi_\theta}$ 是策略对数密度的 Hessian。
估计器的统一： 这一视角表明，经典的 Stein 型估计器（单点、两点、三点）以及中心差分估计器都是该框架下的特例，其区别仅在于 基准（baseline） 的选择（例如零基准、锚点基准 $f(\theta)$ 或对偶采样）。

2.2. ZoVH：方差缩减 Hessian 估计器

基于 PO 框架，作者引入了 ZoVH（Zeroth-Order Variance-reduced Hessian）：

最优平均基准：
- 不同于梯度估计器中基准通常是启发式的，作者证明了对于从秩一恒等式导出的 Hessian 估计器，平均基准 $\hat{b} = \frac{1}{K}\sum f(x_k)$ 是保持无偏性的唯一选择。
- 从理论上证明，在所有常数基准中，该基准能最小化估计器的方差。
查询复用策略：
- 为了在不增加查询成本的情况下进一步降低方差，ZoVH 利用了过去函数查询的历史缓冲区。
- 这被解释为 PO 框架内的 离策学习（off-policy learning），其中历史数据（由之前的迭代生成）通过重要性采样进行重加权，以估计当前的 Hessian。
- 这有效地将样本量从 $K$ 提升到了 $NK $（其中$ N$ 是历史长度），而无需额外的函数评估。

2.3. 高效逆近似

为了实现实际的二阶更新，本文将 ZoVH 扩展到近似逆 Hessian 和逆 Hessian-梯度乘积：

逆 Hessian： 利用 Woodbury 矩阵恒等式 高效计算正则化秩- $K$ Hessian 估计器的逆（复杂度为 $O(K^2 d)$ 或使用对角近似时为 $O(Kd) $），而无需反转稠密的$ d \times d$ 矩阵。
偏差修正乘积： 当使用相同的随机方向进行梯度和 Hessian 估计时，会引入相关性偏差。作者提出了 留一法（leave-one-out） 策略来修正此偏差，从而能够以极低的开销高效计算 $(\nabla^2 F + \lambda I)^{-1}\nabla F$ 。

3. 主要贡献

统一的 PO 视角： 建立了通用 ZO Hessian 估计器与平滑 PO 目标 Hessian 之间的理论等价性，将经典的随机化估计器统一为基准选择的具体实例。
ZoVH 算法： 开发了一套完整的方差缩减估计器套件，用于估计全 Hessian、正则化逆 Hessian 以及偏差修正的逆 Hessian-梯度乘积。
理论保证：
- 证明了使用平均基准时 Hessian 估计器的 无偏性。
- 论证了平均基准的 方差最优性。
- 提供了整个 ZoVH 套件的误差界限（偏差-方差分解）。
- 为由此产生的曲率感知 ZO 算法收敛至 $\epsilon$ -驻点建立了 收敛保证。
实际效率： 引入了查询复用机制，在不增加查询预算的情况下增强了样本效率，并推导出了适用于 LLM 微调等高维问题的稳定逆近似方法。

4. 实验结果

作者在合成基准、神经网络训练和黑盒对抗攻击上验证了 ZoVH。

Hessian 估计精度：
- 在合成函数（二次函数、Rosenbrock 函数、Styblinski-Tang 函数）和 CNN 层上，ZoVH（配合查询复用， $N=4$ ）与经典的 Stein 和中心差分估计器相比，始终实现了最低的 Frobenius 范数误差。
- 在二次函数和 Rosenbrock 函数上，ZoVH ( $N=1$ ) 比中心差分估计器的精度提升了 8 倍。
- 在 CNN 层上，ZoVH ( $N=4$ ) 比中心差分估计器的误差降低了 9 倍。
优化收敛性：
- 在合成优化任务中，ZoVH ( $N=4$ ) 在收敛速度和最终精度方面均显著优于 Vanilla ZOO、HiZOO 和 ZoAR，实现了比 Vanilla ZOO 平均 22 倍的加速。
- 在 黑盒对抗攻击 中，与 Vanilla ZOO 相比，ZoVH ( $N=4$ ) 仅需 4 倍更少的迭代次数 即可实现成功攻击。
LLM 微调：
- 应用于在 GLUE/SuperGLUE 任务上微调 OPT-1.3B 和 OPT-13B 模型。
- 与 MeZO 和 HiZOO 相比，ZoVH 展示了更快的收敛速度和更高的测试准确率。
- 运行时和内存开销极低，ZoVH 仅比 MeZO 稍慢，且使用的额外内存微乎其微（仅存储标量值和种子）。

5. 重要性与主张

本文声称 ZoVH 为 曲率感知无导数优化提供了坚实的理论基础。通过弥合 ZO 近似与策略优化之间的鸿吐，这项工作提供了：

理论清晰度： 一个严谨的推导，解释了为什么某些估计器有效，以及如何通过基准选择来优化它们。
实际效用： 一种能够在现实应用（包括 LLM）中实现卓越估计精度和收敛性能的方法，且无需承担全有限差分方案那样的过高查询成本。
可扩展性： 通过高效的逆近似和查询复用，能够处理高维问题（如拥有数百万参数的 LLM），使得在以往难以实现的黑盒设置下进行二阶优化成为可能。

作者强调，尽管该方法引入了平滑偏差（这是 ZO 方法固有的），但方差缩减和查询效率带来的收益远大于这一权衡，从而在噪声高、维度高的环境中实现更快、更稳定的收敛。