🤖 machine learning

Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems

本文引入了一种方差缩减的零阶朗之万采样方法，该方法首次实现了针对无梯度访问的高维非对数凹分布的非渐近收敛保证，并将该框架应用于开发 ZO-APMC，这是一种用于解决具有预训练分数先验的黑盒逆问题的创新算法。

原作者： M. Berk Sahin, Behzad Sharif, Abolfazl Hashemi

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： M. Berk Sahin, Behzad Sharif, Abolfazl Hashemi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在广袤、多雾且多山的荒野中寻找一个最佳的露营点。你的目标是找到那个“完美”的地点（目标分布），但地形非常复杂：有深邃的山谷、平坦的高原和隐藏的山峰（非对数凹性）。

通常情况下，为了进行导航，你需要一张带有指南针的地图，指南针能告诉你哪边是“下坡”（梯度）。但在本文中，作者处理的是一种你既没有指南针也没有地图的情况。你只能观察当前的位置，并询问：“如果我在随机方向迈出一小步，地面会变高还是变低？”这就是所谓的**零阶（Zeroth-Order）**信息。这就像是用脚感受地面，而不是阅读地形图。

以下是他们解决方案 ZO-APMC 方法的拆解，使用了简单的类比：

1. 问题所在：“嘈杂的手电筒”

当你无法看到梯度（坡度）时，你必须通过随机尝试来猜测它。

旧方法： 为了获得一个像样的坡度猜测，你必须在每一次移动时都进行数千次随机尝试以抵消噪声。这就像是试图寻找一条路径，每走一步都要随机走 1,000 步，测量高度，然后针对每一步都重复这个 1,000 步的过程。这极其缓慢且成本高昂。
论文的洞察： 作者意识到，如果你走几步，然后再走几步，这两时刻之间的地面变化通常是微小且可预测的。你不需要每次都重新测量整个世界。

2. 解决方案：“方差缩减型手电筒”

作者发明了一种新的猜测坡度的方法，就像一个拥有记忆的智能手电筒。

工作原理： 他们不再每次都进行数千次尝试，而是偶尔进行一次大规模的步进采样（以获得一个新鲜、准确的基准），然后在接下来的几次移动中，他们只测量当前位置与之前位置之间的差异。
类比： 想象你在黑暗中行走。与其每隔 10 英尺就停下来，用巨大的、昂贵的探照灯照亮整个森林来寻找路径（旧方法），不如先用一个小手电筒照亮周围以确定方位，然后只需观察在你行走时地面是如何变化的。你只会在需要修正航向时才偶尔打开大探照灯。
结果： 这在不需要数千次测量的情况下降低了猜测中的“噪声”（方差）。这使得过程即使在高维空间（比如在 1,000 维的荒野中导航）中也能既快速又稳定。

3. 应用场景：解决“黑盒”谜题

论文将此应用于逆问题（Inverse Problems）。

场景： 假设你有一张模糊的黑洞照片或一张受损的 MRI 扫描图像。你想重建原始清晰的图像。
“黑盒”： 通常，要修复图像，你需要确切知道相机或 MRI 机器是如何工作的（模糊背后的数学原理）。但有时，这个机器是一个“黑盒”——它是一个封闭系统、一个遗留计算机程序，或者是一个复杂的物理模拟，其中你无法看到内部的数学逻辑。你只能输入一张图像，得到一个模糊的结果。
论文的方法： 他们将这种“智能手电筒”（采样方法）与一个已知“好图像”长什么样的预训练 AI（基于评分的生成模型，即 SGM）相结合。
- AI 充当向导，提示：“这看起来像是一个真实的脑部扫描图像。”
- “智能手电筒”检查黑盒：“如果我改变这个像素，模糊的输出是否会更接近我测量到的结果？”
- 两者结合，他们在迷雾中导航，寻找最可能的原始图像，而无需打开黑盒或了解其内部数学逻辑。

4. 证明：为什么它有效

作者不仅是在猜测；他们从数学上证明了这种方法是有效的。

收敛性： 他们证明了即使在这种充满噪声的“盲目”导航下，该方法也保证最终能找到正确的解（目标分布）。
效率： 他们证明了你不需要旧方法所要求的那样大量的步骤。无论问题的复杂度如何，你都可以通过恒定的、少量的单步检查来获得准确的结果。

结果总结

论文在三个现实世界的“黑盒”挑战中测试了该方法：

MRI 重建： 从模糊、欠采样的数据中重建清晰的脑部图像。他们的方案产生的图像几乎与那些能够获取内部数学信息的方案一样好，且无需获取这些信息。
黑洞成像： 根据望远镜数据重建黑洞图像。他们的方案在所有“黑盒”竞争对手中产生了最清晰的图像，捕捉到了其他方法错过的精细细节。
流体力学（纳维-斯托克斯方程）： 根据流体运动的快照来推测初始条件。在此任务中，他们的方案表现出了竞争力，证明了它甚至在复杂的物理模拟中也同样有效。

简而言之： 作者创造了一种“盲目导航”工具，它足够聪明，能够记住之前的步骤，从而使其能够解决复杂的、高维度的谜题（如医学成像和天体物理学），而无需了解试图逆向工程的系统的内部数学逻辑。

技术摘要：具有方差缩减功能的零阶非对数凹采样及其在逆问题中的应用

1. 问题陈述

本文解决了在高维、非对数凹分布中进行采样的基本挑战，其中势函数 $f$ （目标分布为 $\pi \propto \exp(-f)$ ）仅可通过零阶（ZO）评估获取。这种“黑盒”场景出现在梯度信息不可用、计算成本过高或未定义（例如，在遗留代码、专有系统或基于 PDE 的模拟器中）的情况下。

现有的方法在这种背景下面临两个主要局限性：

高方差： 基于沿随机高斯方向的有限差分的标准 ZO 梯度估计器表现出高方差。为了控制这种方差，传统方法需要随维度 $d$ 线性缩放的批次大小（ $O(d)$ ），这在高维设置中会导致极高的计算和内存成本。
缺乏理论保证： 虽然朗之万动力学（Langevin dynamics）为使用梯度的采样提供了一个框架，但其在 ZO 设置下的扩展缺乏针对非对数凹分布的非渐近收敛保证。此外，现有的用于逆问题的黑盒后验采样方法通常依赖于启发式近似，而在费舍尔信息（FI）或全变分（TV）距离等标准差异度量下缺乏严格的收敛保证。

2. 方法论

方差缩减的零阶估计器

其核心方法论贡献是一种新型的方差缩减 ZO 梯度估计器 $g_k$ ，旨在仅通过每迭代 $O(1)$ 次函数评估来实现精确的梯度近似，且与环境维度 $d$ 无关。该估计器通过一个概率更新规则运行：

以概率 $p$ ，使用 $b$ 次函数评估计算一个大批次估计器。
以概率 $1-p$ ，利用少量的（ $b' \ll b$ ）新鲜评估与之前的估计值 $g_{k-1}$ 相结合，通过递归方式更新估计值。

该机制利用了连续迭代（ $x_{k\gamma}$ 与 $x_{(k-1)\gamma}$ ）之间的强相关性来近似梯度的变化，从而降低了单次迭代的计算成本，同时实现了方差控制。该方法假设势函数 $f$ 是利普希茨连续的，以界定梯度变化的方差。

用于逆问题的 ZO-APMC 算法

作者将该框架扩展到在黑盒设置中使用预训练的基于分数生成模型（SGM）作为先验来解决病态逆问题（ $y = A(x) + \xi$ ）。提出的算法 ZO-APMC（零阶退火后验蒙特卡洛）结合了：

退火朗之万动力学： 一系列加权后验分布，其中先验逐渐平滑，似然权重逐渐增加。
方差缩减估计： 使用提出的方差缩减估计器替换朴素的似然项 ZO 梯度。
SGM 先验： 利用预训练的 SGM 来估计先验分数 $-\nabla h(x)$ ，同时考虑扰动误差（由于噪声水平 $\sigma_k$ 引起）和网络估计误差。

该算法通过一个包含退火方案和 ZO 估计器的连续时间插值进行迭代，从而允许从复杂的非对数凹后验中采样，而无需正向算子 $A(\cdot)$ 的梯度。

3. 核心贡献

首次针对非对数凹采样的非渐近保证： 本文建立了针对非对数凹分布进行零阶采样的首个非渐近收敛保证。
- 它在 $O(d^7 L_m^4 / \epsilon^4)$ 次迭代后实现 $\epsilon$ -相对费舍尔信息误差。
- 在满足庞卡莱不等式（Poincaré inequality）的假设下，它在平方全变分距离下实现 $\epsilon$ -精度。
- 至关重要的是，这些保证是在每迭代 $O(1)$ 次函数评估的情况下实现的，消除了标准 ZO 估计器所需的 $O(d)$ 批次大小缩放。
方差缩减估计器： 提出了一种能够将批次大小与维度解耦的新型估计器，显著降低了内存和计算成本，同时实现了稳定的采样。
具有理论依据的黑盒后验采样： 开发了 ZO-APMC，这是第一个在 SGM 先验下针对黑盒逆问题进行后验采样的算法，它提供了正式的非渐近和弱收敛保证。其分析明确考虑了由退火方案和 SGM 估计误差引入的偏差。
经验验证： 通过广泛的实验证明，ZO-APMC 在 MRI 重建和黑洞成像方面优于现有的黑盒基准方法（如 EnKG、DPG、SCG 和 Forward/Central-GSG）。

4. 结果

合成实验： 数值验证确认了理论收敛速率。在固定的单次迭代预算下，方差缩减机制（ $p < 1$ ）被证明比朴素 ZO 方法（ $p=1$ ）能收敛到更低的费舍尔信息值。在双峰高斯混合先验上的统计验证表明，ZO-APMC 能准确恢复后验模态统计量（均值和方差），与基于梯度的对应方法（APMC）高度匹配。
MRI 重建： 在 FastMRI 数据集上，ZO-APMC 取得了黑盒方法中的最先进性能，其 PSNR（35.29 dB）和 SSIM（0.966）指标与基于梯度的 APMC（36.55 dB, 0.973）非常接近，并显著优于其他黑盒基准。可视化结果显示，ZO-APMC 在没有梯度信息的情况下也能捕捉到精细细节。
黑洞成像： 在 InverseBench 数据集上，ZO-APMC 生成的重建结果最接近真实值，在 PSNR、闭相误差（closure-phase error）和闭幅误差（closure-amplitude error）指标上均优于所有黑盒基准。
Navier–Stokes 逆问题： 虽然 ZO-APMC 的表现与强基准 DPG 相当，并优于其他黑盒方法，但略逊于 EnKG。作者将其归因于 PDE 解算器的高度非线性，在这种情况下，高斯扰动（ZO 中使用的）可能会使输入偏离数据流形，从而影响求解器的稳定性。

5. 重要性与声明

本文声称建立了一个具有理论依据的非对数凹设置下的零阶采样框架，解决了无导数概率推理中的一个基本空白。通过为通用采样以及带有 SGM 先验的黑盒后验采样提供首个非渐近收敛保证，这项工作使得在梯度不可及、未定义或计算成本极高的场景下进行原则性的概率推理成为可能。

作者将 ZO-APMC 定位为迈向可扩展、黑盒后验采样的重要一步，提供了一种具有正式收敛保证的算法，可应用于包括科学模拟器（PDE）、医学成像（MRI）和天体物理学（黑洞成像）在内的多样化领域。该工作强调，尽管理论迭代复杂度对维度具有高度多项式依赖，但在高维任务上的实验结果显示，其能在实质上更少的迭代次数内实现收敛，并达到与基于梯度的对应方法相当的实际性能。

局限性与谦逊态度： 本文承认其理论界限依赖于利普希茨连续性和庞卡莱不等式的假设，而这些假设可能并不对所有分布全局成立。作者还指出，在高度非线性的 PDE 设置（Navier–Stokes）中，ZO 扰动策略可能不如基于系综的方法（如 EnKG）稳健。作者并非声称解决了所有黑盒逆问题，而是提供了一个严谨的基础和一个实用的算法，从而弥合了启发式黑盒方法与具有理论保证的基于梯度的方法之间的差距。