⚡ electrical engineering

Local MAP Sampling for Diffusion Models

本文介绍了局部最大后验采样（LMAPS），这是一种新颖的推理框架，它沿扩散轨迹迭代求解局部最大后验子问题，从而将基于优化的方法与概率解释相统一，在图像恢复和科学逆问题中实现了最先进的性能。

原作者： Shaorong Zhang, Rob Brekelmans, Greg Ver Steeg

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Shaorong Zhang, Rob Brekelmans, Greg Ver Steeg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《扩散模型的局部最大后验采样》的解释。

宏观图景：修复破损照片（及其他）

想象你有一张模糊、充满噪点或部分被擦除的照片。你想要修复它。在人工智能领域，这被称为逆问题。你拥有的是“混乱”的结果（模糊的照片），而你想要推导出“干净”的原始图像。

长期以来，人工智能研究人员一直使用扩散模型来解决这个问题。可以将扩散模型想象成一位才华横溢的艺术家，他看过数百万张照片。如果你给他一块空白画布和一点点噪声，他就能凭空“梦”出一张逼真的照片。

但如果你想要的不仅仅是任何一张逼真的照片呢？如果你想要一张能具体匹配你所拥有的模糊线索的照片呢？

旧方法：两种不同的途径

在这篇论文之前，主要有两种利用这些"AI 艺术家”来修复照片的方法：

“采样器”方法（DPS）：
想象你让艺术家画一幅符合你模糊线索的画，但你想要看到所有的可能性。也许那个模糊的斑点可能是一只猫，或者一只狗，或者一丛灌木。“采样器”试图生成许多不同的版本，以捕捉所有的不确定性。这就像问艺术家：“向我展示这个模糊斑点里可能存在的每一种东西。”
- 优点： 它非常适合理解不确定性。
- 缺点： 它可能很慢，而且有时结果是一团“混合”的可能性，而不是一个清晰明确的回答。
“优化器”方法：
想象你问艺术家：“给我原始照片看起来最可能的那个单一猜测。”你想要一张清晰锐利的图像，而不是一系列可能性。这通常被称为寻找“最大后验”（MAP）估计。
- 优点： 它通常能给出非常清晰、高质量的图像。
- 缺点： 很难解释为什么数学原理是这样运作的，而且有时用来实现它的方法有点“取巧”（使用经验法则而非坚实的理论）。

新想法：“局部最大后验采样”（LMAPS）

这篇论文的作者引入了一种名为局部最大后验采样（LMAPS）的新方法。他们意识到，人们正在使用的“优化器”方法实际上正在做一件非常具体的事情：他们在过程的每一步都在解决一个局部谜题，而不是一次性尝试解决整个巨大的谜题。

类比：在雾中下山

想象你试图在雾气弥漫的山脉中找到最高的山峰（“全局 MAP"）。

采样器四处随机行走，试图绘制出整个山脉的地图，以查看山峰和山谷的位置。
旧优化器试图径直向上走，但他们没有好的地图，所以有时会陷入困境或走上奇怪的路径。

LMAPS 就像一位采取小步、谨慎步伐的聪明徒步者。
LMAPS 并不试图一次性看清整座山，而是说：“就在此刻，就在我* immediate vicinity*（直接周围），最高点在哪里？”它找到最佳的局部位置，向那里迈进一步，然后对下一个位置再次提出这个问题。

随着图像变得越来越清晰，通过不断重复这种“寻找最佳局部位置”的过程，LMAPS 构建出了一张高质量的图像。

这有什么特别之处？

它串联了要点： 这篇论文表明，这种“局部逐步”的方法实际上统一了这两种旧方法。它解释了为什么旧的“优化器”方法如此有效。它将一个“黑盒”技巧变成了一个清晰、合乎逻辑的过程。
它更稳定： 作者创建了一个新的数学公式（一种“目标重述”），它就像一个更好的指南针。它防止了 AI 在图像非常模糊（过程早期）与几乎清晰（过程后期）时感到困惑。
它效果更好： 他们在 10 种不同的图像修复任务（如去除模糊、填补缺失部分或修复科幻数据）和 3 项科学任务（如观察黑洞或 MRI 扫描）上测试了这种方法。
- 结果： 在大多数测试中（60 个案例中的 43 个），LMAPS 产生了最清晰、最准确的图像。
- 速度： 它也比一些现有的最佳方法更快，这意味着它不需要那么费力就能获得出色的结果。

“秘密配方”

论文提到了两个使这种方法生效的技术技巧：

“高斯”猜测： 他们假设图像中的不确定性看起来像一团平滑、圆润的云（高斯分布），以便简化数学计算。这是一个合理的猜测，它在简化问题的同时不会损失准确性。
“温度”旋钮： 他们添加了一个控制旋钮（称为参数 $k$ ），允许他们在“信任 AI 的猜测”和“信任模糊线索”之间取得平衡。这有助于 AI 知道何时该大胆，何时该谨慎。

总结

简而言之，LMAPS 是一种利用 AI 修复破损图像的新方法。它不是一次性猜测整个答案，也不是随机采样各种可能性，而是逐步解决一系列小的局部谜题。这种方法在数学上是合理的，更容易理解，并且能产生比许多现有方法更清晰、更准确的结果，无论你是在修复家庭照片，还是在尝试观察黑洞。

技术摘要：扩散模型的局部最大后验采样

问题陈述

扩散后验采样（DPS）已成为一种强大的框架，通过从后验分布 $p(x_0 | y)$ 中采样来解决逆问题，提供了 principled 的不确定性量化和多模态性。然而，成像和科学领域的许多实际应用更优先考虑准确的点估计，而非完整的分布采样。最大后验（MAP）估计量，定义为 $\arg \max p(x_0 | y)$ ，仍然是标准的重建目标。

现有的基于优化的方法（例如 Resample、DiffPIR、DCDP）试图通过在去噪和优化步骤之间交替来改善重建性能。然而，这些迭代过程、全局 MAP 解与后验采样之间的理论联系尚不清楚。目前尚未确定这些方法是否收敛到全局 MAP，或者它们是否与 DPS 一致。此外，这些方法中优化步骤的具体性质——即它们是求解全局目标还是局部目标——需要澄清。

方法论：局部最大后验采样（LMAPS）

作者引入了局部最大后验采样（LMAPS），这是一种新的推理框架，它沿扩散轨迹迭代求解局部最大后验子问题。

1. 理论框架

LMAPS 通过求解一系列局部 MAP 问题而非单个全局问题来运作。在每一步扩散步 $t$ ，给定噪声状态 $x_t$ 和测量值 $y$ ，该方法寻求：
$x^*_0(t, x_t, y) := \arg \max_{x_0} p(x_0 | x_t, y)$
随后执行标准的 DDIM 转换步骤：
$x_{t-\Delta t} = g(x^*_0, x_t, \epsilon)$

与现有方法的区别：

与全局 MAP 相比： 全局 MAP 寻求完整后验 $p(x_0 | y)$ 的众数。LMAPS 在每一步寻求条件后验 $p(x_0 | x_t, y)$ 的众数。作者认为，局部极大值序列不一定收敛到 $p(x_0 | y)$ 的全局极大值。
与 DPS 相比： DPS 在更新中使用条件均值 $E[x_0 | x_t, y]$ 。LMAPS 用条件众数替代该均值。仅当条件后验为高斯分布时，两者才等价；否则，LMAPS 引入了一种寻找众数的偏差，避免了众数之间的低密度区域。
与 DMAP 相比： 虽然 DMAP 也利用局部 MAP 视角，但它是在潜在扩散变量空间中进行优化（ $x^*_{t-\Delta t} = \arg \max p(x_{t-\Delta t} | x_t, y)$ ）。LMAPS 直接在干净信号空间（ $x^*_0$ ）中提出问题，提供了一种互补的视角，明确连接了测量似然 $p(y|x_0)$ 。

2. 实用算法与近似

为了使局部 MAP 问题适用于一般的非线性逆问题，作者提出了特定的近似和重构：

协方差近似： 作者利用高斯先验假设的动机，用各向同性形式近似先验 $p(x_0 | x_t)$ 的条件协方差 $\Sigma_{0|t}$ 。随着噪声水平 $\sigma_t \to 0$ ，后验协方差渐近地变为各向同性。他们近似 $\Sigma_{0|t} \approx \frac{1}{SNR} I$ ，其中 $SNR = \alpha_t^2 / \sigma_t^2$ 。
目标重构： 局部 MAP 目标被表述为最小化先验距离和数据保真度的加权和：
$x^*_0 = \arg \min_{x_0} \left\{ \frac{SNR}{k} \|x_0 - m_{0|t}\|^2 + \frac{1}{\sigma_y^2} \|y - H(x_0)\|^2 \right\}$
为了提高数值稳定性和可解释性，这被重构为一种尺度不变的凸组合：
$x^*_0 = \arg \min_{x_0} \left\{ (1 - \mu_t) \frac{1}{2} \|x_0 - m_{0|t}\|^2 + \mu_t k_2 \|y - H(x_0)\|^2 \right\}$
其中 $\mu_t = \sigma_t^2 / (\sigma_t^2 + k_1^2)$ 。该公式允许自动退火：随着 $t$ 减小（ $\sigma_t \to 0$ ），目标从由测量驱动转变为由先验驱动。
线性与非线性： 对于线性逆问题，局部 MAP 解可以以闭式形式推导，将 Tweedie 矩投影扩散（TMPD）作为特例恢复。对于非线性问题，解通过梯度下降获得。

主要贡献

理论统一： 本文构建了 LMAPS，将基于优化的逆问题方法与 Tweedie 矩投影扩散（TMPD）统一在单一的概率框架下。它阐明了基于优化的方法本质上求解的是局部 MAP 问题，而非全局 MAP 或完整后验采样。
方法论进步： 作者引入了一种由高斯动机驱动的协方差近似，以及一种重构的目标函数，通过自动退火增强了数值稳定性和可解释性。
实证验证： 该框架在 10 个图像恢复任务（包括线性、非线性和不可微算子）和 3 个科学逆问题上得到了验证。

实验结果

作者在 FFHQ 和 ImageNet 数据集上评估了 LMAPS 用于图像恢复，并在科学逆问题基准（线性逆散射、压缩感知 MRI 和黑洞成像）上进行了评估。

图像恢复： LMAPS 在 FFHQ 和 ImageNet 的 PSNR、SSIM 和 LPIPS 指标上，在 60 个案例中有 43 个达到了最先进水平。它始终优于密切相关的 DMAP 基线，在运动去模糊、JPEG 恢复和量化等任务中显示出超过 2 dB 的 PSNR 提升。
科学逆问题： LMAPS 在所有科学任务中始终获得最高的 PSNR。值得注意的是，与之前的方法相比，它在三个线性逆散射（LIS）任务中实现了超过 1.5 dB 的 PSNR 增益。
效率： 与 DAPS 相比，LMAPS 表现出更高的效率，以更少的计算资源（例如，每个扩散步更少的优化步骤）取得了更好的结果。

意义与主张

本文声称，LMAPS 为基于优化的方法提供了原则性的概率解释，弥合了后验采样（DPS）与点估计（MAP）之间的差距。通过显式求解局部 MAP 子问题，该方法提供了一种统一的视角，解释了现有基于优化的求解器的行为。

作者强调，虽然 LMAPS 不从完整后验分布中采样（因此不像 DPS 那样以相同方式捕捉多模态性），但它专门设计用于准确点估计为主要目标的情景。该框架提供了一种稳健的替代方案，平衡了重建保真度与扩散模型的结构先验，在标准图像恢复和具有挑战性的科学重建任务中均取得了最先进的结果。这项工作表明，未来的研究可以进一步探索具有扩散先验的全局 MAP 估计的效用，这仍然是一个开放的挑战。