🤖 machine learning

Outlier-robust Diffusion Posterior Sampling for Bayesian Inverse Problems

本文针对含异常值测量导致的基于扩散的求解器在贝叶斯反问题中的性能退化问题，提出了一种鲁棒的扩散后验采样方法，该方法在理论上被证明对线性问题具有稳定性，并在经验上对线性和非线性任务均有效。

原作者： Yiming Yang, Xiaoyuan Cheng, Yi He, Kaiyu Li, Wenxuan Yuan, Zhuo Sun

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiming Yang, Xiaoyuan Cheng, Yi He, Kaiyu Li, Wenxuan Yuan, Zhuo Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解释。

大局观：利用“嘈杂”线索解谜

想象你正在尝试拼凑一幅复杂的拼图，但手中只有一张模糊、失真的成品照片作为指引。这就是科学家所称的逆问题。你拥有结果（照片），却需要推导出原因（拼图碎片）。

在现实世界中，这些“照片”（测量数据）很少是完美的。它们通常包含噪声（杂讯）或异常值（故障点）。

普通噪声：就像轻微的模糊或颗粒感。
异常值：就像一道明亮随机的闪光，或一个死像素，导致照片的微小部分完全错误。

长期以来，计算机一直使用一种名为扩散模型的强大工具来解决这些谜题。你可以将扩散模型想象为一位受过严格训练的艺术家，他见过数百万幅拼图。如果你给他一个模糊的提示，他能基于对真实世界的认知，“想象”出画面的其余部分。

问题所在：艺术家被故障点搞糊涂了

这篇论文指出了这些艺术家工作方式中的一个缺陷：他们被训练得过于严格地信任提示（测量数据）。

如果提示中只有一点点普通模糊，艺术家能做得很好。
但如果提示中包含故障点（异常值），艺术家就会惊慌失措。他们试图强行让拼图去适应那个故障部分，导致得出扭曲、丑陋的解。

作者将这种现象称为似然误设。这就像艺术家假设提示是完美的，即使它明显并非如此。

解决方案：“智能过滤器”（RDP）

作者提出了一种名为**鲁棒扩散后验采样（RDP）**的新方法。

类比：智能编辑
想象艺术家（扩散模型）正在拼凑拼图。在旧方法中，艺术家盲目地遵循模糊照片中的每一条指令，哪怕是那些奇怪的故障点。

新方法RDP则像是一位站在艺术家身旁的智能编辑。

艺术家根据照片做出猜测。
智能编辑将猜测与照片进行核对。
关键步骤：如果照片中存在一个与画面其余部分不匹配的微小怪异故障点（异常值），编辑会说：“忽略那部分！那很可能是个错误。”
编辑为照片的每一部分赋予一个“权重”。
- 良好部分：“百分之百信任这部分。”
- 故障部分：“零信任这部分。忽略它。”

这使得艺术家能够专注于线索中可靠的部分，忽略噪声，从而得出更清晰、更准确的拼图解。

论文的实际发现

研究人员并非凭空猜测这会奏效，而是通过数学证明和测试进行了验证。

数学证明：他们证明了对于某些类型的谜题（线性问题），他们新的“智能编辑”方法是稳定的。这意味着即使面对巨大的故障点，最终画面也不会崩溃或变得毫无意义。然而，旧方法会被同样的故障点带偏。
测试验证：他们在现实世界的任务中测试了该方法：
- 医学/科学成像：就像透过雾蒙蒙的玻璃观察内部（逆散射）。
- 照片修复：修复模糊照片、去除划痕，或填补图像缺失部分（图像修复/去模糊）。
- 相位恢复：从丢失了光“方向”的光模式中重建图像。

结果：

当照片干净时：他们的新方法与旧的、标准的方法表现一样好。它没有破坏原本良好的部分。
当照片含有故障点时：他们的方法好得多。它成功忽略了坏数据，生成了清晰的图像，而旧方法则生成了充满扭曲和伪影的图像。

总结

这篇论文为 AI 图像重建引入了一张“安全网”。当我们试图重建的数据受到怪异错误（异常值）的破坏时，这种新方法教会 AI 对这些错误保持怀疑，并专注于可靠的信息，从而确保最终结果的准确性和鲁棒性。

技术摘要：面向贝叶斯逆问题的鲁棒扩散后验采样

1. 问题陈述

贝叶斯逆问题（BIPs）旨在从含噪测量值 $y = F(x) + \epsilon$ 中恢复未知变量 $x$ 。虽然扩散模型（DMs）已成为解决 BIPs 的强大数据驱动先验，但现有的基于扩散的求解器依赖预设的似然函数 $p(y|x)$ 来引导生成过程。在实际场景中，由于以下原因，该似然函数经常被错误设定：

错误的噪声假设：现实世界的噪声可能是重尾分布而非高斯分布。
异常值污染：测量值中可能包含稀疏的、大幅度的误差（例如，光学任务中的散斑噪声或散射伪影）。

标准的扩散后验采样（DPS）方法通常利用 Tweedie 公式近似似然函数并假设噪声为高斯分布，其在适度高斯噪声下表现稳定，但缺乏鲁棒性。当面临异常值污染或似然函数错误设定时，这些求解器可能导致后验分布严重偏离目标，从而造成显著的恢复质量下降。

2. 方法论：鲁棒扩散后验（RDP）

作者提出了鲁棒扩散后验采样（RDP），这是一个旨在保持测量扰动下稳定性并明确减轻异常值影响的框架。

理论基础

本文首先建立了标准 DPS 求解器在高斯噪声下针对线性 BIPs 的稳定性，证明了由含噪测量值诱导的后验分布与无噪后验分布之间的 Kullback-Leibler (KL) 散度受噪声幅度的二次方有界。然而，在异常值污染下，该界限变为无界，揭示了其脆弱性。

为解决这一问题，RDP 采用了**广义贝叶斯推断（GBI）**方法。RDP 不使用标准的负对数似然，而是将其替换为鲁棒的加权损失函数 $\ell_y(x)$ 。广义后验定义为：
$p^{(\ell)}(x|y) \propto p(x) \exp\{-\tau \ell_y(x)\}$
其中 $\tau$ 为温度参数。

鲁棒引导机制

RDP 将标准 DPS 引导项转换为分量加权的优化目标。在每个扩散时间步 $t$ ，该方法：

使用预训练的得分网络从含噪状态 $x_t$ 估计干净数据 $\hat{x}_{0|t}$ 。
计算每个测量分量的拟合残差 $r_i = y_i - [F(\hat{x}_{0|t})]_i$ 。
对对数似然应用自适应加权函数 $w(r_i)$ 。损失函数变为：
$\ell_y(x_t) = -\sum_{i=1}^{d_y} w(r_i) \log \tilde{p}(y_i | \hat{x}_{0|t})$
加权函数：本文利用**逆多二次（IMQ）**函数： $w(r) = (1 + r^2/c^2)^{-1/2}$ $w (r) = (1 + r^{2} / c^{2})^{- 1/2}$ 。
- 对于小残差， $w(r) \approx 1$ ，恢复标准高斯引导。
- 对于大残差（异常值）， $w(r)$ 减小，降低其对后验更新的影響。
自适应阈值：为了考虑去噪过程中残差的动态特性，阈值参数 $c$ 在每个步骤 $t$ 根据绝对残差的第 $q$ 分位数进行自适应校准。

理论保证

作者证明，如果加权函数 $w$ 满足特定条件（即 $|r w(r)|$ 和 $|r^2 w'(r)|$ 有界），则生成的后验分布具有异常值鲁棒性。具体而言，后验影响函数（PIF）——衡量无噪测量与含污染测量下后验分布之间的 KL 散度——是均匀有界的。这与标准 DPS 形成对比，后者在异常值污染下 PIF 是无界的。

3. 主要贡献

稳定性分析：本文提供了扩散后验采样在测量噪声下针对线性 BIPs 稳定性的理论表征，量化了后验偏差。
鲁棒性脆弱性识别：分析表明，虽然标准 DPS 在高斯噪声下是稳定的，但其缺乏对异常值污染的鲁棒性，导致性能显著下降。
RDP 框架：作者引入了 RDP，这是一个即插即用模块，兼容现有的基于梯度的扩散采样器（例如 DPS、LGD、 $\Pi$ GDM、PnPDM）。它为线性 BIPs 提供了异常值鲁棒性的理论保证。
实证验证：大量实验表明，RDP 有效减轻了异常值和似然函数错误设定在线性（逆散射）和非线性（相位恢复、图像修复、去模糊）任务中的影响，同时在设定正确的场景下保持了具有竞争力的性能。

4. 实验结果

该方法在 InverseBench 基准上针对四个任务进行了评估：逆散射、图像修复、去模糊和相位恢复。

异常值污染：在稀疏脉冲噪声下（例如，1%–5% 的像素被高幅度污染），标准方法（DPS、LGD 等）性能显著下降（例如，PSNR/SSIM 下降 15%–50%）。RDP 变体始终优于基线方法，恢复了接近设定正确场景的性能水平。
似然函数错误设定：在重尾噪声（Student-t 分布）下，标准方法性能下降 10%–30%。RDP 减少了这种下降，相比基线方法提升了 5%–29%。
设定正确的场景：在标准高斯噪声场景下，RDP 的表现与标准方法具有竞争力，证明了当似然函数正确设定时，鲁棒性机制不会损害精度。
通用性：该方法成功集成到四种不同的扩散求解器中，证实了其采样器无关的特性。
效率：RDP 的计算开销微乎其微，因为它仅在现有的引导计算中增加了一个分量加权步骤。

5. 意义与主张

本文主张 RDP 为解决当前基于扩散的逆问题求解器的一个关键局限性提供了系统性方案：即它们对似然函数错误设定和异常值的敏感性。通过将方法植根于广义贝叶斯推断并提供后验影响的理论界限，作者为鲁棒恢复建立了坚实的基础。

其意义在于，能够在现实世界的科学和成像场景中应用强大的扩散先验，即使噪声模型不完美或数据受到污染，也无需重新训练扩散模型或进行复杂的架构更改。该方法被呈现为一种“即插即用”的增强方案，在保持标准求解器稳定性的同时，增加了可证明的鲁棒性。

承认的局限性：
作者指出，他们的理论分析主要集中于线性 BIPs，将这些保证扩展到非线性场景仍是一个开放方向。此外，实验主要考虑各向同性噪声，而结构化或相关噪声在实践中也很常见。