📊 statistics

Provable diffusion-based posterior sampling for linear inverse problems via DDIM

本文引入了 \pddim，这是一种简单且高效的算法，通过执行根据信噪比在扩散先验与基于观测值的预测之间进行动态切换的逐坐标 DDIM 更新，实现了线性反问题向贝叶斯后验的可证明收敛。

原作者： Yuchen Jiao, Na Li, Changxiao Cai, Yuxin Chen, Gen Li

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuchen Jiao, Na Li, Changxiao Cai, Yuxin Chen, Gen Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图解开一个巨大的、模糊的拼图。你的脑海中有一个最终成品的图像，但你拿到的拼图碎片却是缺失的、模糊的，或者混杂着静电噪声。这就是“逆问题”（inverse problems）的世界——这是科学的一个分支，研究人员试图根据受损或不完整的版本，推断出原始完美的图像原本是什么样子的。几十年来，科学家们一直使用巧妙的数学技巧来猜测缺失的部分，但这些技巧通常依赖于对图像“应该”呈现出什么样子的简单且僵化的假设，比如假设一切都是由直线或平滑曲线组成的。

扩散模型（diffusion models）应运而生，这是一种更新颖、更聪明的 AI 类型，它就像一位研究过数百万张照片的大师级艺术家。它不是被告知“画一条直线”，而是学习了现实世界图像自然形成的复杂、混乱且美丽的过程中的规律。它知道猫的耳朵通常具有某种形状，或者日落拥有特定的色彩梯度。现在，科学家面临的大问题是：我们如何利用这位超级聪明的 AI 艺术家来修复我们模糊的拼图碎片，同时又不破坏那些我们已知正确的部位？挑战在于如何在 AI 的创造性猜测与我们实际拥有的硬性测量事实之间取得平衡。

这篇论文介绍了一种名为 Posterior-DDIM 的全新且巧妙的方法，旨在解决这个难题。作者提出了一种简单但强大的策略：他们不再对图像的每个部分都一视同 ریز，而是观察图像每个特定方向的“信噪比”（SNR）。把图像想象成由许多不同的线条组成的。有些线条非常清晰且强劲（高信噪比），而另一些则微弱且布满了静电（低信噪比）。

作者的主要发现是，他们可以将这项工作根据每条线条的清晰程度分为两种截然不同的模式。对于测量数据强且清晰的线条，算法会直接信任数据，将观测到的信息注入到图像中。对于数据微弱或缺失的线条，算法则会忽略嘈obbous的噪声数据，让 AI 艺术家的“扩散先验”（即它对图像形态的内在知识）占据主导地位。这就像拥有一支修复团队：当绘画的一部分清晰可见时，他们会仔细描摹现有的线条；当一部分完全消失时，他们则利用专家的知识，绘制出一个符合整体风格且合理的全新部分。

论文在数学上证明了这种方法是有效的。在特定条件下——例如使用非常精细的逐步处理过程且拥有完美的 AI 模型——该方法保证会收敛到真实、正确的答案。换句话说，他们不仅仅是在猜测；他们证明了如果遵循这些步骤，你最终一定会得到正确的图像。他们还在现实世界的任务（如修复模糊照片、去除噪声和填充图像缺失部分/图像修补）上进行了广泛的实验。结果显示，该方法始终优于现有技术，经常在清晰度和视觉真实感等多个类别中获得最高评分。

至关重要的是，作者反对那种认为需要复杂、沉重且缓慢的计算才能获得此类结果的观点。许多先前的方法试图通过不断重新计算梯度或进行数千次随机尝试来迫使 AI 遵守测量值，这在计算上是非常昂贵的。作者表明，通过以一种“按坐标”（coordinate-wise，即分别处理每个方向）的方式调整标准的 AI 更新规则，你可以以更少的精力获得相同甚至更好的结果。他们明确排除了对这些沉重计算开销的需求，证明了一种轻量级、高效的方法不仅是可能的，而且是更优越的。

这些结果的置信度很高。作者提供了严密的数学证明，表明随着过程变得更加精细，他们的采样器会收敛到正确的贝叶斯后验（即统计学上的完美答案）。此外，他们在 CelebA 和 ImageNet 等数据集上的实证结果表明，该方法不仅是一个理论上的奇思妙想，更是一个实用的赢家，在大多数测试中击败了其他顶尖算法。他们甚至探索了不同设置如何影响结果，发现“确定性”（遵循数据）与“随机性”（增加创造性随机性）更新之间的特定平衡会导致最佳性能。最终，这篇论文表明，通过在数据“响亮”时倾听数据，而在数据“安静”时信任 AI 的直觉，我们可以以惊人的简洁和速度解决一些最棘手的图像修复问题。

技术摘要：基于 DDIM 的线性逆问题可证明扩散后验采样

问题陈述

本文解决了求解形式为 $Y = AX_0 + \varepsilon$ 的噪声线性逆问题的挑战，其中 $X_0 \in \mathbb{R}^d$ 是未知的信号， $A \in \mathbb{R}^{n \times d}$ 是已知的线性测量算子，且 $\varepsilon \sim \mathcal{N}(0, \sigma^2 I_n)$ 为高斯噪声。目标是生成基于观测值 $y$ 条件下的贝叶斯后验分布 $p_{X_0|Y}$ 的样本。

虽然扩散模型已成为捕捉复杂信号分布的强大数据驱动先验，但现有的后验采样方法通常面临以下两个局限性之一：

缺乏理论保证： 许多启发式方法（例如基于投影的方法或近似评分修正）缺乏其生成的样本收敛到真实后验的严格证明。
计算开销过大： 试图近似后验评分或使用顺序蒙特卡洛（SMC）的方法往往会产生极高的计算成本，例如需要进行评分函数的梯度计算或使用大量的粒子。

方法论：Posterior-DDIM

作者提出了 Posterior-DDIM，这是一种简单且高效的算法，通过改进标准的去噪扩散隐式模型（DDIM）采样器来进行后验采样。其核心创新在于一种基于奇异值分解（SVD）的划分，其中更新过程根据观测信号信噪比（SNR）与扩散信噪比的相对强度进行定制。

1. SNR 引导的划分

利用测量矩阵 $A = U\Sigma V^\top$ 的 SVD，将问题解耦为沿每个奇异方向 $v_s$ 的标量推理问题。作者为每个方向定义了一个阈值时间 $\tau_s$ ，在该时间点，扩散信噪比 ( $\alpha_t/\sigma_t$ ) 等于观测信噪比 ( $\Sigma_{ss}/\sigma$ )。基于此，任何时刻 $t$ 的奇异方向都被划分为三组：

测量主导方向 ( $S^{meas}_t$ )： 观测信噪比超过扩散信噪比的方向（即 $t \ge \tau_s$ ）。
先验主导的观测方向 ( $S^{prior}_t$ )： 观测信噪比低于扩散信噪比的方向（即 $t < \tau_s$ ），但该方向仍被观测到。
未观测方向 ( $S^c$ )： $A$ 的零空间中的方向，不存在测量信息。

2. 逐坐标更新规则

该算法对这些组应用不同的更新规则，仅需对标准 DDIM 更新进行轻量级修改：

对于 $S^{meas}_t$ （测量主导）： 算法绕过学习到的先验，直接注入一个经过校准的观测噪声版本。具体而言，它使用由测量值 $y$ 定义的辅助前向过程生成坐标 $v_s^\top \hat{X}_{t_{i+1}}$ ，以确保边缘分布与投影到该方向上的前向扩散过程相匹配。
对于 $S^{prior}_t$ （先验主导的观测）： 算法遵循由学习到的数据预测器 $\mu_t(\cdot)$ 驱动的标准 DDIM 动力学。在奇异值不完全相同的通用情况下，会向预测器添加一个修正项以补偿变化的奇异值，从而确保更新与条件后验保持一致。
对于 $S^c$ （未观测）： 这些坐标完全从基于观测坐标条件的学习到的扩散先验中进行采样。为了鼓励对未观测子空间的充分探索，使用了较大的随机性参数 $\eta_1$ ，使更新更趋向于 Langevin 动力学。

3. 随机性参数

该方法利用两个随机性参数 $\eta_0$ 和 $\eta_1$ ，分别控制 $S^{prior}_t$ 和 $S^c$ 在 DDIM 更新中的噪声注入。

$\eta_0$ 保持较小（通常为 0），以保持对于先验作为主要引导的观测方向的确定性更新。
$\eta_1$ 设置为足够大，以确保有效地探索未观测子空间，因为该子空间的分布完全由先验决定。

核心贡献

算法简洁性： 所提出的方法将后验采样简化为一系列简单的逐坐标 DDIM 更新。它显式地结合了测量模型，而无需复杂的投影步骤、似然梯度计算或重新训练扩散模型。
理论保证： 本文建立了渐近后验正确性。在假设存在精确扩散先验且时间离散化足够精细的情况下，作者证明了由 Posterior-DDIM 生成的样本分布在全变分距离下收敛于真实的贝验后验 $p_{X_0|Y}$ 。这在奇异值相同和具有任意奇异值的通用情况下均成立。
经验性能： 在图像修复任务（图像补全、超分辨率、高斯去模糊和压缩感知）上的广泛实验表明，Posterior-DDIM 在大多数评估指标（PSNR, SSIM, LPIPS 和 FID）上优于现有的扩散采样器（包括 DPS, DDRM, DDNM+ 和 ProjDiff）。

实验结果

作者在 CelebA 和 ImageNet 数据集上评估了该算法。主要发现包括：

优越性： 在大多数任务中，Posterior-DDIM 在至少三个指标上达到了最佳性能，并在所有考虑的任务中至少在两个指标上表现最优。
鲁棒性： 该方法在不同噪声水平和退化类型下均一致优于基准方法。
效率： 该算法仅需 100 次函数评估（NFE）即可达到稳定性能，与或快于其他通常需要显著更多步数的算法（例如 1000 NFE 的 DPS）。
超参数敏感性： 实验表明，设置 $\eta_0 = 0$ （针对先验主导方向的确定性更新）和足够大的 $\eta_1$ （例如 16 或 32）可获得最优结果。

意义与主张

本文声称提供了一个原则性且可证明的框架，用于将扩散先验与线性测量模型相结合。通过将复杂的后验采样问题转化为简单的逐方向 DDIM 更新，作者弥合了理论严谨性与实际效率之间的鸿沟。

这项工作的意义在于其能够：

为逆问题中的 DDIM 类采样器提供严密的理论支持，解决了许多启发式方法缺乏收敛保证的问题。
提供一种易于实现的解决方案，在保留标准扩散采样器计算效率的同时，显式地处理测量模型。
证明在不需要顺序蒙特卡洛的计算限制或基于投影方法的启发式近似的情况下，可以实现后验一致性。

作者指出，虽然目前的工作侧重于线性逆问题，但将该框架扩展到非线性设置并表征收敛速率是未来研究的自然方向。