技术摘要：扩散后验采样器何时、为何以及如何失效：有限样本视角

问题陈述

扩散模型已成为解决成像逆问题的主导方法，其通过充当强大的统计先验来实现。在贝叶斯逆问题中，目标是从后验分布 $p(x|y)$ 中采样，该分布结合了学习到的先验 $p_{pr}(x)$ 与源自测量模型 $y = A(x) + \eta$ 的似然 $p(y|x)$。

虽然基于分数的扩散方法理论上通过将后验分数分解为先验分数和似然分数来实现精确的后验采样，但似然分数通常难以处理。它需要计算去噪分布 $p_{0|t}(x_0|x_t)$ 上的高维积分。为了实现计算可行性，现有的“即插即用”或零样本方法（例如 DPS [16]、$\Pi$GDM [17]、TMPD [18]）采用矩匹配近似。这些方法用狄拉克 delta 函数（一阶矩）或高斯分布（二阶矩）来近似去噪分布。

尽管这些近似通常能产生高质量的重建结果，但它们会出现零星且无法解释的失效，例如生成与测量不一致的幻觉模式，或对后验模式进行错误的加权。这些失效的根本原因，特别是中间时间步长的近似误差如何传播至最终后验，目前仍知之甚少。关键在于，尚不清楚这些失效是源于非线性测量模型、多模态后验，还是近似方法本身。

方法论：有限样本视角

为了严格分析这些采样器的行为，作者引入了后验扩散采样的有限样本视角。他们假设先验 $p_{pr}$ 不是从数据中学习到的连续分布，而是由 $N$ 个独立同分布样本 $\{x^{(i)}\}_{i=1}^N$ 组成的离散经验测度。

核心理论洞察

1. 解析可行性：在这种机制下，作用于离散先验的前向扩散过程会产生高斯混合边际分布 $p_t(x_t)$。因此，去噪分布 $p_{0|t}(x_0|x_t)$ 变为已知的离散测度（狄拉克 delta 的加权和）。
2. 精确似然与后验：由于去噪器是离散测度，边际似然 $p_{y|t}(y|x_t)$ 和后验 $p_{t|y}(x_t|y)$ 可以在任何时间步长 $t$ 被解析计算，即使对于非线性测量算子 $A(x)$ 也是如此。这提供了一个“真实值”代理，用于在标准连续设置中无法获取的后验演化。
3. 收敛性：随着 $N \to \infty$，有限样本后验以 $O(N^{-1/2})$ 的蒙特卡洛速率收敛至真实后验。作者证明，虽然 $t=0$ 附近的高精度需要较大的 $N$，但适中的 $N$ 足以准确表征中间时间步长的后验行为。

诊断框架

作者利用这一有限样本机制作为诊断透镜，将现有的矩匹配近似与解析计算的有限样本后验进行比较。他们评估了：

• 狄拉克近似（DPS）：将去噪器替换为均值处的点质量。
• 高斯近似：将去噪器替换为高斯分布，利用启发式协方差膨胀（Song 等人 [17]）或通过 Tweedie 公式使用精确的去噪器协方差（Boys 等人 [18]）。

主要贡献与发现

1. 失效模式不仅限于非线性或多模态

与普遍认为这些方法主要因非线性测量算子或多模态后验而失效的观点相反，作者证明，只要先验是多模态的，即使在线性测量模型、高斯噪声和单模态后验下，失效也会发生。

2. 流行近似的具体失效机制

利用有限样本视角，该论文识别了不同近似策略的独特失效模式：

• 高斯近似（二阶矩）：

  • 过度估计扩散：当先验为多模态时，这些方法倾向于在中间时间步长高估后验协方差。
  • 后果：这导致“幻觉”，即采样器从与测量不一致的先验模式中生成样本（即这些模式的似然较低）。在这些区域，采样器实际上表现得像无条件生成，因为先验分数主导了不准确的似然分数。
  • 时机：它们往往在采样过程的早期就“锁定”在先验模式上，导致后验模式的相对加权不准确。

• 狄拉克近似（一阶矩，如 DPS）：

  • 通过超参数 $\zeta$ 导致的错误加权：标量超参数 $\zeta$（缩放似然梯度）的选择对先验与似然之间的平衡至关重要。
  • 后果：
    • 如果 $\zeta$ 太小，采样器可能无法抑制与测量不一致的先验模式。
    • 如果 $\zeta$ 太大，采样器可能过度加权似然，导致“模式崩溃”或生成在似然上一致但在先验下不可信的模式。
    • 即使经过最佳调整，狄拉克近似也可能无法捕捉正确的后验方差，完全遗漏后验模式，或生成与测量不一致的幻觉先验模式。

3. 中间时间步长的关键作用

论文强调，最终样本（$t=0$）的质量通常不是方法可靠性的良好指标。误差传播发生在中间时间步长的分布中。

• 现有方法经常在无条件先验 $p_t(x_t)$ 下概率较低的区域进行探索。
• 在这些区域，通过学习分数匹配训练得到的分数函数并未受到明确控制，导致行为不可预测。
• 中间后验扩散（方差）中的误差直接导致最终重建的下游失效，例如错误的模式加权或幻觉。

结果

作者通过在合成的一维和二维问题上进行实验来验证其框架，这些实验使用了离散、高斯和高斯混合先验，以及线性和非线性（二次、三次、正弦）前向模型。

• 收敛性：随着 $N$ 增加，有限样本后验收敛至真实后验，验证了其作为真实值代理的有效性。
• 视觉证据：跨时间步长的后验密度热图显示：
  • 高斯近似产生“肥尾”，即使真实后验是单模态的，也会从错误模式中采样。
  • 狄拉克近似往往无法在中间时间捕捉正确的均值，并表现出错误的方差，导致从测量本应排除的先验原子中采样。
• 超参数敏感性：调整 DPS 中的 $\zeta$ 可以减轻某些误差（例如校正模式权重），但无法普遍防止幻觉或模式崩溃，因为根本问题在于单个标量无法校正所有时间步长上近似的结构性不匹配。

意义与主张

该论文声称提供了首个专门用于理解后验采样（而非无条件采样）的有限样本视角。其意义在于：

1. 诊断能力：它提供了一种“即插即用”的诊断工具，与似然近似类型或前向模型无关。它允许研究人员评估现有和未来采样器的准确性和失效模式，而无需为复杂的现实世界问题提供解析真实值。
2. 重新定义失效：它挑战了失效仅源于问题复杂性（非线性/多模态）的假设。相反，它将失效归因于中间时间步长后验扩散的不准确传播，即使在具有多模态先验的简单线性设置中也是如此。
3. 实际影响：研究结果表明，高质量的最终重建可能会掩盖中间步骤中不确定性量化（后验分布）的重大误差。这对于需要可靠不确定性估计的应用至关重要，例如医学成像（例如区分肿瘤与噪声）或自动驾驶，其中“幻觉”模式可能导致危险的误判。

作者得出结论，理解后验的中间动态对于诊断和改进基于扩散的逆问题求解器至关重要，而他们的有限样本视角为此分析提供了一个严格的框架。