技术摘要：线性逆问题的噪声组合采样

1. 问题陈述

预训练扩散模型（DMs）通过将观测信息融入生成过程，已在零样本方式解决逆问题（例如图像修复、去模糊、超分辨率和科学成像）方面展现出巨大潜力。然而，现有方法面临一个固有的两难困境：

• 过度整合：激进地注入观测约束会破坏生成过程，将采样轨迹推离所学的数据流形，导致不稳定。
• 整合不足：微弱的整合无法充分强制执行逆问题施加的约束，导致重建质量低下。

当前的解决方案通常依赖于复杂的超参数调整、漫长的采样调度，或需要昂贵地搜索多个参数以弥补这些局限性的变分推断方法。此外，尽管像去噪扩散码本模型（DDCM）这样的方法提供了高效的压缩，但在组合多个噪声向量时，它们通常依赖于具有指数级计算复杂度的贪婪搜索。

2. 方法论：噪声组合采样（NCS）

作者提出了噪声组合采样（NCS），这是一个通过从噪声子空间中合成最优噪声向量来近似测量得分 $\nabla_{x_t} \log p(y | x_t)$ 的框架，而不是显式地利用外部梯度修改去噪更新。

核心机制

在标准去噪扩散概率模型（DDPM）中，反向更新为：
$$x_{t-1} = \mu(x_t, t) + \sigma_t \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, I)$$
对于条件生成，噪声项 $\epsilon_t$ 被替换为与条件得分方向对齐的合成噪声向量 $\epsilon^*_t$。NCS 将 $\epsilon^*_t$ 限制在有限个高斯噪声向量（“噪声码本”）$\{\epsilon^i_t\}_{i=1}^K$ 的张成空间内：
$$\epsilon^*_t = \sum_{i=1}^K \gamma_i \epsilon^i_t$$
目标是找到组合权重 $\gamma$，以最大化合成噪声与条件得分方向 $c = \nabla_{x_t} \log p(y | x_t)$ 之间的对齐度。

理论公式

NCS 不直接优化余弦相似度，而是采用基于内积的代理目标，该目标具有计算高效的闭式解。

• 优化：在 $\|\gamma\|_2 = 1$ 的约束下最大化 $\langle c, \sum \gamma_i \epsilon^i_t \rangle$。
• 闭式解：令 $E_t = [\epsilon^1_t, \dots, \epsilon^K_t]$。最优权重为：
  $$\gamma^* = \frac{E_t^\top c}{\|E_t^\top c\|_2}$$
  该公式允许将条件信息自然地嵌入到噪声分量中，从而保持去噪结构并使轨迹保持在所学流形上。

与现有方法的关系

NCS 将几种现有的即插即用求解器（DPS、MPGD、$\Pi$GDM、DAPS）统一为最优噪声组合的特例。

• DDCM 联系：作者证明，DDCM 是 NCS 的一个特例，其中组合权重被约束为独热（即仅选择一个噪声向量）。NCS 通过允许多个向量的线性组合对此进行了推广。
• 复杂度：虽然 DDCM 依赖多向量组合的贪婪搜索（指数级复杂度），但 NCS 通过闭式解以线性复杂度 $O(K)$ 实现了具有竞争力的性能。

参数选择

论文分析了合成噪声的信噪比（SNR）缩放。建议码本大小 $K \approx \sqrt{n}$，其中 $n$ 是测量空间的有效维度（对于病态问题，通常 $n \ll d$）。这种缩放确保了有效的引导，同时保持了噪声的高斯类结构。

3. 主要贡献

1. 新颖框架：引入 NCS，将测量得分近似表述为具有闭式解的内积最小化问题，实现了无需逐步超参数调整的稳健条件控制。
2. 理论统一：证明 NCS 统一了现有的逆问题求解器（如 DPS、MPGD 等）并推广了 DDCM。证明了在独热约束下，DDCM 是 NCS 的一个特例。
3. 压缩效率：将 NCS 应用于生成式图像压缩，表明其在噪声向量数量 $m$ 上实现了具有竞争力的量化质量，且时间复杂度为线性，显著优于 DDCM 的贪婪搜索。
4. 鲁棒性与性能：大量实验表明，NCS 在多种逆问题和采样机制下提升了性能，特别是在低步数设置（$T < 100$）中，且计算开销可忽略不计（推理时间增加不到 4%）。

4. 实验结果

作者在 FFHQ、ImageNet 以及专用科学数据集上，针对图像恢复任务（修复、超分辨率、去模糊）和科学逆问题（黑洞成像、逆散射、压缩感知 MRI）评估了 NCS。

• 逆问题：NCS-DPS 和 NCS-MPGD 在各种指标（PSNR、FID、LPIPS）上始终优于其基线对应方法和最先进的方法（如 RED-Diff、DAPS）。值得注意的是，NCS 在更少的扩散步数（例如 20 或 100 步）下取得了更优的结果，而基线方法在这些情况下往往难以应对不稳定性。
• 压缩：在生成式压缩实验中，NCS 实现了与 DDCM 相当的率失真性能，同时将扩散步数减少了 10 倍（例如从 1000 步减少到 100 步）。这使得压缩时间加快了 10 倍，且重建退化极小。
• 计算成本：NCS 引入的开销可忽略不计。在 NVIDIA RTX 4090 上，每步开销约为 1–3 毫秒，而模型推理时间约为 130 毫秒，导致总减速仅为 1–4%。

5. 意义与主张

论文声称，NCS 从根本上改变了条件信息融入扩散模型的方式。通过将引导嵌入噪声向量而不是直接扰动轨迹，NCS：

• 稳定生成：避免了与显式梯度引导相关的不稳定性，特别是在低步数机制中。
• 消除调优：它在一个默认设置下即可有效运行，消除了现有方法所需的复杂超参数搜索。
• 加速推理：它能够在显著更少的扩散步数下实现高质量重建，使基于扩散的逆求解器更适用于实时应用。
• 推广压缩：它为生成式压缩提供了一种理论上有据可依且高效的 DDCM 替代方案，解决了多向量选择的指数级复杂度瓶颈。

作者承认，虽然 NCS-DPS 在某些特定情况下对 DAPS 的改进有限，并且可能遇到与 DPS 类似的失效模式（例如坍缩为暗图像），但整体框架为求解线性逆问题和生成式压缩提供了一种稳健、统一且高效的方法。