📊 statistics

Bridging data-driven priors via the score function for posterior sampling -- Comparative review and experimental study

本文通过它们的得分函数（score functions）将多样化的数据驱动先验统一于贝叶斯逆问题之中，并通过在图像修复任务上的对比实验证明，这一通用框架能够实现高效且通用的后验采样。

原作者： Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试拼凑一个巨大的拼图，但有人扔掉了其中一半的碎片，又用雾气模糊了剩下的图案，然后把剩下的碎片撒满了地板。这就是科学家们所说的“逆问题”（inverse problem）。在现实世界中，当我们试图修复模糊的照片、填补图像中缺失的部分，或者捕捉相机无法捕捉到的微小细节时，就会遇到这种情况。

你询问的这篇论文就像是一种全新的、超级聪明的解谜策略。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：猜测缺失的碎片

当我们拥有一张受损的图像（即“观测值”）时，我们知道它是如何受损的规则（比如模糊的镜头或缺失的像素）。但为了修复它，我们需要猜测原始图像原本是什么样子的。

传统上，科学家尝试通过编写关于“好”图像的严格数学规则来修复它（例如：“边缘应该是锐利的”、“颜色应该是平滑的”）。但这些手工编写的规则往往过于僵化。它们无法捕捉到现实生活中复杂而混乱的美感，比如岩石的纹理或脸部的曲线。

2. 新思路：从图像库中学习

作者建议不再编写规则，而是使用包含成千上万张真实图像（如人脸或风景）的“库”来教计算机什么是“好”的图像。计算机由此学习到一个先验（Prior）——即一个关于现实通常长什么样的心理模型。

这篇论文关注一种特定的数学工具，叫做得分函数（Score Function）。你可以把得分函数想象成一个指南针：

如果你在迷雾森林中迷失了方向（一张受损的图像），指南针并不会直接告诉你家在哪里。
相反，它会指向“更有可能通往家园”的方向。
如果你循着指南针一步步前进，最终就能找到一条通往清晰、锐利图像的路径。

3. 旧方法 vs. 新方法

论文对比了两种遵循指南针的方法：

旧方法 (ULA)： 想象你在森林中行走，手里拿着一根沉重且摇晃的长棍。如果地形非常陡峭（图像非常模糊或受损严重），长棍就会卡住，导致你移动缓慢甚至陷入循环。这就是“未调整的朗之万算法”（Unadjusted Langevin Algorithm, ULA）。它虽然有效，但在处理棘手问题时显得笨拙且缓慢。
新方法 (LwSGS)： 作者提出了一种名为**分裂吉布斯采样中的朗之万算法（Langevin-within-Split Gibbs Sampler, LwSGS）**的新方法。
- 比喻： 与其试图一次性走完整个路径，不如想象你有一个助手。
- 步骤 1： 你要求助手根据他们的记忆（“先验”或得分函数指南针）来猜测图像应该是什么样子的。
- 步骤 2： 你将这个猜测与你手头实际的模糊照片进行对比检查。
- 步骤 3： 你将两者结合起来，做出一个更好的猜测。
- 神奇之处： 通过将问题分解为这两个较小的步骤，即使在地形非常陡峭（图像严重受损）的情况下，“助手”也能更快速、更准确地穿梭于森林之中。

4. 他们测试了什么？

作者在四种不同类型的“记忆库”（先验）上测试了这种新的“跟随指南针”策略：

去噪（Denoising）： 一个懂得如何清理噪声照片的库。
基于得分的模型（Score-Based Models）： 一个专门训练用于指向“真实”图像的库。
标准化流（Normalizing Flows）： 一个学习如何将简单形状拉伸和扭曲成复杂图像的库。
凸岭正则化器（Convex Ridge Regularizers）： 一个从数据中学习模式的数学库。

他们在两个主要任务上测试了这些方法：

图像修复（Inpainting）： 填补图像中缺失的空洞（例如去除水印或划痕）。
超分辨率（Super-Resolution）： 将微小、模糊、像素化的图像转化为大尺寸、清晰的图像。

5. 结果

论文发现，对于所有四种类型的库，他们的新方法 (LwSGS) 都比旧方法 (ULA) 更快且更准确。

它生成的图像更清晰，细节更丰富。
它不容易“卡住”。
它还能告诉你它对答案的确定程度。例如，在拼图缺失的部分，它可以说：“我相当确定这是一棵树，但对于叶子的部分我不太确定”，从而展示出一幅不确定性地图。

6. 现实世界测试：岩石与泥土

最后，他们并没有仅仅使用漂亮的人脸照片。他们将此方法应用于由法国矿业与地质研究局采集的地质样本（岩石和尾矿）。

问题： 由于相机无法聚焦在凹凸不平的粗糙表面上，这些岩石的照片非常模糊。
解决方案： 他们使用新方法对这些模糊的岩石照片进行了锐化处理。
结果： 修复后的图像变得更加清晰，使地质学家能够看到此前无法看见的微小颗粒和裂缝。这证明了该方法不仅适用于精美的图片，也适用于杂乱的现实世界数据，让“不可见”变为“可见”。

总结

简而言之，这篇论文介绍了一种更聪明、更快速的修复受损图像的方法。与其独自在迷雾中挣扎，它使用了一个将问题分解为易处理步骤的“助手”系统。它能与不同类型的“记忆库”协同工作，并已被证明可以修复数字照片和真实的岩石图像，让不可见的事物重现光彩。

技术摘要：通过得分函数桥接数据驱动先验进行后验采样

问题陈述
图像恢复（IR）任务，如去噪、去模糊、修复和超分辨率，通常被表述为线性逆问题（$y = Ax + n $）。在贝叶斯框架内，解决这些病态问题需要定义先验分布$ p(x)$ 以对解进行正则化。虽然传统的模型驱动先验（例如全变分，Total Variation）已被深入理解，但它们往往无法捕捉自然图像中复杂的结构。相反，通过深度学习（例如生成对抗网络、变分自编码器、归一化流）学习的数据驱动先验提供了卓越的表达能力，但也为后验采样带来了显著挑战。

贝叶斯图像恢复中的一个主要挑战是图像空间的高维性和正则化函数的非光滑性，这阻碍了马尔可夫链蒙特卡洛（MCMC）算法的效率。现有方法通常依赖于非调整朗之万算法（Unadjusted Langevin Algorithm, ULA）来从后验分布中采样。然而，由于步长受限于似然函数的利普希茨常数（Lipschitz constant），ULA 在处理严重病态的问题时可能会表现不佳。此外，许多先进的数据驱动先验（例如基于去噪器或基于得分的生成模型）是隐式定义的，这使得直接采样变得困难，除非有一个统一的理论框架。

方法论
本文提出了一个统一框架，用于对通过其得分函数（ $s(x) = \nabla_x \log p(x)$ ）可以表达的各类数据驱动先验进行后验采样。其核心方法论是朗之万内分裂吉布斯采样器（Langevin-within-Split Gibbs Sampler, LwSGS）。

渐近精确的数据增强（Asymptotically Exact Data Augmentation, AXDA）： 该算法引入一个辅助变量 $z$ ，将后验分布分解为增强形式：
$\pi_\rho(x, z) \propto \exp\left[ -f(x, y) - g(z) - \frac{1}{2\rho^2}\|x - z\|^2 \right]$
其中 $f(x,y)$ 是数据保真项， $g(z)$ 是正则化势能。当耦合参数 $\rho \to 0$ 时， $x$ 的边缘分布收敛于目标后验。
分裂吉布斯采样（Split Gibbs Sampling, SGS）： 算法在 $x$ 和 $z$ 的采样之间交替进行：
- 采样 $x$ ： 给定 $z$ 时，条件分布 $p(x|y, z)$ 是高斯的（对于线性高斯逆问题），允许进行高效的闭式采样。至关重要的是，这一步将步长与似解函数的利普希茨常数解耦，解决了标准 ULA 的一个主要局限。
- 采样 $z$ ： 给定 $x$ 时，使用**朗之万蒙特卡洛（Langevin Monte Carlo, LMC）**步进行 $p(z|x)$ 的采样。这一步显式地利用了先验得分函数：
  $z^{(t+1)} = z^{(t)} + \gamma \left( s(z^{(t)}) + \frac{1}{\rho^2}(x^{(t)} - z^{(t)}) \right) + \sqrt{2\gamma}\epsilon^{(t)}$
  其中 $s(z) = \nabla \log p(z)$ 是先验的得分函数。
统一的先验表示： 本文证明了四类不同的数据驱动先验可以通过这种得分函数视角进行统一：
- 基于去噪的正则化（Regularization-by-Denoising, RED）： 得分函数直接由去噪残差导出（ $s(x) \propto -(x - D(x))$ ）。
- 基于得分的生成模型（Score-Based Generative Models, SGM）： 得分函数通过得分匹配（或去噪扩散概率模型）显式学习。
- 归一化流（Normalizing Flows, NF）： 得分函数通过对基于变量变换公式得到的对数密度进行自动微分来计算。
- 凸岭正则项（Convex-Ridge Regularizers, CRR）： 得分函数对应于无偏单层 CNN 的输出。

核心贡献

先验的统一： 本文建立了一种观点，即尽管 RED、SGM、NF 和 CRR 先验在起源和动机上各不相同，但它们都可以通过其得分函数集成到一个统一的采样框架中。
算法的通用性： 本文展示了 LwSGS 是一个通用的算法，能够处理任何具有显式或高效可计算得分函数的微分对数先验，克服了简单 ULA 方案的局限性。
约束的解耦： 通过分裂问题，该方法允许先验的采样步骤独立于数据保真项的条件性，从而可能改善在病态问题中的混合特性。

实验结果
作者在两个任务（图像修复和单图超分辨率）上，将 LwSGS 框架与基于 ULA 的对应方法（PnP-ULA、NF-ULA 以及新设计的 SGM-ULA 和 CRR-ULA）进行了评估。

数据集： 实验在来自 FFHQ 和 ImageNet 数据集的 30 幅 RGB 图像上进行。
性能指标： 研究利用 PSNR、SSIM、LPIPS（感知相似度）和集成自相关时间（Integrated Autocorrelation Time, IAT）来衡量重建质量和采样效率。
研究结果：
- 重建质量： LwSGS 始终产生高质量的重建，能够紧密匹配地面真值细节。在修复任务中，它有效地填充了缺失区域；在超分辨率任务中，它保留了复杂的细节。
- 与 ULA 的比较： LwSGS 通常优于基于 ULA 的方法，特别是在使用 RED 和 SGM 先验时，能够产生更锐利的细节和更高的保真度。即使在使用 NF 和 CRR 先验时，LwSGS 也表现出竞争性或更优越的性能。
- 效率： 与 ULA 相比，LwSGS 算法表现出更快的收敛速度，这体现在较低的 IAT 值和更快衰减的自相关函数上。
- 不确定性量化： 作为一种采样方法，LwSGS 能够实现像素级不确定性（标准差）的估计，结果显示修复区域具有较高的不确定性，符合预期。
- 实际应用： 该框架被应用于恢复真实的地理尾矿样本（去模糊失焦图像）。通过使用 RED 先验，该方法成功地从模糊图像中恢复了锐利的细节，展示了在地球科学领域的实际应用价值。

意义与主张
论文声称 LwSGS 框架为涉及基于得分函数先验的贝叶斯逆问题提供了一个多功能且系统的替代方案。其意义在于：

广泛的适用性： 它不局限于特定的生成模型，而是可以处理任何可以获取得分函数的先验，桥接了各种数据驱动正则化范式之间的鸿沟。
实际效率： 分裂策略有效地缓解了 ULA 中固有的条件性问题，从而实现了更好的混合度和更快的收敛。
现实世界的实用性： 地理样本的成功恢复表明，该方法对于采集协议可能并非最优的业务流程而言是足够鲁棒的。

作者总结道，虽然目前的工作侧重于特定的先验，但该统一框架具有足够的通用性，可以处理任何由广泛的基于得分函数的先验定义的后验分布，为将多样化的深度学习模型集成到贝叶斯推理中铺平了道路。