🤖 machine learning

Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates

本文引入了鲁棒先验更新（Robust Prior Update, RPU），这是一种求解器级模块，通过稳定先验更新步骤，减轻了基于扩散模型的逆问题中的测量条件幻觉问题，从而显著提高了各种任务中的实例忠实度和重建质量。

原作者： Pengfei Jin, Yiqi Tian, Kailong Fan, Bingjie Qi, Quanzheng Li

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengfei Jin, Yiqi Tian, Kailong Fan, Bingjie Qi, Quanzheng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates》的解释，使用了简单的语言和日常类比。

大背景：“过于狂想”的艺术家

想象一下，你正在尝试修复一张破损的老照片。有些部分缺失了（比如被划痕遮住的面部），或者图像很模糊。你雇佣了一位非常有才华的艺术家（扩散模型）来填补这些缺失的部分。

这位艺术家非常擅长根据他们见过的数百万张脸来猜测一个脸“应该”长什么样。然而，由于他们非常有创意，有时会添加一些原本并不存在于原照中的细节。

问题所在： 他们可能会给一个没戴眼镜的人画上一副眼镜，或者仅仅因为那样“看起来好看”就改变了嘴巴的形状。
论文中的术语： 这被称为幻觉（Hallucination）。在这种语境下，这不仅仅是一个错误；这是艺术家在证据（受损的照片）并不支持的情况下，凭空捏造事实。

这篇论文的作者意识到，虽然艺术家试图提供帮助，但他们在检查实际证据之前，对自己的猜测过于自信了。

两步舞步

论文解释了这些 AI 解算器是如何通过“两步舞步”来修复图像的：

“猜测”步骤（先验更新/Prior Update）： 艺术家看着模糊的图像说：“我觉得这里应该有一个鼻子。”他们基于训练经验做出了一个大胆的猜测。
“检查”步骤（测量条件约束/Measurement Conditioning）： 艺术家随后观察实际的受损照片并说：“等等，我的猜测是否符合我能看到的像素？”他们据此调整图像以符合证据。

缺陷所在： 论文指出，“猜测”步骤正是问题开始的地方。艺术家在“检查”步骤发生之前，就先做出了一个疯狂的猜测（幻觉出一个鼻子）。即使他们稍后试图纠正，这些捏造的细节也往往会留存下来，因为“检查”步骤的力量不足以抹除艺术家的自信。

解决方案：RPU（“现实检查”暂停键）

作者提出了一个名为 RPU（鲁棒先验更新/Robust Prior Update） 的新模块。可以将 RPU 想象成一个插入在艺术家做出大动作之前的“暂停键”或“稳定性测试”。

RPU 的工作原理如下，使用了一个走钢丝者的类比：

没有 RPU 时： 艺术家（走钢丝者）基于一种直觉向前迈出了一大步。如果他们错了，就可能会跌落钢丝（创造出虚假细节）。
有了 RPU 后： 在艺术家迈出那一大步之前，他们先前后挪动了几小步，进行细微的试探。
- 他们会问：“如果我这样迈步，地面稳固吗？还是摇晃的？”
- 如果地面是摇晃的（意味着猜测是不稳定的，或者极有可能产生幻觉），RPU 会说：“不要迈出那一大步。”
- 相反，它会将艺术家锚定在当前安全的地点，只允许进行微小的、安全的移动。

至关重要的一点是： RPU 并不改变“检查”步骤。它并没有改变 AI 如何观察受损的照片。它只改变了 AI 进行初始猜测的方式，使那个猜测变得更加谨慎，且不太可能捏造虚假细节。

研究发现（结果）

团队使用人脸（FFHQ 数据集）和通用图像（ImageNet）测试了这种新方法（RPU）与标准方法（DPS）的对比。

更高的准确度： 当我们用数学指标（PSNR 和 LPIPS 分数）衡量结果时，RPU 比标准方法产生了更清晰、更准确的图像。
人类偏好： 他们让人们在不知道实验分组的情况下观察结果。
- 结果： 人类压倒性地更喜欢 RPU 生成的图像。
- 原因： 在标准方法中，AI 经常会添加一些看似真实但实际上是错误的虚假细节（如一副残缺的眼镜或奇怪的嘴型）。RPU 避免了这些发明，使其更忠实于原始证据。
“平局”因素： 在某些情况下，差异非常细微，以至于人类无法分辨它们（即“平局”）。然而，每当人类能够分辨出差异时，他们几乎总是选择 RPU 作为看起来更接近真实原图的那一个。

核心结论

该论文声称，通过让 AI 的“猜测”部分变得更加稳定和谨慎（鲁棒先验更新），我们可以阻止 AI “幻觉”出虚假细节。

之前： AI 疯狂猜测，然后尝试修复，但虚假细节往往会残留。
之后（使用 RPU）： AI 在猜测之前会检查自身的稳定性，从而确保它所添加的内容确实是由证据支撑的。

作者总结道，这是一个针对性的修复方案：它并不是让 AI 在猜测方面变得更“聪明”，而是让它变得更忠实于它正在尝试修复的那张特定照片。

技术摘要：通过鲁棒先验更新实现针对逆问题的幻觉感知扩散采样

1. 问题定义

基于扩散模型的逆问题求解器能够从不完整或受损的测量值（例如：图像修复、去模糊、MRI）中生成逼真的重建结果。然而，本文识别出一种关键的失效模式，称为测量条件下的幻觉（measurement-conditioned hallucination）。与无条件生成失败（如解剖结构畸变）不同，这种特定的失败发生在重建结果在视觉上看起来合理，但包含的细节并不受观测测量值 $y$ 支持的情况下。

作者区分了两种类型的幻觉：

第一类（Type-I）： 视觉上不合理的伪影或不稳定的结构。
第二类（Type-II）： 看起来合理但与真实值 $x^\star$ 不一致，且不受测量模型支持的细节。

标准指标（PSNR, LPIPS, FID）通常无法检测到第二类幻觉，因为它们衡量的是分布的真实性或像素级的连贯性，而非针对特定实例对真实值的忠实度。核心问题在于：不受支持的细节是如何进入基于扩散的逆问题求解过程的，以及如何在不损害测量一致性的前提下减轻这些细节？

2. 方法论：交替优化与 RPU

本文将基于贝叶斯规则的扩散逆问题求解器（特别是 DPS）重新定义为一个由两个截然不同的步骤组成的交替优化过程：

先验更新（Prior Update）： 扩散先验提出一个位移，以填充缺失或模糊的内容。
测量条件化（Measurement Conditioning）： 一个修正步骤，将重建结果锚定到观测到的测量值 $y$ 和算子 $A$ 上。

作者假设，幻觉通常是在先验更新步骤中产生的，此时生成模型提出的内容受测量值的约束较弱。为了解决这一问题，他们提出了鲁棒先验更新（Robust Prior Update, RPU），这是一个求解器层级的模块，它仅在先验更新步骤中进行干预，同时保持测量条件化步骤不变。

RPU 机制：

探测（Probing）： 在接受扩散模型提出的原生先验位移 $d_\theta(x_t, t)$ 之前，RPU 执行一个局部稳定性探测。它沿着归一化后的先验位移反方向移动微小距离 $K$ 步，创建一个扰动点 $x_t^{adv}$ 。
重锚定（Re-anchoring）： 在这个扰动点 $x_t^{adv}$ $x_{t}^{a d v}$ 处评估扩散先验，以获得一个新的位移。至关重要的是，该位移是重锚定到原始迭代值 $x_t$ $x_{t}$ 而非扰动点上的。
- 公式： $\tilde{x}_{t-1}^{prior} = x_t + (p_\theta(x_t^{adv}, t) - x_t^{adv})$ 。
测量修正（Measurement Correction）： 然后使用从探测后的模型输出中导出的去噪估计值应用标准的测量更新。

这种方法通过确保先验位移对微小扰动具有局部鲁棒性，有效地稳定了生成提议，从而在重新应用测量约束之前减少了不受支持细节的注入。

3. 核心贡献

幻觉的定义： 本文正式定义了逆问题中的幻觉，并将其分为第一类（不合理）和第二类（测量不支持但看似合理）。
理论分解： 推导出了基于贝叶斯规则的求解器的交替优化视角，明确分离了测量一致性步骤与先验更新步骤，并将先验更新识别为干预幻觉的关键点。
RPU 算法： 提出了 RPU，这是一个通过探测先验更新的局部稳定性并进行位移重锚定的模块，实现了其与测量更新的解耦。
实验验证： 在 FFHQ 和 ImageNet 数据集上，针对三种逆问题对 RPU 进行了实例化于 DPS 框架内的评估，并使用了自动指标和人类忠实度研究。

4. 实验结果

作者在 FFHQ (256x256) 和 ImageNet (256x256) 上针对三种逆问题评估了 RPU：框式图像修复（box inpainting）、高斯去模糊（Gaussian deblurring）和运动去模糊（motion deblurring）。

定量指标 (FFHQ)：
- 框式图像修复： RPU 提高了 PSNR (19.72 $\to$ 20.40) 和 LPIPS (0.400 $\to$ 0.394)。FID 略有上升 (45.44 $\to$ 50.35)，这表明存在一种权衡，即 RPU 以牺牲部分分布锐度来换取实例忠实度。
- 去模糊： 对于高斯去模糊和运动去模糊任务，RPU 在 PSNR 和 LPIPS 上均表现出一致的提升。
人类忠实度研究：
- 盲测双向比较（Blind Pairwise）： 在框式图像修复中，RPU 在非平局情况下的多数偏好率为 91.9%（对比 DPS）。
- 辅助真实值比较（Ground-Truth-Assisted）： 当读者将输出与真实值进行比较时，RPU 在框式图像修复中的非平局偏好率为 91.1%。
- 去模糊： 虽然盲测比较产生了许多平局（表明视觉真实感相似），但辅助真实值研究显示出对 RPU 的强烈偏好（高斯去模糊为 86.2%，运动去模糊为 82.1%），证实了 RPU 减少了那些在盲测中难以察觉的细微、与测量不一致的细节。
ImageNet 迁移： 在 ImageNet 高斯去模糊任务中，RPU 提高了 PSNR (20.406 $\to$ 20.509)。人类研究显示 RPU 在非平局情况下具有偏好性 (72.7%)，尽管研究中存在大量平局。

5. 重要性与主张

本文主张，增强先验更新的鲁棒性是提高扩散逆问题求解器实例忠实度的一种针对性且有效的策略。

机制： 结果支持了这样一种观点，即幻觉往往产生于测量修正之前的先验侧提议。通过稳定这一特定步骤，RPU 减少了不受支持细节的引入。
适用范围： 作者强调，RPU 并不是重建指标或人工检查的通用替代品，也不是一个独立的幻觉检测器。其有效性在先验塑造弱约束内容（例如较大的图像修复掩码）的场景中最为显著。
局限性： 作者指出该方法具有任务依赖性；在高度约束的任务（如某些去模糊场景）或更广泛的分布（如 ImageNet）中，收益并不那么显著，且在人类研究中会导致更多“平局”结果。其主张较为审慎，将 RPU 定位为一种用于提高忠实度的特定干预手段，而非通用的求解器改进方案。