Local Epistemic Uncertainty Guided Active Sampling for Plug-and-play Diffusive Image Restoration

想象一下，你正试图修复一张朋友模糊且有划痕的照片。你拥有一个超级聪明的 AI 助手，它知道人类的面部“应该”长什么样，但它并不确切知道你的这位朋友在这张特定照片中具体长什么样。这就是**图像修复（image restoration）**的世界——这是计算机视觉的一个分支，科学家们通过这种技术教机器如何将丢失的细节“幻觉化”回受损的照片中。长期以来，这些 AI 助手的工作方式就像一条僵化的流水线：它们执行一个步骤，检查照片，再执行一个完全相同的步骤，并重复这个过程数百次，直到照片变得清晰。它们对图像的每一部分都使用相同程度的“猜测能力”，无论那是简单的天空还是复杂的、混乱的面部。

问题在于，现实生活并非是均匀一致的。照片中的某些部分很容易修复（比如蓝天），而另一些部分则是噩梦（比如被运动模糊遮挡的面部）。旧的方法对待容易的部分和困难的部分完全一样，这导致它们在处理天空时浪费时间，而在处理面部时又过于匆忙，从而经常导致奇怪的扭曲或细节丢失。这篇论文介绍了一种全新的思考方式，它建议 AI 应该更像一个好奇的侦探，根据它在任何时刻对图像感到多么“困惑”，来决定何时放慢速度，何时加快速度。

---

侦探的困境：何时猜测，何时检查

见见 LEADer（局部认识不确定性引导的主动采样，Local Epistemic Uncertainty Guided Active Sampling）。把 AI 尝试修复图像的过程想象成侦探在破解谜案。侦探拥有“先验”知识——即关于人脸长什么样的通用概念——但证据（受损的照片）却很凌乱。

在过去，侦探遵循着严格且枯燥的日程表。无论线索是一个简单的指纹还是复杂的、模糊的手写体，他们都会对每一个线索进行整整 10 秒钟的检查。如果线索很简单，他们就浪费了时间；如果线索很难，他们投入的时间又不够，导致案件搞砸了。这就是论文中所说的“固定数据约束和统一步长”。这种方式是僵化的、低效的，并且经常导致面部模糊或出现奇怪的人造伪影。

LEADer 通过在每一步都问一个简单的问题改变了游戏规则：“我对这张图像的这一部分有多确定？”

作者称之为**“局部认识不确定性”（Local Epistemic Uncertainty）**。用通俗的话说，这是 AI 对自身困惑程度的一种内在衡量。

• 低不确定性（高置信度）： AI 看着一片天空说：“我很清楚这是什么。它是蓝色的。”
• 高不确定性（低置信度）： AI 看着一只模糊的眼睛说：“我完全不知道那层模糊下面是什么。我需要更深入地思考。”

LEADer 的两大超能力

LEADer 利用这种“困惑度量计”来进行两件聪明的事情，一件针对空间（图像本身），一件针对时间（修复过程中采取的步骤）。

1. 智能调节器（空间域）
想象你正在画一幅画。如果你正在画一片晴朗的蓝天，你不想用力按压画笔，否则可能会破坏平滑的色彩。但如果你正在画一棵复杂、杂乱的树，你需要用力一点才能刻画出细节。
旧的方法在每个地方都用同样的力度按压画笔。然而，LEADer 会观察它的“困惑度量计”。

• 如果 AI 对某个像素感到困惑（高不确定性），LEADer 会告诉 AI：“不要太依赖你的猜测；要更贴近你所得到的原始模糊照片。”这可以防止 AI 凭空捏造不存在的细节。
• 如果 AI 很自信（低不确定性），LEADer 会说：“尽管发挥你的想象力去锐化边缘吧！”这保留了 AI 认为真实的精细细节。
  这被称为不确定性校准先验调制（Uncertainty-Calibrated Prior Modulation, UCPM）。它平衡了 AI 的想象力与照片的现实，确保结果看起来自然且锐利，而不会制造虚假的结构。

2. 时间旅行者（时间域）
现在，想象侦探正在穿过一个犯罪现场。在某些房间里，一切都很明显，所以他们可以走得很快。而在另一些房间里，环境昏暗且令人困惑，所以他们需要走慢一点，仔细检查每个角落。
旧的方法以恒定的速度行走，完成任务需要走 100 个微小的步子。LEADer 使用了一种名为**状态感知轨迹剪枝（State-Aware Trajectory Pruning, SATP）**的技术。

• 当 AI 很有信心（低不确定性）时，它意识到：“我不需要检查每一个步骤。”它会跳过一些步骤，进行大跨度的移动。
• 当 AI 感到困惑（高不确定性）时，它会放慢速度，采取小而谨慎的步伐。
  论文从数学上证明了这种跳跃并不会导致错误累积。这就像是跳过电影中无聊的部分，但在精彩场景中使用高清模式观看。结果如何？AI 完成工作的速度更快，且没有损失质量。

研究发现

研究人员通过将 LEADer 接入几种现有的 AI 图像修复工具来测试它。他们不仅是靠直觉，还进行了数据分析。

• 更好的图像： 当他们将 LEADer 添加到其他方法中时，修复后的图像变得更加清晰。在标准测试集 CelebA-HQ 1K 上，图像的清晰度（PSNR）提升了约 0.88% 至 2.38%，且看起来更真实（更低的 LPIPS 分数）。
• 更快的速度： 由于 LEADer 跳过了不必要的步骤，它完成工作的速度更快。平均而言，它节省了 3.04% 至 8.42% 的时间。在某些情况下，例如使用 DiffPIR 方法时，它将时间从超过 7 秒缩短到了 4 秒以下。
• 无需额外内存： 最酷的部分之一是 LEADer 是“即插即用”的。它不需要庞大的新计算机或额外的内存。论文显示，添加 LEADer 仅增加了极小比例的内存使用量（不足 0.3%），使其能够轻松应用于现有工具。

核心结论

论文指出，旧的图像修复方式——即对照片的每个部分和过程中的每个时刻都一视同仁——是一种错误。通过让 AI 倾听它自己的“困惑感”，LEADer 创建了一个更聪明、更快且更细致的修复过程。它不仅仅是在猜测，它知道何时该猜测，何时该检查。作者展示了这种方法适用于不同类型的损伤（模糊、噪声、缺失部分），并且可以添加到几乎任何现代图像修复 AI 中，使其变得更好、更快，且无需从头开始重新训练 AI。这种对 AI 思维方式的小小改变，带来了最终图像质量的巨大提升。