Beyond MMSE: Enhancing PnP Restoration with ProxiMAP
本文介绍了 ProxiMAP，这是一种模块化即插即用框架，通过将残差噪声与去噪器的训练分布对齐来近似最大后验（MAP）恢复，从而确保分布内可靠性并实现隐式早停，进而避免了传统面向 MAP 的方法所产生的卡通状伪影，同时在各种逆问题中持续提升了图像重建质量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试修复一张模糊且充满噪点的照片。你有一位非常智能的 AI 助手（一个“去噪器”），它的任务是猜测原始清晰照片的模样。
多年来，使用这位助手的标准方法是询问它：“所有可能看起来像这张模糊乱码的清晰照片中，什么是平均值？”
这篇论文指出，这种“平均值”方法存在一个重大缺陷：它倾向于过度平滑图像。它会丢失精细细节，比如头发的纹理或建筑物的锐利边缘，使一切看起来都像柔软的塑料玩具。
研究人员尝试了一种不同的方法：他们不再询问平均值，而是问 AI：“哪一张最有可能的具体照片看起来像这样？”（这被称为寻找“最大后验概率”，即 MAP）。
然而，他们发现了一个陷阱。当他们迫使 AI 寻找这张“最有可能”的照片时，AI 开始产生幻觉。由于 AI 是在数百万张照片上训练的，它陷入了一个奇怪的循环，生成的图像看起来像卡通——色彩扁平、线条夸张、纹理虚假。从 AI 自身的内部逻辑来看，它在技术上找到了“最有可能”的答案，但这种逻辑针对这一特定任务略有偏差。
解决方案："ProxiMAP"（金发姑娘策略）
作者们意识到，问题不在于目标（寻找最佳图像），而在于时机。只有当图像中的噪点水平与其训练时的噪点水平相匹配时，AI 才是可靠的。如果你让它处理一张与其训练数据相比过于干净或过于嘈杂的图像，它就会开始胡乱猜测，并产生那些卡通伪影。
他们创造了一种名为ProxiMAP的新方法。将其想象为 AI 的一次** guided tour（guided tour）**：
- 媒人：ProxiMAP 不像以前那样让 AI 自由漫游，而是仔细控制修复过程中每一步的“噪点水平”。它确保 AI 所查看的图像始终具有 AI 擅长处理的精确数量的“颗粒感”或“模糊度”。
- 早期停止器：最重要的技巧是知道何时停止。过去，人们让 AI 运行直到它认为“完成”为止。ProxiMAP 则在 AI 开始困惑并制造卡通图像之前就停止该过程。它在 AI 仍处于“舒适区”、最为可靠的时候停止。
“混合”捷径（快速 ProxiMAP）
为整个修复过程运行这种细致的、逐步的指导在计算上非常昂贵（需要大量的计算机算力）。
作者们意识到，AI 仅在最后阶段才需要这种细致的指导，此时图像几乎已清晰，细节正在被 refinement。在开始时，当图像仍然非常模糊时，标准的、粗略的猜测就足够了。
因此，他们创建了一个混合版本：
- 开始：使用标准的、快速的“平均值”方法来获取图像的大致轮廓。
- 结束：在最后几步切换到细致的ProxiMAP方法，以锐化细节并去除最后的模糊，同时避免将图像变成卡通。
结果
通过使用这种方法，研究人员发现他们可以：
- 比旧的“平均值”方法显著地锐化图像。
- 避免困扰“最有可能”方法的卡通效应。
- 仅在过程的最后几步使用昂贵、细致的方法，从而节省时间和成本。
他们在各种任务中测试了该方法，包括去除运动模糊、填补图像缺失部分（图像修复）以及将低分辨率图像提升为高分辨率。在所有情况下，新方法生成的照片都比之前的最佳工具更清晰、更逼真。
简而言之：他们通过教导该工具确切地知道何时工作、何时停止，修复了一个有缺陷的工具，确保它保持在“专业领域”内，从而生成逼真、锐利的图像，而不会产生奇怪的卡通副作用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。