Beyond Uniform Restoration: Empowering All-in-One Restoration with Pixel-Level Multimodal Guidance
本文介绍了 MGN-AIR，一种新颖的全能型图像恢复框架，该框架利用文本和视觉提示进行像素级多模态引导，以实现对各种类型和严重程度退化的图像进行细粒度、自适应的恢复，其性能显著优于现有的统一恢复方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在看一张精美的照片，但它被毁坏了。也许是被浓雾笼罩，或者被雨滴溅满，又或者看起来充满了颗粒感且昏暗不明。在计算机科学领域，这被称为“图像复原”（image restoration）。这是一种教计算机成为数字照片编辑家的艺术，通过清理杂乱的图像来揭示其下清晰的场景。长期以来，科学家们一直试图构建一个“超级模型”，能够修复任何类型的损坏——无论是雨、雪、模糊还是噪点——且能一次性处理。这就像雇佣一名全能的手艺人，他可以修理漏水的屋顶、修补墙上的洞，或者重新布线，而无需更换工具或呼叫专家。
大的挑战在于，现实世界的破坏很少是均匀分布的。一张照片可能背景处雾气弥漫，而前景却非常清晰；或者左侧有一场暴雨，右侧则只有一些零星的雪花。旧的方法通常会对整张图片进行统一处理，对每一个像素都应用相同的“万能”策略。这就像是在擦拭一扇沾满泥泞的窗户时，无论某些地方只是落了灰，还是被厚厚的泥浆覆盖，都用同样的力度去擦拭整个玻璃。这篇论文提出了一个简单而强大的问题：如果我们能给计算机一把放大镜，并为图像中的每一个微小点（像素）提供特定的指令，告诉它针对那个特定位置应该如何用力擦拭、使用什么工具，会怎样呢？
这项研究背后的研究人员，来自小米的刘春晓及其团队，提出了一种名为 MGN-AIR 的新方法。该系统不再采用“一刀切”的方法，而是构建了一个像精准到像素级的侦探一样的系统。它是这样工作的：
首先，系统观察杂乱的图像并创建一个“视觉提示”（Visual Prompt）。想象一下，这是计算机在图片上绘制的一张热力图。它精确地标出了损坏发生在哪里以及损坏程度有多严重。是那个位置被大雨覆盖了？还是这个区域只是有些朦胧？这张地图告诉计算机：“嘿，这里要多加注意，那里则要轻一点。”
仅仅知道问题出在哪里是不够的；计算机还需要知道问题是什么。这就是“文本提示”（Textual Prompt）发挥作用的地方。这就像是计算机读到的一条短信，上面写着“这是雨”或“这是雾”。通过将“在哪里”（视觉图）与“是什么”（文本描述）相结合，系统为每一个像素创建了一份定制的指令指南。
最后，系统开始工作。它不会仅仅应用一个通用的滤镜。如果一个像素被雨水严重破坏，系统知道要观察它的邻居以寻找线索，从而填补缺失的信息。如果一个像素只是轻微的朦胧，它知道要依靠图像中的重复模式来使其变得锐利。这就像拥有一支由数千名微型专业艺术家组成的团队，每位艺术家都在画布的一个微小点上工作，根据他们看到的特定损坏情况，各自决定是进行融合、锐化还是重建。
团队在各种艰巨的挑战中测试了这种新方法，包括同时存在雨、雾和弱光等混合问题的图像。他们将自己的“像素级”侦探与使用“全局”方法的其他顶尖模型进行了对比。结果令人印象深刻：他们的方法始终能产生更清晰、更锐利的图像。在涉及复杂混合退化的测试中，他们的模型比最近先进的方法提高了约 1.51 dB（衡量清晰度的技术指标）。在另一组涵盖五种不同类型图像损坏的测试中，他们比流行的基准模型 PromptIR 平均提高了 2.29 dB。
研究人员还通过实验证明，他们的成功并非仅仅因为他们让计算机变得“更大”或更强大。他们展示了即使缩小模型规模，或者将他们特殊的“像素级”模块更换为更简单的工具，性能也会下降。这表明，其成功的秘诀在于他们引导像素级复原过程的方式，而不是仅仅向问题投入更多的计算能力。
简而言之，这篇论文表明，修复糟糕照片的未来不在于使用一把更大的大锤，而在于使用一把手术刀。通过赋予计算机理解图像中每一处特定损坏类型和严重程度的能力，MGN-AIR 能够以以往“统一式”方法无法企及的细节度和准确度来复原照片。它将图像复原这项杂乱的工作，从一项蛮力任务转变为一项精准、定制化的操作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。