PixRestore: Unified Image Restoration via Pixel Diffusion Transformer

每天，我们的摄像机都会以不完美的方式捕捉世界。一场突如其来的暴雨会在镜头上留下条纹；浓雾会模糊远处的山峦；昏暗的房间会将脸庞变成阴影。几十年来，科学家们一直试图构建计算机程序来修复这些受损图像，将模糊、多噪点或被遮挡的照片恢复成清晰锐利的状态。这个被称为“图像修复”（image restoration）的领域长期以来依赖于两种主要策略。第一种策略将问题视为一个简单的数学谜题，试图根据受损图像计算出最可能的原始图像。虽然这种方法很快，但生成的结果往往看起来过于平滑，丢失了让照片具有真实感的微小纹理。第二种策略使用强大的生成模型，这些模型最初是基于文本描述来从头开始创造新图像的。这些模型非常擅长创造真实的细节，但它们有时会凭空捏造原本不存在的东西，或者因为在尝试修复之前将图像压缩成一种隐藏的、抽象的代码，从而可能遗漏需要保留的具体细节。

香港理工大学和 OPPO 研究院的研究人员开发了一种名为 PixRestore 的新方法，弥合了这一差距。他们没有依赖用于从文本生成艺术的沉重且复杂的系统，也没有使用会让细节变平滑的简单数学，而是构建了一个直接作用于图像原始像素（raw pixels）的系统。想象一下，图像不是一个压缩文件，而是一个由无数微小彩色点组成的巨大网格。大多数现代修复工具首先将这些点压缩成更小的、抽象的表示形式以节省时间，就像把一本长篇小说总结成几个要点一样。问题在于，在总结的过程中，你往往会丢失故事中的具体细微差别。PixRestore 完全跳过了这个总结步骤。它直接作用于完整的彩色点网格，在工作时保留了每一个微小的边缘和纹理。这使得该系统极其高效，使用的计算能力远低于其竞争对手，同时仍能产生看起来锐利且忠于现实的结果。

这个新系统的核心是一种被称为“扩散 Transformer”（Diffusion Transformer）的人工智能架构。简单来说，这种模型学习如何逆转退化过程。它从一张带有噪声、受损的图像开始，学习如何逐步移除噪声、雨滴或模糊，直到出现一张干净的图片。PixRestore 的独特之处在于它如何引导这一过程。研究人员意识到，不同类型的损伤需要不同程度的关注。例如，去除雨痕需要观察精细、锐利的线条，而修复黑暗、低光照的照片则需要理解场景的整体形状和亮度。为了处理这个问题，该系统使用了一个预训练的“视觉专家”，它就像一双具有不同聚焦水平的眼睛。这位专家观察受损图像，并告诉修复模型哪些部分仍然可靠，哪些部分由于损坏过度而不可信。如果图像的一个层级仍然清晰，系统就会将其作为强有力的引导；如果一个层级受损严重，系统则知道忽略它，并更多地依赖于它对清晰图像应有的知识。这种自适应引导确保了模型不会被它试图移除的损伤所迷惑。

这种方法的成果令人瞩目。研究人员在八种不同类型的图像损伤上测试了他们的模型，包括雨、雪、雾霾、模糊和低光照。在这些测试中，Pix 能够比以往的方法更有效地去除损伤，同时保持图像细节的锐利。或许最令人惊讶的是，它完成这一切时使用的模型规模仅约为 5000 万个参数。对比来看，许多使用沉重的文本到图像技术的竞争系统，其规模要大上数十亿倍，产生单张图像需要巨大的计算能力和时间。相比之下，PixRestore 可以在单步内生成修复后的图像，在标准硬件上耗时不到一秒。这种速度和效率意味着，这类技术最终可以在智能手机等日常设备上运行，而不是局限于大型数据中心。

团队还发现，仅仅通过扩大模型规模就可以使其变得更好。他们测试了更大版本的系统，这些规模扩大的模型产生了更高质量的结果，这表明他们的设计可以随着计算能力的提升而成长。然而，研究人员指出，尽管他们的系统取得了显著进步，但它并非完美。对于那些受损严重到几乎不包含任何有用信息的图像，它仍然难以应对，并且目前最适合在特定的图像分辨率下工作。尽管存在这些局限性，这项工作证明了你并不需要庞大、复杂的系统来有效地修复图像。通过直接处理原始像素并使用智能的自适应引导，构建既快速又忠实于原始场景的工具是完全可能的。这种方法为图像修复提供了一条新的路径，一条优先考虑清晰度和效率，而非单纯追求规模和复杂性的路径。