GAN-Diff : Coupling Pretrained WGAN-GP Features with Conditional Diffusion U-Nets
本文提出了 GAN-Diff，这是一个混合框架，它利用来自冻结的预训练 WGAN-GP 生成器的中间特征作为先验，通过交叉注意力机制来引导条件扩散 U-Net，在去噪和超分辨率等图像修复任务中实现了显著改进，同时解决了关键的训练不稳定问题。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字图像领域，计算机已经学会了从无到有地创造图像，这一曾经看似不可能实现的壮举。两类不同的人工智能家族已成为该领域的领导者。第一类被称为生成对抗网络（GANs），它就像一位能够以一气呵成的快速动作勾勒出完整面孔的速写艺术家。这些系统效率很高，但有时难以保持一致性，偶尔会产生看起来奇怪或不稳定的图像。第二类被称为扩散模型（Diffusion Models），它的工作方式更像是一位雕塑家，正缓慢地从一块石料中凿刻出雕像。它从一片混乱的静态噪声云开始，通过逐步去除混乱，直到清晰的图像显现出来。虽然第二种方法能产生极高质量且细节丰富的成果，但它速度缓慢且计算成本高昂，需要许多重复的步骤才能完成单张图片。科学家面临的挑战在于如何将第一种方法的速度与第二种方法的精准度结合起来，创造出一个既快速又可靠的系统。
来自孟加拉国北南大学的一个研究小组在解决这个谜题方面迈出了重要一步。他们开发了一种新的混合框架，利用预训练、快速生成器的结构知识来引导扩散模型缓慢而细致的雕刻过程。在他们的工作中，他们采用了一个已经训练好用于创建逼真人脸的生成器，并将其“冻结”，这意味着其内部设置被锁定，无法发生改变。他们并没有让这个冻结的生成器直接创建最终图像，而是将其作为一张地图。当扩散模型致力于清理嘈ibly或模糊的照片时，它会观察来自这个冻结生成器的中间特征，以理解人脸的基础结构应该是怎样的。这种引导是通过一种机制实现的，该机制允许清洗模型关注生成器地图中的特定部分，从而确保在去除噪声的同时，眼睛、鼻子和嘴巴仍保持在正确的位置。
研究人员在两项特定任务上测试了该系统：去除人脸图像中的颗粒噪声以及将低质量图片的分辨率提高一倍。他们使用了一个包含五万张名人脸部的数据库，并专注于五个特定个体进行评估，以确保能够准确追踪从始至终的变化。在他们的最终系统投入运行之前，他们必须克服几个导致训练过程变得不稳定的障碍。他们发现，如果初始生成器的两个部分学习速度不同，系统就会失败。他们还发现，如果以错误的噪声类型开始清洗过程，或者使用了过多的破坏，结果会很差。通过仔细调整这些因素，包括如何通过平均自身的设置来平滑误差，他们创建了一个稳定的流水线。
结果显示图像质量有了明显的提升。对于去除噪声的任务，与原始的有噪输入相比，新方法将图像清晰度提高了4.40分贝。对于提高低分辨率图像清晰度的任务，它比标准基准方法提高了3.70分贝。这些数字代表了修复后的图像与原始清晰面孔在匹配度上的可衡量增益。在视觉上，该系统成功地去除了可见的斑点，并保留了重要的身份特征，如眼睛的形状和头发的轮廓。在超分辨率任务中，它能够合成现实的细节，例如细微的发丝和皮肤纹理，而这些细节在低分辨率输入中是缺失的，且没有产生其他方法中常见的块状伪影。
他们工作中的一个关键洞察是应该如何应用来自冻结生成器的引导。他们发现，当结构地图在整个清洗序列开始时计算一次并保持不变时，系统的效果最好。如果系统试图在每一个步骤都重新计算这张地图，指令就会变得自相矛盾，从而使模型感到困惑。通过保持引导的稳定性，扩散模型可以沿着一致的路径走向清晰的结果。研究人员指出，虽然他们的方法在追踪的五张面孔上表现良好，但评估仅限于这个小群体，并且他们并未测试系统如何处理超出其特定设置之外的不同水平的噪声或退化情况。他们也没有包含某些衡量图像人类感观程度的感知指标，而是依赖于标准的数学清晰度和结构测量。
这项工作证明了冻结生成器可以作为一个可靠的向导来引导扩散模型，帮助其更有效地修复图像。这种方法表明，将一种AI的结构优势与另一种AI的迭代精炼过程相结合，可以比单独使用其中任何一种获得更好的结果。研究人员识别了此类混合系统中导致不稳定的特定原因，并提供了使模型能够平稳运行的解决方案。虽然该研究局限于人脸图像和特定的退化类型，但其发现为构建更强大的图像修复工具提供了一条清晰的路径，这些工具可以处理将受损图片恢复为清晰图片的复杂任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。