SONIC: Spectral Optimization of Noise for Inpainting with Consistency
本文介绍了 SONIC，这是一种无需训练的修复方法，它通过线性近似和谱预处理来优化初始噪声样本，从而使现成的文本生成图像模型能够在无需额外训练的情况下超越专门的修复模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张美丽的老照片，但有人用粗黑色的记号笔涂掉了其中的一部分。你想修复这个缺失的部分。在人工智能的世界里，这被称为“图像修复”（inpainting）。
通常情况下，要修复它，你需要一个专门经过训练的 AI，该 AI 见过成千上万张带有缺失部分的照片。但这篇文章的作者们提出了一个不同的问题：我们能否使用一个通用的、现成的 AI（即一个只需根据文本就能画图的 AI）来修复图像，而无需对其进行重新训练？
答案是肯定的，但前提是你必须在开始“生长”图像之前，先固定好那个“种子”。以下是他们是如何实现的，通过简单的类比来解释。
问题所在：错误的种子
把生成式 AI 想象成一位园艺大师。如果你给园艺师一袋随机的种子（称为“噪声”），并给他一段关于花的描述，他就会种出一朵花。但如果你想让这朵花恰好长在已经存在的特定树木（照片中未被遮盖的部分）旁边，你就不能随便扔一颗随机种子到地上。
如果你使用随机种子，AI 可能会长出一朵看起来很棒的花，但它的根部可能与树木格格不入，或者茎的颜色与周围环境不匹配。以往的方法试图在园艺师工作时进行“引导”，但作者发现，真正的问题在于种子本身。如果种子与现有的图片不匹配，最终结果就会显得脱节。
解决方案：SONIC
SONIC 方法是一种寻找完美种子的“无需训练”的方法。他们不是训练一个新的 AI，而是调整初始的噪声（种子），使得当 AI “生长”出图像时，它能自然地融入照片的现有部分。
他们通过两个聪明的技巧解决了这个问题：
1. “捷径地图”（线性化）
通常，为了找到完美的种子，你必须看着园艺师一步步地种出花朵，然后倒带，调整种子，再看一遍。这极其缓慢，并且需要巨大的计算能力（就像试图把一部 20 步组成的电影倒着回放）。
作者意识到，对于现代 AI 来说，从“随机噪声”到“完成图像”的过程实际上是非常直接且可预测的，就像一条笔直的高速公路，而不是蜿蜒的山路。
- 类比： 与其开车走完整个蜿蜒的山路去查看终点在哪里，他们在地图上从起点到终点画了一条直线。这种“线性近似”让他们可以瞬间计算出完美的起点，而不需要每次都模拟整个旅程。这就像是使用 GPS 捷径来寻找正确的地址，而不需要先开遍整个城市。
2. 调节无线电频率（频谱预处理）
一旦有了捷径，他们就需要优化种子。但当他们尝试调整种子时，图像会发生闪烁并变得不稳定，就像收音机同时接收到太多频率的静电干扰一样。图像的某些部分会变得过于精细，而另一些部分则保持模糊。
- 类比： 想象这张图像是一首由许多不同音符（频率）组成的歌曲。如果你试图同时调节整首歌的音量，可能会导致低音过大而高音太弱。作者意识到，他们需要单独调节每一个“音符”（频率）。
- 他们将优化过程移到了“频谱域”（频率的世界）。通过使用一种智能优化器（称为 Adam），将每个频率视为独立的乐器进行处理，他们可以按照各自完美的节奏来调节低音和高音。这阻止了图像的闪烁，并使优化过程变得稳定且快速。
安全网：不要触碰空白区域
还有一个最后的细节。当他们优化种子时，AI 开始改变图像中原本完美的（未被遮盖的）部分，仅仅是为了让数学计算成立。这就像园艺师为了让新出的花看起来更好看，而去重新排列那棵健康的树。
为了解决这个问题，他们在图像的好部分周围筑起了一道“围栏”。他们告诉优化过程：“你只能改变黑色记号笔涂抹区域内的像素。请保持其余部分不变。” 这确保了新部分能够与旧部分无缝融合，而不会破坏原始照片。
结果
通过使用这些捷径和频率调节来寻找完美的“种子”，SONIC 可以让一个通用的 AI 模型在图像修复方面的表现优于那些专门为此任务训练的模型。
- 无需训练： 你不需要花费数周时间去教导一个新的 AI。
- 更好的连贯性： 新的部分在光影、风格和结构上都能与原图完美匹配。
- 速度快： 因为使用了“捷径地图”，它的运行速度很快，可以在标准的计算机硬件上运行。
简而言之，SONIC 证明了你不需要专门的工具来修复破碎的图片；你只需要为你现有的工具找到正确的起点。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。