DuET: Dual Expert Trajectories for Diffusion Image Editing
DuET 是一种无需训练的推理方法，它通过临时过渡到一个文本生成图像阶段，在更好地对齐目标指令的同时保持结构完整性，从而增强基于扩散模型的图像编辑，其选择性变体进一步优化了编辑忠实度与源图像保留之间的平衡。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个你可以通过与计算机交谈，并要求它画出任何你能想象到的事物的世界。多年来，科学家们一直致力于构建“文本生成图像”模型，它们就像神奇的素描本：你输入“一只戴着帽子的猫”，它们就会把它画出来。但如果你想修改一张已经存在的图片呢？也许你想把猫换成狗，或者把晴天变成暴雨天。这就是“图像编辑”模型发挥作用的地方。它们接收你的原始照片和你的新指令，然后尝试重写这张图片，同时尽可能让那些你没有要求改变的部分保持原封不动。
困难之处在于，这些编辑模型就像是非常谨慎的艺术家。因为它们在整个工作过程中都紧盯着原始照片，所以有时会因为过于胆小而不敢做出大幅度的改变。如果你要求它们把一个小房子变成一座巨大的城堡，它们可能只会让房子稍微变大一点，导致场景的其余部分看起来很奇怪或停滞不前。它们太专注于不破坏原始图像，以至于无法完全遵循你的新指令。这篇论文解决的正是一个特定的问题：我们如何让这些数字艺术家变得足够大胆，既能做出巨大的改变，又不丢失原始图片的灵魂？
作者引入了一个巧妙的新技巧，叫做 DuET（双重专家轨迹）。把图像编辑过程想象成一段从空白画布到完成杰作的长途旅行。通常，计算机在这次旅程中处于“编辑模式”，它会不断观察原始照片，以确保自己不会偏离太远。DuET 方法建议了一条不同的路线：在旅程中一个短暂且特定的阶段，计算机应该完全停止观察原始照片。相反，它应该切换到“文本生成图像模式”，此时它只听从你对新场景的描述。这就像一位音乐家，平时通常是跟着伴奏带（原始照片）演奏，但在几小节的音乐中，他戴上降噪耳机，仅根据乐谱（你的指令）进行即兴独奏。这使得计算机能够完全重新组织场景，以匹配你的愿景。
在这次短暂的“独奏”之后，计算机摘下耳机，并在旅程的剩余部分切换回“编辑模式”。现在，在大规模的结构性改变完成后，它可以回头观察原始照片，以填充细节并确保光影和纹理看起来依然自然。论文表明，这种“编辑 文本生成图像 编辑”的舞步比全程只坚持一种模式的效果要好得多。它让最终结果更符合你的要求，看起来也更自然，尤其是在进行更换整个物体或改变环境等重大变化时。
然而，研究人员发现了一个问题。当计算机停止观察原始照片时，即使只是片刻，它有时也会改变你想要完全保留的部分。这是一种权衡：你得到了更好、更准确的编辑，但可能会损失一点点原始图像的精确度。论文使用一个叫做 SSIM 的评分来衡量这一点，该评分会检查像素之间的相似度。他们发现，虽然新方法提升了图像中“有趣”的部分（例如它对指令的遵循程度以及看起来有多自然），但“保留度”得分却略有下降。
但真正酷的部分在于：作者认为这种权衡并不是一个硬性规则。他们创建了一个更智能的版本，叫做 Selective DuET（选择性 DuET）。这个版本就像一名交通警察。在旅程开始之前，它会快速瞥一眼图像，看看计算机已经在多大程度上“抓着”原始图像不放。如果图像需要巨大的改变（比如把房子变成树），交通警察会说：“去吧，开始你的独奏！”但如果图像只需要微小的调整，警察会说：“不需要切换模式，继续编辑即可。”通过只在绝对必要时才使用这种具有风险性的“独奏”方法，他们找到了一种方法，可以在不让人类察觉到保留度下降的情况下，获得高质量的编辑效果。
简而言之，这篇论文证明了你不需要训练一个新的、超级复杂的机器人来更好地编辑图像。你只需要教会现有的机器人何时停止看原始照片，以及何时开始只听你的话。这是一个简单且免费的升级，它让数字艺术编辑变得更加灵活和富有创意，表明有时为了得到完美的结果，你必须愿意在瞬间放下过去。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。