Unlocking the Potential of Image Editing via Concept Scaling and Dense Supervision
本文介绍了 ConceptEdit，这是一个全面的框架，通过建立一个包含 1,000 多个细粒度概念的分层分类法、通过库驱动的合成方法构建一个包含 1,200 万个概念对的海量数据集（ConceptEdit-12M），并提出一种密集监督训练策略，从而解决了现有图像编辑模型的局限性，并显著提升了模型性能与评估水平。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，计算机已经学会了从零开始绘制图像，将像“戴着帽子的猫”这样简单的句子转化为生动的图像。这种能力由一种被称为扩散模型（diffusion model）的人工智能技术驱动，它彻底改变了我们创作视觉内容的方式。在此基础上，研究人员开发了允许用户通过指令编辑现有照片的工具，例如“将天空改为日落”或“让那个人微笑”。这些工具的工作原理是接收一张原始图像和一个文本指令，然后预测编辑后的新版本应该是什么样子。然而，仅仅因为计算机可以生成一张图片，并不意味着它能轻松且准确地修改其中的特定细节。挑战在于，如何教会机器理解图像被改变的各种多样方式，并且在执行过程中不要在过于模糊或重复的指令上浪费时间。
一个研究小组发现了导致当前图像编辑工具经常遇到困难的两个主要原因。首先，用于训练这些系统的数据过于关注起始图片的多样性，而忽略了变化本身的多样性。想象一下，如果你有一个拥有百万本书籍的图书馆，但每一本书讨论的都是同样三个主题；你会对那三个主题了解颇深，但对世界其他部分一无所知。同样，现有的训练数据通常涵盖了诸如“添加物体”或“改变颜色”等宽泛类别，却忽略了使现实世界编辑变得有用的细微、具体的差异，例如区分“眨眼”与“眯眼”，或者将“木地板”改为“大理石地板”。其次，训练过程效率低下，因为它通常教计算机一次只能做一个微小的改变。由于大部分图像保持不变，计算机会将大部分精力花在仅仅复制背景上，而不是学习如何创造新的细节。这导致了一个缓慢且笨拙的学习过程。
为了解决这些问题，研究人员创建了一种名为 ConceptEdit 的新方法。他们并没有只是向计算机喂入更多随机的图片，而是构建了一个包含超过 1,000 个特定编辑想法的大规模、有组织的库。这个库将宽泛的概念分解为细粒度的细节。例如，系统不再仅仅学习如何“改变脸部”，而是学习区分特定的表情，如“困惑”、“焦虑”或“戏谑”。它还涵盖了特定的动作，比如一个人做出“比心”的手势，以及精确的环境变化，例如从“小雨”转变为“大雨”。通过将这些想法组织成一个结构化的层级体系，团队确保了计算机接触到的是平衡且多样化的编辑可能性，而非仅仅是那些最常见的可能性。
随后，该团队利用这个库生成了一个包含 1,200 万对高质量图像的数据集。他们并没有简单地要求人工智能去猜测应该做哪些编辑，因为这往往会导致重复或带有偏见的结果。相反，他们使用了一个结构化的流程，让计算机从他们的库中选择特定的概念，并结合现实世界的知识来创建精确的指令。为了确保结果的准确性，他们开发了一套自定义的检查系统。对于每一对图像，系统都会生成特定的问题来验证编辑是否成功，例如“杯子上的文字是否准确地显示为‘COFFEE’？”或“眨眼的动作看起来自然吗？”这种分步验证捕捉到了通用检查会遗漏的错误，确保了训练数据的纯净与可靠。
他们方法中最显著的变化在于如何教计算机学习。他们没有向模型展示一张图片配合一个编辑，而是将多个互不重叠的编辑组合成一个单一的训练样本。例如，他们可能会要求计算机在一个步骤内同时改变沙发的颜色、在桌子上添加一朵花，并改变天花板上的光照。这种技术被研究人员称为“密集监督”（dense supervision），它迫使计算机同时关注多个活跃的变化，而不仅仅是复制静态背景。这类似于一名学生通过解决一个包含多个移动部件的复杂问题来更有效地学习，而不是一遍又一遍地练习同一个简单的步骤。这种方法让计算机学习得更快、更高效，与使用单次编辑训练的模型相比，它将训练收敛速度提高了 1.5 倍。
这种新训练方法的成果非常清晰。在各项基准测试中，使用这种新数据的模型表现优于以往的最先进系统。它在遵循复杂指令和处理特定、详细编辑方面表现出了显著的进步。研究人员发现，在经过其多样化、细粒度概念训练的模型能够处理更广泛的现实场景，从改变绘画风格到调整合影中人物的姿态。此外，在单个训练样本中使用多个编辑意味着模型能比使用单次编辑训练的模型更快地达到高性能水平。该团队还发布了一个新的测试套件 ConceptEdit-Bench，该套件在 1,000 个特定类别上评估模型，为衡量进展提供了一个比以往广泛、笼统的测试更精准的工具。
这项工作表明，提升图像编辑能力的关键词不在于拥有更多的数据，而在于拥有正确类型的数据。通过将重点从源图像的多样性转向编辑概念的丰富性与精确性，并通过教计算机同时处理多个变化，研究人员开启了更高水平的能力。他们的发现表明，图像编辑的未来在于细粒度的细节和高效的学习策略，推动该领域从宽泛、模糊的调整，迈向一个计算机能够理解并执行人类日常所做的微妙、具体变化的未来。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。