ScribbleEdit: Synthetic Data for Image Editing with Scribbles and Text
本文介绍了 ScribbleEdit，这是一个大规模合成数据集，它将自然语言指令与自由手绘涂鸦相结合，用于训练和改进多模态图像编辑模型，使其能够实现现有现成模型难以达到的精确空间与语义控制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在给一位才华横溢但略显困惑的艺术家下达指令。你想修改一张照片，但你可以通过两种方式与他们沟通：
- 文字方式：你说：“在中间放一个红苹果。”艺术家完全理解“红苹果”的含义，但他们可能会把它放在左边、右边，或者把它画得巨大无比。他们缺乏你关于它具体“位置”的明确愿景。
- 涂鸦方式：你拿起笔，在照片上你想放置苹果的位置画一个杂乱、颤抖的圆圈。艺术家确切知道“在哪里”放置它，但他们完全不知道它应该是红色的、绿色的、有光泽的，还是毛茸茸的。
问题所在：当前的 AI 图像编辑器擅长其中一种方式，但当你试图同时使用两者时，它们就会陷入困境。它们对“杂乱的涂鸦”与“文字”的结合感到困惑，主要是因为它们没有接受过足够多的这种特定组合的训练。
解决方案：ScribbleEdit
这篇论文的作者为 AI 建立了一个庞大的“训练健身房”，名为ScribbleEdit。你可以把它想象成一个巨大的练习题库，AI 在其中学习如何同时听取文字和涂鸦的指令。
以下是他们构建这个题库的方法：
- 设置：他们选取了数千张物体（如苹果、猫或汽车）的照片。
- 橡皮擦：他们使用智能“橡皮擦”工具移除物体，在背景中留下一个空白区域。
- 引导：他们取原始照片，并将其与杂乱的、手绘的涂鸦（像儿童画一样）配对，这些涂鸦大致勾勒出物体应该出现的位置。
- 脚本：他们使用另一个 AI 编写一个描述该物体的句子（例如：“在这里放一个闪亮的红苹果”）。
- 结果：他们创建了超过 11,000 个示例，在这些示例中，AI 必须观察空白区域、杂乱的涂鸦和句子，然后“绘制”出物体，使其精确地出现在涂鸦所指的位置，并完全符合文字描述的样子。
实验
研究人员让两种不同类型的 AI 艺术家接受测试：
- “现成”艺术家：这些是预训练模型，从未见过 ScribbleEdit。
- “受过训练”的艺术家：这些是相同的模型，但在学习了 ScribbleEdit 题库之后。
结果
- 训练前：未训练的模型在这方面表现极差。当给定涂鸦时，它们经常忽略涂鸦，画出看起来像涂鸦的奇怪形状，或者根本无法编辑图像。它们不理解杂乱线条的“语言”。
- 训练后：一旦模型学习了 ScribbleEdit 数据集，它们的表现就大大提升了。它们学会了：
- 将物体精确放置在涂鸦指示的位置（空间准确性）。
- 使物体看起来符合文字描述（语义准确性）。
- 保持照片其余部分的自然外观。
核心结论
这篇论文表明，虽然 AI 在编辑照片方面越来越擅长，但它仍然难以理解我们这种杂乱的、人类式的绘画方式。通过创建一个合成数据集，教导 AI 如何将“粗略的绘画”与“清晰的指令”结合起来，研究人员证明了 AI 可以学会成为一个更精确、更顺从的编辑器。
他们未做的事情（重要局限性）
这篇论文非常明确地指出了他们没有做的事情：
- 他们没有发明一种新的绘画方式；他们使用了来自名为"Sketchy"的数据库中现有的人类绘画作品。
- 他们只测试了“重新添加物体”（物体添加）。他们没有测试复杂的事情，如改变人的脸部或仅编辑衬衫的一小部分。
- 他们没有声称这适用于医学成像或其他专业领域；它严格限于通用照片编辑。
简而言之，ScribbleEdit 是一本新的训练手册，教导 AI 如何同时倾听我们杂乱的涂鸦和清晰的文字，使照片编辑感觉更像是与一位乐于助人的真人助手交谈，而不是在猜测一个谜语。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。