Editing Everything Everywhere All at Once
本文介绍了 MICE，这是一种针对多模态扩散 Transformer 的无需训练的策略，它通过调节注意力机制以防止语义干扰和属性泄露，从而实现在单次前向传播中进行可扩展、高保真的多实例图像编辑。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张繁忙房间的数字照片，你想一次性改变其中的几乎所有内容：把咖啡杯变成水瓶，把天花板瓷砖换成木梁，把白板换成黑板，并将窗外的景色改为雪山。
如果一个接一个地进行（先改杯子，再改天花板，再改黑板），过程会很慢，而且往往会导致结果显得杂乱，因为这些变化无法很好地融合在一起。但如果想通过一次性的“快照”完成这一切，对于目前的 AI 来说是非常困难的。如果你要求 AI 同时做所有这些事，它往往会感到困惑。它可能会不小心把雪山的纹理画到咖啡杯上，或者让木梁看起来像是属于黑板的一部分。这被称为“属性泄露”（attribute leakage）——即指令之间发生了混淆。
问题：“拥挤的房间”效应
把 AI 的大脑想象成一个拥挤的房间，每个人都在大声喊叫指令。如果你同时告诉这个房间“改变杯子”和“改变天花板”，AI 就会感到应接不暇。它试图听从所有人，但声音却混在了一起。“杯子”的指令可能会意外地抓取到“天花板”的指令，导致最后得到的杯子看起来像个天花板。随着你增加的变化越多，这种混乱就会变得越严重，最终生成的图像也会显得混乱不堪。
解决方案：MICE（多实例并发编辑）
这篇论文的作者创造了一种名为 MICE 的新方法。你可以把 MICE 想象成 AI 大脑中一名超高效的交通指挥官。与其让所有人互相大声喧哗，MICE 为每条指令都分配了一条专属的“车道”，同时仍能兼顾全局。
以下是它的工作原理，使用简单的类比说明：
分割掩码（模板/镂空图）：
首先，用户（或辅助工具）在想要修改的物体周围画出轮廓。想象这些就像是纸上的模板或镂空形状。MICE 利用这些模板来明确知道图像的哪一部分属于哪一条指令。“软”墙（高斯模糊）：
旧的方法试图在这些模板之间建立坚硬的、混凝土般的墙壁。如果你在杯子和天花板之间筑起一道混凝土墙，结果看起来会非常生硬且虚假，就像一张拙劣的拼贴画。
MICE 使用的是软性的、模糊的墙。它创建了一个平缓的梯度。AI 知道：“好吧，这一部分确定是杯子，那一部分确定是天花板。”但在它们交界的地方，墙壁变得模糊了。这使得杯子能自然地融入桌面，天花板也能自然地融入墙壁，而不会让杯子的指令错误地接管天花板。“禁区”：
MICE 还设立了隐形的“禁止进入”标志。它告诉 AI：“关于杯子的指令可以与杯子对话，也可以与附近的桌子对话以确保匹配。但它严禁与关于雪山的指令进行对话。”这阻止了“雪山”的纹理意外泄露到“杯子”上。一次通过，一气呵成：
MICE 的魔力在于它在**单次前向传播（single forward pass）**中完成所有工作。想象一位画家，通常需要先画好杯子，等它干透，再画天花板，然后再等待；而 MICE 就像一位画家，可以在一次流畅的笔触中同时画好杯子、天花板、窗户和地毯，并且每一部分看起来都完美且连贯。
为什么这很重要
论文在名为 MICE-Bench 的极具挑战性的新测试上对该方法进行了测试。虽然其他测试仅要求 AI 同时改变 3 样东西，但 MICE-Bench 要求 AI 在单张图像中平均改变 8.5 处（有些甚至包含多达 40 处变化！）。
结果显示，MICE 在以下方面表现得更好：
- 听从指令： 它确实将正确的物体变成了正确的东西（例如，杯子变成了水瓶，而不是一只狗）。
- 保留原貌： 对于你没有要求修改的部分，它能保持原样不动。
- 融合效果： 新物体看起来像是自然存在于照片中，具有正确的光影和阴影。
总结
MICE 是一种“无需训练”（training-free）的工具（它不需要重新学习如何绘画，它只是改变了 AI 注意力分配的方式）。它扮演着智能组织者的角色，既能让不同的编辑指令保持独立，又能保持和谐，从而让你能够一次性处理复杂图像中的多次修改，而不会让 AI 感到困惑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。