💻 computer science

LazyDrag: Enabling Stable Drag-Based Editing on Multi-Modal Diffusion Transformers via Explicit Correspondence

LazyDrag 引入了首个针对多模态扩散 Transformer 的基于拖拽的图像编辑方法，该方法通过生成显式对应图，消除了对隐式点匹配的依赖，从而在无需测试时优化（test-time optimization）的情况下实现了稳定的全强度反转（full-strength inversion），并在精确的几何控制和复杂的文本引导编辑方面达到了最先进的性能。

原作者： Zixin Yin, Xili Dai, Duomin Wang, Xianfang Zeng, Lionel M. Ni, Gang Yu, Heung-Yeung Shum

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zixin Yin, Xili Dai, Duomin Wang, Xianfang Zeng, Lionel M. Ni, Gang Yu, Heung-Yeung Shum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一张数码照片，想要移动其中的某个部分——比如，通过拖动让一只狗的嘴巴张开以露出牙齿，或者将一只手滑进兜里。这被称为“基于拖拽的编辑”（drag-based editing）。

长期以来，利用人工智能（AI）来实现这一点，就像是在黑暗中戴着隔着手套的盲人手套去搬动一件沉重的家具。AI 必须根据模糊的提示来猜测像素应该去向何处，这往往会导致混乱的结果、扭曲的面部，或者需要计算机进行大量的“深度思考”（一种被称为“测试时优化”的缓慢且昂贵的过程）才能达到正确效果。

LazyDrag 是一种改变游戏规则的新方法。以下是它的工作原理，我们使用简单的类比来解释：

1. 旧方法：在黑暗中猜测

以往的方法依赖于“隐式点匹配”（implicit point matching）。想象一下，你试图告诉你的朋友：“把那个红点移到蓝点那里”，但你只能隔着墙向对方低声传递提示。AI 必须猜测哪个像素对应于哪个像素。

问题所在： AI 经常会感到困惑。它可能会抓错图像的部分，或者导致图像模糊。为了修复这个问题，旧方法会强迫 AI 进行缓慢且重复的优化过程（例如，为每一张照片重新计算 50 次移动过程）。这不仅速度缓慢，还会限制 AI 的创作能力（例如，防止它在场景中添加新物体，如一个网球）。

2. LazyDrag 的解决方案：清晰的地图

LazyDrag 说：“别再瞎猜了，让我们画一张地图。”
与其让 AI 去猜测，不如将用户的拖拽指令立即转换为一个显式对应图（Explicit Correspondence Map）。

类比： 把这张地图想象成一组铁轨。如果你想把手从 A 点移动到 B 点，这张地图就会绘制一条连接两者的直接、不可阻断的轨道。AI 不需要猜测手要去哪里，它只需要沿着轨道行驶即可。
结果： 因为路径非常清晰，AI 无需通过减速或重新计算（无需“测试时优化”）就能完美地移动物体。它之所以被称为“懒惰（Lazy）”，是因为它不需要进行那些额外的、繁重的基础计算工作。

3. “全强度”超能力

由于地图非常可靠，LazyDrag 可以发挥 AI 的“全强度”。

类比： 想象一位画家，因为害怕弄乱画面，通常只能使用稀薄、水性的颜料进行创作。LazyDrag 则给了他色彩浓郁、厚实的颜料。
这意味着： AI 现在可以做以前无法做到的事情。它可以：
- 自然地进行图像补全（Inpaint）： 如果你拖动狗的嘴巴使其张开，AI 可以自信地在嘴里“画出”内部结构（牙齿、舌头），因为它完全清楚边界在哪里。
- 遵循文本指令： 你可以拖动一只手并说“把它放进兜里”，AI 会理解其中的语境。
- 创造新物体： 你可以拖动一个位置并说“网球”，它会在那里生成一个球，而这在以前的方法中是很难实现的。

4. 保护背景安全

移动照片中的物体，最难的部分之一就是保持背景不被破坏。

类比： 想象你在房间里移动一把椅子。你不希望在移动椅子的同时，把地毯或墙壁也一起拖走了。LazyDrag 使用了一个“掩模”（mask，类似于模板/模具）来规定：“只移动椅子，让地毯保持原样不动。”它锁定了背景，使其不会发生扭曲或变形。

5. 现实世界的结果

研究人员在标准基准测试（DragBench）上对该方法进行了测试，并将其与另外八种顶尖方法进行了对比。

结果： LazyDrag 胜出了。它更准确（手确实到了你想要的位置），看起来更自然（没有奇怪的扭曲），并且不需要那步缓慢的“重新计算”过程。
用户研究： 当人类被要求挑选出最好的照片时，即使其他方法尝试使用了那些缓慢且昂贵的优化技巧，人类仍有 60% 的时间选择了 LazyDrag。

总结：
LazyDrag 就像是给了 AI 一个 GPS 和一套清晰的指令，而不是一个模糊的谜题。它允许 AI 以手术级的精度移动照片中的物体，添加新物体，并保持完美的背景——而且无需减速或过度思考。它适用于最新的、最强大的 AI 模型（称为 MM-DiTs），并且是第一个如此高效且无需额外训练就能实现此类编辑的方法。

技术摘要：LazyDrag

问题陈述

扩散模型中的基于拖拽的图像编辑面临着一个根本性的瓶颈：对通过注意力机制进行的隐式点匹配的依赖。以往的方法（例如利用注意力共享的方法，如 MasaCtrl）将注意力权重分配给空间邻近区域，而非语义相关的区域。这导致了编辑不稳定、身份保持能力下降以及反转强度（inversion strength）受损。为了缓解这些问题，现有方法通常不得不诉诸于**测试时优化（TTO）或削弱反转强度。这些折中方案导致了不可靠的局部重绘（inpainting）、受抑制的文本引导生成以及扭曲的编辑效果。此外，从 U-Net 架构向多模态扩散 Transformer（MM-DiT）**的过渡引入了新的挑战；在 MM-DiT 中，仅仅共享键（key）和值（value）标记无法有效保持身份，且现有的身份保持方法（如 CharaConsist）依赖于在全强度反转下极不稳定的注意力相似性匹配。

方法论：LazyDrag

LazyDrag 是一种专为 MM-DiT 设计的无需训练（training-free）的方法，它通过引入显式对应图（explicit correspondence map）消除了对隐式点匹配的依赖。该方法在全强度反转下运行，无需进行 TTO。其流程包含三个主要阶段：

1. 显式对应图生成

LazyDrag 不通过注意力来推断匹配关系，而是直接从用户拖拽指令中导出确定性的对应图。

位移场计算： 该方法使用**胜者全拿（Winner-Takes-All, WTA）**融合策略计算位移场。对于每个可编辑点，位移由最近的控制点决定，通过 Voronoi 边界对潜空间网格进行划分。这避免了在处理相反方向拖拽（例如张开嘴巴）时出现的运动抵消现象。
潜空间初始化： 潜空间被划分为四个不同的区域：
- 背景 ( $R_{bg}$ ): 保持不变。
- 目的地 ( $R_{dst}$ ): 渲染移动后的内容并保持身份一致性。
- 重绘区 ( $R_{inp}$ ): 使用高斯噪声（而非插值）进行初始化，以防止出现重复伪影并实现高保真度的文本引导生成。
- 过渡区 ( $R_{trans}$ ): 平滑融合边界。
映射形式化： 该过程产生一个匹配点图 $M(x)$ 和一个权重图 $A(x)$ ，作为后续注意力控制的可靠参考。

2. 对应驱动的注意力控制

显式映射驱动 MM-DiT 中单流注意力（Single-Stream Attention, SS-Attn）层的两部分注意力控制机制：

输入控制（标记替换与拼接）：
- 背景保持： 对于 $R_{bg}$ ，注意力标记（ $Q, K, V$ ）被硬替换为从反转过程中缓存的原始标记，以确保背景保持不动。
- 身份保持： 对于 $R_{dst}$ 和 $R_{trans}$ ，该方法将缓存的源标记（经旋转嵌入重新编码）与当前标记进行拼接。这向注意力计算中注入了强力的、由对应关系驱动的信号，在允许连贯适配的同时保留物体身份。
输出精细化（门控合并）：
- 注意力输出通过当前输出与来自匹配源点的缓存输出的门控合并进行精细化。
- 融合因子由预计算的匹配权重 $A(x)$ 和随时间衰减的因子共同控制。这确保了在控制点处实现精确控制，同时在周围区域实现自然放松，从而消除了对多步潜空间优化的需求。

核心贡献

首个实现全强度反转的拖拽编辑法： LazyDrag 是首个在 MM-DiT 上实现全强度反转的拖拽编辑方法，能够在所有采样步骤中使用全强度反转，无需 TTO 即可释放模型的全部生成能力。
显式对应取代隐式匹配： 通过使用用户定义的显式对应图取代脆弱的注意力相似性匹配，该方法解决了以往工作的核心不稳定性问题，实现了稳定的编辑和忠实的局部重绘。
通过文本引导解决歧义： 该方法将显式对应图与文本引导相结合，实现了语义一致的编辑（例如，将手移动到口袋里 vs. 移动到背后）以及复杂区域（例如，狗的口腔内部）的自然重绘。
支持多轮与多操作： 该框架支持同时进行移动和缩放操作，并支持多轮编辑，同时保持视觉连贯性。

实验结果

在 DragBench（205 张图像，349 对点对）上进行的评估显示，LazyDrag 在定量和定性指标上均优于八种基准方法（包括 DragDiffusion, GoodDrag, FastDrag 和 Inpaint4Drag）：

定量性能： LazyDrag 达到了最先进（SOTA）的水平，平均距离（MD）为 21.49，超过了表现次优的基准方法（DragText 为 21.51）。它还在语义一致性（SC: 8.205）、感知质量（PQ: 8.395）和综合得分（O: 8.210）方面处于领先地位。
效率： 与需要 TTO（如 LoRA 微调或多步优化）的基准方法不同，LazyDrag 是无需训练的，不需要针对每张图像或每条指令进行优化。
用户研究： 在一项针对 32 名专家参与者的研究中，LazyDrag 在对比中被选中的比例为 63.67%，显著优于所有基准方法。
定性优越性： 该方法成功执行了其他方法无法完成的复杂编辑，例如张开狗的嘴并重绘其内部，或者在文本引导下生成新物体（例如“网球”），同时保持了背景完整性和物体身份。

重要意义

本文认为，LazyDrag 为编辑范式开辟了一条新途径，证明了显式对应可以取代隐式注意力匹配这一根本瓶颈。通过在 MM-DiT 上实现稳定的全强度反转，该方法释放了此前因需要 TTO 或削弱反转而受到抑制的生成能力。它为基于拖拽的编辑建立了新的 SOTA 标准，在无需测试时优化计算成本的情况下，提供了精确的几何控制、自然的局部重绘以及鲁棒的文本引导创作。