💻 computer science

AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

AdaEraser 是一种无需训练的物体移除框架，它通过采用基于估计物体存在情况动态调节自注意力以实现有效移除与高质量背景重建之间平衡的逐令牌自适应注意力抑制策略，其性能优于现有方法。

原作者： Dingming Liu

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Dingming Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一张美丽公园的照片，但画面正中央却有一个难看的垃圾桶。你希望删除这个垃圾桶，让草地和树木自然地填补那片空白，仿佛垃圾桶从未存在过。这被称为“物体移除”。

长期以来，计算机在处理这类任务时一直力不从心。如果它们只是简单地“擦除”垃圾桶，背景往往显得模糊、扭曲，或者像是一块奇怪的静态噪点。

现在，AdaEraser 登场了。这是一种新工具，无需通过成千上万张新照片进行“训练”，就能解决这一问题。以下是其工作原理的简明解释：

问题所在：“蛮力”的错误

以往的方法试图通过简单地屏蔽计算机的“眼睛”不去看垃圾桶区域来移除物体。想象一下，你正试图在墙上的某个斑点上进行粉刷。如果你给粉刷工戴上眼罩，并告诉他：“别看这个斑点，就凭你想象该画什么来填补它”，他们可能会画错。他们可能会在应该画树的地方画上一片天空，或者在应该画窗户的地方画上一堵实墙。

从技术术语来说，这些旧方法会激进地抑制计算机内部对物体的“注意力”（即其关注焦点）。虽然这确实能让物体消失，但也阻止了计算机利用周围语境（树木、草地、光线）来推断空白处应该呈现什么内容。结果往往是一个杂乱无章、质量低劣的背景。

解决方案：“智能调光开关”

AdaEraser 就像是给粉刷工提供了一个智能调光开关，而不是眼罩。

AdaEraser 并非完全屏蔽计算机对物体区域的视野，而是实时观察物体消失的过程，并相应地调整计算机注意力的“音量”。

“存在分数”（烟雾探测器）：
当计算机尝试擦除物体时，它会不断检查：“物体还在吗？”
它是通过比较擦除开始前的图像“思维”（注意力图）与擦除过程中的“思维”来实现的。
- 过程早期： 物体在计算机的“脑海”中依然清晰可见。系统会说：“好的，物体还在这里。我们需要强力抑制它。”
- 过程后期： 物体正在淡出，背景开始形成。系统会说：“啊，物体大部分已经消失了。我们可以停止如此强力的抑制，让背景自然地自行描绘。”
逐 Token 的精准度（外科医生 vs. 大锤）：
旧方法将整个物体区域视为一个大块。AdaEraser 则精准得多。它将图像视为数百万个微小的点（称为"Token"）。
- 有些点可能是垃圾桶的把手；另一些点可能是它投下的阴影。
- AdaEraser 逐个检查这些点。如果某个特定的点已经“忘记”它曾是垃圾桶的一部分，转而开始思考草地，系统会立即停止对该点的抑制。这使得草地能够逐像素地自然生长回来。

结果

通过这种自适应的方法（动态调整抑制强度），AdaEraser 同时实现了两件事：

成功移除了不需要的物体。
保留了计算机“想象”正确背景的能力，因为它没有过早地关闭计算机的创造性大脑。

为何它与众不同

无需训练： 大多数高级工具都需要在海量的“前后对比”照片数据集上进行训练。AdaEraser 则可以直接在现有模型上“开箱即用”。这就像拥有一种无需机械师预先调试就能在任何汽车上工作的工具。
优于训练模型： 令人惊讶的是，这种“无需训练”的方法实际上产生的效果，比许多确实需要昂贵训练的方法还要好。

它可能遇到困难的场景

该论文指出，如果背景非常混乱（例如一面具有重复图案的墙，其图案与物体看起来完全一样），或者物体拥有复杂的阴影而用户未在“擦除”蒙版中包含这些阴影，该工具可能会留下细微痕迹或产生轻微错误。但对于大多数标准照片，它能创造出无缝且高质量的编辑效果。

简而言之： AdaEraser 是一种智能橡皮擦，它确切地知道何时停止擦除并开始描绘，从而确保背景看起来自然，且物体彻底消失。

技术摘要：AdaEraser

问题陈述
图像中的物体移除不仅需要精确消除用户指定的目标，还需要在腾空的区域中合理重建背景。虽然近期利用预训练扩散模型的免训练方法已展现出潜力，但它们往往面临一个根本性冲突：有效移除物体与生成高质量背景内容之间的矛盾。现有方法（如 AttentiveEraser）通常采用对掩蔽物体区域内自注意力机制的无差别抑制。虽然这成功移除了目标，却无意中破坏了背景生成过程。由于背景重建依赖于预训练模型的生成能力——该能力假设自注意力未被调制——在这些区域完全阻断注意力会导致结构伪影、视觉失真以及低质量的背景合成。

方法：AdaEraser
为解决这一冲突，作者提出了AdaEraser，这是一个免训练框架，能够在去噪过程中根据估计的目标物体概念存在情况，动态调节注意力抑制。其核心见解是：物体移除与背景生成是相互竞争的目标，需要一种平衡的、自适应的方法，而非静态的二元抑制。

该方法通过三个主要步骤运作：

参考与目标注意力提取：
- 参考： 对于源图像 $I_{src}$ ，模型通过应用“t 步扩散 + 1 步去噪”方案生成参考自注意力图（$SAsrc$）。这在不进行完整反转过程的情况下，保留了噪声条件下的原始图像特征信息。
- 目标： 同时，模型对从源图像初始化的目标潜在变量执行标准的物体移除去噪过程，生成目标自注意力图（$SAtgt$）。
逐 Token 存在分数估计：
- 作者观察到，自注意力图编码了上下文关系和语义特征。他们假设，包含物体的参考图与正在移除物体的目标图之间的相似性，与物体的残留存在程度相关。
- 使用 $SAtgt(i) $与$ SAsrc(i)$ 之间的余弦相似度，为物体掩码内的每个 Token $i$ 计算逐 Token 存在分数 $p(i)$ 。
- 随着去噪过程的推进和物体的移除，目标区域的语义内容与参考内容产生分歧，导致相似度分数下降。该分数作为物体存在水平的启发式代理。
自适应注意力抑制：
- AdaEraser 不再采用固定抑制，而是根据每个 Token 的存在分数计算抑制系数 $\eta(i)$ ：对于掩码内的 Token， $\eta(i) = 1 - p(i)$ ；对于其他 Token，则为 $1$。
- 该系数调节去噪 UNet 中的自注意力分数。当物体清晰存在（高相似度）时，抑制强度大；随着物体被移除且背景开始形成（低相似度），抑制被放松，允许模型利用其完整的生成能力自然地重建背景。
- 最后，在每个时间步使用掩码将前景（去噪后的目标）与背景（原始源）进行混合，以确保未移除区域的一致性。

主要贡献

自适应调节策略： 论文指出，高质量的物体移除需要基于物体残留存在情况对注意力抑制进行自适应调节，而非静态抑制。
逐 Token 启发式方法： 提出使用逐 Token 的自注意力图相似度作为有效且免训练的代理，以估计潜在空间中的物体存在，克服了在噪声潜在变量中直接检测物体的困难。
AdaEraser 框架： 作者引入了一个完整的免训练框架，集成了这种自适应策略，实现了物体消除与背景恢复之间的平衡。

实验结果
在 Mulan 和 OABench 数据集上进行了广泛实验，以 Stable Diffusion XL (SDXL) 为骨干网络，并在 SD1.5、SD2.1 和 FLUX 上进行了额外验证。

定量性能： AdaEraser 在所有指标（包括 FID、LPIPS、PSNR、ReMOVE 和 CFD）上均优于基于训练的方法（如 PowerPaint、RORem、SmartEraser）和最先进的免训练方法（如 AttentiveEraser、OmniPaint）。值得注意的是，在用户研究中，它获得了最高的平均人类排名（AHR）。
定性性能： 视觉对比表明，AdaEraser 能有效移除物体，同时保留场景上下文，并避免了那些使用完全注意力抑制的方法常见的结构失真和伪影。
消融研究： 作者验证了逐 Token 自适应抑制显著优于基于时间步或基于区域的抑制策略。他们还确认，使用与当前噪声水平对齐的动态参考（ $x_{src}^t$ ）比固定噪声参考能产生更优的结果。

意义与主张
论文主张，AdaEraser 通过展示当更智能地利用生成先验时，免训练方法可以超越基于训练的方法，为物体移除提供了新视角。通过动态调整抑制强度，AdaEraser 避免了无差别注意力抑制的缺点，从而保留了预训练模型用于背景重建的生成能力。作者将这项工作定位为迈向高质量、数据高效图像编辑的重要一步，无需昂贵的专用数据集获取或模型微调。

局限性与未来方向
论文承认，性能依赖于掩码质量；虽然对略微宽松的掩码具有鲁棒性，但在无法覆盖物体引起的副作用（如阴影）的不完整掩码情况下表现不佳。此外，在纹理高度相似或语义模糊的场景中，仅靠生成先验不足以进行复杂重建，该方法可能面临挑战。作者建议，未来的工作可以涉及引入更强的结构引导或自动识别副作用以提高鲁棒性。他们还指出，由于在较少的去噪步骤中注意力动态的信息量减少，该方法与高度加速的蒸馏模型（如 SDXL-Lightning）的兼容性较差。

问题所在：“蛮力”的错误

解决方案：“智能调光开关”

结果

为何它与众不同

它可能遇到困难的场景

技术摘要：AdaEraser

类似论文