💻 computer science

PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal

本文提出了名为 PANDORA 的零样本物体移除框架，通过无需微调或提示的“像素级注意力溶解”与“局部注意力解耦引导”技术，在预训练文本到图像扩散模型上实现了单次前向传播即可消除多物体并保持背景完整性与语义连贯性。

原作者： Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 PANDORA 的新技术，它的核心任务非常直观：把照片里不想要的东西“变没”，而且不用重新训练电脑，也不需要你写复杂的指令。

想象一下，你有一张全家福，但照片里不小心闯入了一个路人，或者你想把桌上的一个空杯子擦掉，让桌子看起来原本就是空的。以前的方法要么像“打补丁”（把旁边的图案硬贴过来，看起来很假），要么需要给电脑“特训”（重新教它怎么修图），要么需要你像写代码一样告诉它“把杯子去掉，背景要像草地”。

PANDORA 就像是一个拥有“读心术”和“橡皮擦”魔法的修图大师，它不需要特训，也不需要你多说话，看一眼照片就能把东西擦得干干净净，而且背景恢复得自然流畅。

下面我用几个生活中的比喻来解释它是如何做到的：

1. 核心魔法：不重新学习，直接“读心”

以前的修图 AI 就像是一个刚毕业的学生，每遇到新任务（比如修不同的图），都要重新上课（微调模型）或者给你写说明书（提示词工程）。
PANDORA 则像是一个天赋异禀的艺术家。它已经学会了画画（预训练好的模型），你只需要给它一张图和一块“遮羞布”（掩码，告诉它哪里要擦），它就能直接动手，不需要再上课，也不需要你教它怎么画背景。

2. 两大核心绝招

PANDORA 之所以这么厉害，是因为它用了两个巧妙的“魔法步骤”：

绝招一：像素级注意力溶解 (PAD) —— “切断坏朋友的电话线”

问题：在 AI 眼里，照片里的物体（比如那个路人）和周围的背景是“连在一起”的。当你想擦掉路人时，AI 会想：“哎呀，路人的脸和旁边的树是有关联的，如果我把脸擦掉，树也会跟着变。”结果就是擦不干净，或者留下奇怪的痕迹。
PANDORA 的做法：它像是一个冷酷的接线员。当 AI 试图把“路人”和“背景”联系起来时，PANDORA 会直接切断它们之间最紧密的那几根“电话线”（注意力键值）。
比喻：就像你想把墙上的涂鸦擦掉，但涂鸦的颜料和墙壁粘得太紧。以前的方法是用铲子硬铲（容易把墙皮也铲掉）。PANDORA 的做法是，它直接告诉 AI：“别管那个涂鸦了，它和墙壁没关系了！”于是，AI 就放心大胆地把涂鸦抹去，用墙壁原本的颜色去填补空缺，因为 AI 不再认为涂鸦是墙壁的一部分了。

绝招二：局部注意力解耦引导 (LADG) —— “把迷路的小船推回安全航道”

问题：即使切断了联系，AI 在重新画背景时，可能还是会“犹豫”，不小心把路人的影子或者轮廓又画回来了（残留痕迹）。
PANDORA 的做法：它像是一个经验丰富的领航员。在 AI 重新绘制画面的过程中，PANDORA 会时刻盯着被擦除的区域，如果发现 AI 的笔触有点“想往回画”（想画出物体），它就会温柔但坚定地把 AI 的笔触推回到“干净背景”的轨道上。
比喻：想象你在迷雾中开车（AI 去噪过程），你要避开一个障碍物（被擦除的物体）。LADG 就像是一个智能导航，它不会让你往障碍物方向开，而是强行把方向盘往“空旷大道”的方向打，确保你最终开到的地方是干干净净的路面，而不是障碍物留下的坑。

3. 它能做什么？（超能力展示）

单挑：擦掉照片里的一个人。
群殴：擦掉一群鸟、一簇花，或者一堆相似的水果（以前这很难，因为 AI 容易搞混）。
一次搞定：不管是一堆东西还是单个东西，它只需要“跑”一次程序（单向前向传播），不需要反复修改。

4. 效果怎么样？

论文里做了很多测试，甚至找人来盲测（大家不知道哪张图是谁修的）。

结果：PANDORA 被选为“最佳作品”的概率最高（接近 50%）。
对比：以前的方法要么把背景弄得很假（像贴了个补丁），要么擦不干净（还有残影）。PANDORA 擦完后，背景看起来就像物体从未存在过一样自然。

总结

PANDORA 就像是一个不需要你教、不需要你写提示词、只要给个范围就能完美修图的“魔法橡皮擦”。它通过切断物体与背景的“错误联系”，并引导 AI 沿着“干净背景”的路线重新绘画，实现了目前最顶尖的“零样本”（Zero-Shot）物体移除效果。

简单来说：以前修图是“打补丁”，PANDORA 是“让物体从未存在过”。

PANDORA 论文技术总结

1. 研究背景与问题定义 (Problem)

任务定义：从自然图像中移除特定物体，并生成语义连贯、背景完整的填充内容。这超越了传统的图像修复（Inpainting），要求不仅消除目标，还要保持场景的语义逻辑和视觉流。

现有挑战：

纹理不一致与伪影：现有方法（如基于 Patch 的方法或 GAN）常导致填充区域与周围背景不自然融合，产生伪影。
前景 - 背景解耦困难：扩散模型（Diffusion Models）在移除物体时，往往难以彻底切断物体与背景的语义关联，导致物体残留或背景被错误修改。
多物体移除能力弱：现有的零样本（Zero-Shot）方法在处理多个物体或密集相似物体时，常出现移除不彻底或需要繁琐的提示词工程（Prompt Engineering）。
资源依赖：许多高性能方法依赖微调（Fine-tuning）或推理时的优化，计算成本高且难以推广到低资源场景。

2. 核心方法论 (Methodology)

PANDORA 提出了一种**零样本（Zero-Shot）**物体移除框架，直接在预训练的文生图扩散模型（如 Stable Diffusion）上运行，无需微调、无需提示词、无需推理时优化。其核心流程包含三个关键模块：

A. 背景保持适应模块 (Background Preservation Adaptation, BPA)

目的：确保非掩码（背景）区域在去噪过程中保持原样，不被修改。
机制：利用 DDIM 反演将输入图像映射到潜在噪声空间。在去噪步骤中，提取存储的中间潜在状态中的键（Key）和值（Value）特征，仅针对非掩码区域进行注意力计算，从而将原始背景的语义内容“注入”到编辑后的图像中，保持背景完整性。

B. 像素级注意力溶解 (Pixel-wise Attention Dissolution, PAD) - 核心创新

目的：在注意力层面彻底“溶解”物体信息，切断被掩码区域（物体）与前景强相关区域的语义联系。
机制：
1. 计算自注意力（Self-Attention）的 Logits。
2. 针对每个查询（Query）像素，识别与其相关性最强的 Top-k 个键（Keys）。
3. 基于百分位阈值（Percentile-based thresholding），将这些强关联的注意力权重设为 $-\infty$ （即切断连接）。
4. 效果：被掩码的查询像素不再关注物体本身，而是被迫关注背景上下文，从而实现物体的自然消除和背景的重建。

C. 局部注意力解耦引导 (Localized Attentional Disentanglement Guidance, LADG)

目的：在潜在空间（Latent Space）中引导去噪轨迹，进一步抑制残留伪影，确保重建区域平滑。
机制：
1. 构建一种空间门控机制，区分掩码区域和非掩码区域。
2. 在掩码区域内，混合“无条件”噪声预测（ $\epsilon_u$ ，代表无物体状态）和“有条件”噪声预测（ $\epsilon_c$ ）。
3. 通过引导权重 $\alpha_t$ ，将掩码区域的潜在分布推向“无条件”轨迹（即远离原始物体存在的状态），加速物体移除并减少伪影。

3. 主要贡献 (Key Contributions)

PANDORA 框架：首个无需微调、无需提示词、单次前向传播即可实现单物体及多物体（包括密集相似物体）移除的零样本框架。
PAD 模块：提出像素级注意力溶解机制，通过切断自注意力中相关性最强的键值对，实现了细粒度的物体信息消除和背景主导的重建。
LADG 模块：提出局部注意力解耦引导，通过空间感知的噪声预测引导，优化去噪轨迹，进一步消除残留伪影。
新基准数据集：构建了一个包含 75 个单物体、17 个多物体和 94 个密集相似物体样本的新基准数据集，用于全面评估物体移除性能。

4. 实验结果 (Results)

数据集与对比：在自建数据集及多个基准上，PANDORA 与 SOTA 方法（包括微调模型如 LaMa, PowerPaint 和零样本方法如 CPAM, Attentive Eraser）进行了对比。
定量指标：
- CLIP Score：PANDORA 在零样本方法中得分最高，表明其物体移除的语义彻底性最好。
- FID / LPIPS / MSE：在保持背景真实性和结构一致性方面表现优异，优于大多数零样本方法，且与部分微调方法相当。
- 消融实验：移除 PAD 会导致性能显著下降（物体移除不彻底）；移除 LADG 会导致轻微下降（伪影增加），证明了两个模块的协同作用。
定性结果：
- 在单物体、多物体及密集相似物体（如成群的鸟、花）场景中，PANDORA 能生成更自然、无伪影的背景。
- 相比其他方法，PANDORA 不会出现物体残留或背景纹理扭曲。
用户研究：在 20 名参与者的盲测中，PANDORA 的用户偏好率（UPR）高达 47.5%，远超第二名（Attentive Eraser, 22.0%）和其他微调方法，被公认为视觉效果最佳。

5. 意义与局限性 (Significance & Limitations)

意义：

高效性与通用性：打破了物体移除任务对微调数据和提示词工程的依赖，使得预训练扩散模型能直接用于复杂的编辑任务。
技术突破：通过操纵自注意力机制（切断强关联）和潜在空间引导，解决了扩散模型中“物体难以彻底消除”的痛点。
应用前景：为图像编辑、隐私保护（移除敏感物体）及内容创作提供了强大的零样本工具。

局限性：

掩码依赖：依赖准确的二值掩码，分割不精确会影响解耦质量。
阈值固定：PAD 中的 Top-k 百分比阈值是固定的，可能在某些极端情况下导致过度过滤或过滤不足（尽管实验表明 2-5% 效果最佳）。
未来方向：计划探索自适应阈值机制和自动区域选择，以进一步减少人工干预。

总结：PANDORA 通过创新的注意力溶解和局部引导机制，在零样本设置下实现了目前最先进的物体移除效果，为基于扩散模型的图像编辑开辟了新路径。