🤖 AI

InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting

InverFill 提出了一种无需重训练且计算开销极低的单步反演方法，通过向初始噪声注入语义信息来解决少步扩散模型在图像修复中因随机初始化导致的对齐与保真度问题，从而在低采样步数下实现了媲美专用修复模型的高质量生成效果。

原作者： Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 InverFill 的新工具，它的核心目标是：让 AI 修图（填补图片缺失部分）变得既快又好，而且不需要重新训练复杂的模型。

为了让你轻松理解，我们可以把整个过程想象成**“修补一幅名画”**。

1. 背景：修图界的“慢工出细活”与“快修翻车”

传统的修图（多步扩散模型）：
想象一位老画家在修补一幅破画。他非常谨慎，先涂一点点颜料，退后看看，再涂一点点，再调整。这个过程（论文里叫“多步采样”）需要几十甚至上百次反复调整。虽然画得完美，但太慢了，等画好，黄花菜都凉了。
现在的“快修”技术（少步模型）：
为了追求速度，科学家发明了“快修画家”。他们只画 2 到 4 笔就试图完成修补。
问题出在哪？ 如果这位快修画家是闭着眼睛开始画的（也就是论文里说的“随机高斯噪声”），他第一笔下去可能完全偏离了原画的风格。因为时间太短，他来不及修正这个巨大的错误，导致修补出来的部分和周围背景格格不入，甚至出现奇怪的色块或模糊。

2. 核心问题：为什么“快修”会翻车？

这就好比你让一个只有一秒钟反应时间的画家去补画。

传统做法： 给他一张白纸，让他随机猜“这里应该画什么”。
结果： 因为猜得太随机，第一笔就错了，后面没时间改，最后画出来的东西和原来的画完全不搭调（语义不对齐）。

3. InverFill 的解决方案：给画家一张“作弊小抄”

InverFill 的核心思想是：不要给画家一张白纸，而是给他一张“倒推出来的底稿”。

什么是“一步反转”（One-Step Inversion）？
想象一下，我们不仅知道画是什么，还能通过一种魔法，瞬间把画“倒推”回它最开始的那张“底稿”（噪声）。
InverFill 就是这样一个魔法转换器。它看着那张残缺的画（被遮住了一部分的图），瞬间算出：“如果我要用快修画家来补全这张画，我应该从什么样的‘底稿’开始画，才能最完美地衔接？”
它是怎么做到的？（两个关键技巧）
1. 重新混合（Re-Blending）：
  以前直接倒推，会把没被遮住的部分（背景）的信息也“泄露”到被遮住的区域，导致画家分不清哪里该画什么。InverFill 像是一个聪明的过滤器，它把背景的信息保留好，但把被遮住区域的“底稿”重新填上随机的、干净的颜料，防止信息泄露。
2. 高斯正则化（Gaussian Regularization）：
  快修画家习惯了从一种特定的“随机噪声”开始画。如果给的底稿太奇怪，画家会晕。InverFill 会强行把底稿调整成画家最熟悉的“标准随机噪声”格式，确保画家能发挥得最好。

4. 效果如何？

速度极快： 它只需要增加0.06 秒的时间（比眨眼还快），就能让原本只有 2-4 步的快修模型，画出原本需要 30 步才能达到的效果。
无需重训： 它不需要重新训练那个庞大的 AI 模型，就像给现有的汽车换了一个更聪明的导航仪，车还是那辆车，但开得更好了。
效果惊艳： 修补出来的部分，和原来的背景完美融合，没有生硬的边缘，也没有奇怪的纹理。

5. 总结：一个生动的比喻

如果把图片修复比作做一道复杂的菜：

传统慢修： 厨师慢慢切菜、慢慢炒，味道好但太慢。
普通快修： 厨师想 10 秒钟做完，但他直接往锅里扔了一堆随机调料，结果做出来的菜很难吃，和原来的汤底不搭。
InverFill： 它不是教厨师怎么炒菜，而是提前帮厨师把调料配好。它告诉厨师：“虽然你只有 10 秒钟，但只要你从这个特定的、完美的调料包开始下锅，你做出来的菜就能和慢工细活一样好吃。”

一句话总结：
InverFill 就像是一个**“预知未来的导航仪”**，它让 AI 在修图时，不再盲目地从零开始猜测，而是直接站在“正确的起点”上，用极短的时间画出最完美的修补效果。

InverFill 技术总结

1. 研究背景与问题 (Problem)

背景：
基于扩散模型（Diffusion Models）的图像修复（Inpainting）技术虽然在生成逼真图像方面表现出色，但通常需要大量的采样步数（NFEs），导致推理延迟高，难以在实际应用中部署。虽然现有的“少步数”（Few-step）文本生成图像模型（如 SDXL-Turbo, SANA-Sprint）能显著加速生成，但直接将它们应用于图像修复任务时效果不佳。

核心问题：

语义错位与伪影： 传统的少步数修复方法通常采用“混合采样”（Blended Sampling）策略，即从随机高斯噪声开始，并在去噪过程中将已知区域（未掩码区域）的潜变量与生成区域混合。然而，在少步数（如 2-4 步）设置下，每一步的去噪更新幅度巨大。由于初始噪声是随机高斯分布，缺乏对未掩码区域语义和结构的先验信息，导致生成内容与背景之间出现严重的语义错位、视觉不协调以及伪影。
现有方案的局限性：
- 多步模型： 多步模型可以通过逐步去噪来修正初始噪声的随机性，但速度慢。
- 现有少步数修复模型（如 TurboFill）： 虽然有效，但通常依赖复杂的对抗训练、需要真实图像监督（Real-image supervision）以及针对特定架构（如 UNet）设计，泛化性差且计算成本高。
- 直接应用编辑工具（如 SwiftEdit）： 现有的单步反转（One-step inversion）方法主要针对图像编辑设计，直接用于修复会导致信息泄露（可见区域信息泄露到掩码区域）以及反转后的潜变量不符合扩散模型所需的高斯先验分布。

2. 方法论 (Methodology)

作者提出了 InverFill，一种专为图像修复设计的**单步反转（One-step Inversion）**方法。其核心思想是用“语义对齐的初始噪声”替代随机高斯噪声，从而在极少的采样步数内实现高质量的修复。

2.1 核心组件：掩码图像反转网络

InverFill 训练了一个轻量级的反转网络 $F_\theta$ ，该网络直接接收掩码图像（Masked Image）和文本提示，输出一个初始噪声潜变量 $\hat{z}_T$ 。

2.2 关键技术创新

为了解决直接应用反转网络带来的问题，InverFill 引入了以下三个关键机制：

Re-Blending（重混合）操作：
- 问题： 如果直接训练网络从掩码图像预测整个噪声潜变量，网络会倾向于从可见区域“泄露”信息到掩码区域，导致掩码区域的噪声方差过低，破坏扩散模型的分布假设。
- 方案： 在训练和推理过程中，将预测出的噪声潜变量 $\hat{z}_T$ 中对应掩码（Mask）的部分替换为随机高斯噪声 $\epsilon'$ 。
- 公式： $\hat{z}^{blend}_T = \hat{z}_T \odot (1-m) + \epsilon' \odot m$ 。
- 作用： 防止信息泄露，同时恢复掩码区域的随机性，使其更接近扩散模型预期的分布。
高斯正则化损失 (Gaussian Regularization Loss, $L_{reg}$ )：
- 问题： 仅靠 Re-Blending 和图像重建损失，无法保证混合后的潜变量 $\hat{z}^{blend}_T$ 完全符合标准高斯分布，导致生成图像背景模糊或细节丢失。
- 方案： 引入矩匹配损失（Moment-matching loss），强制 $\hat{z}^{blend}_T$ 的统计矩（均值和方差）与标准高斯分布的理论矩对齐。
- 作用： 确保反转后的噪声符合扩散模型的先验假设，显著提升重建的稳定性和图像质量。
无图像监督的训练流程 (Image-free Training)：
- 数据合成： 不需要真实的“图像 - 掩码 - 文本”三元组数据集。利用预训练的少步数生成模型，随机采样文本和噪声生成图像，再随机生成掩码来构建训练数据。
- 优势： 避免了昂贵的数据收集和清洗成本，且训练过程无需多阶段优化。

2.3 推理流程

输入掩码图像和文本提示。
通过训练好的反转网络 $F_\theta$ 生成初始噪声潜变量 $\hat{z}_T$ 。
执行 Re-Blending 操作，得到 $\hat{z}^{blend}_T$ 。
将 $\hat{z}^{blend}_T$ 作为输入，送入现有的少步数文本生成图像模型（如 SDXL-Turbo）进行标准的混合采样（Blended Sampling），仅需 2-4 步即可生成最终图像。

3. 主要贡献 (Key Contributions)

InverFill 框架： 提出了首个专为少步数图像修复设计的单步反转网络，通过生成语义对齐的初始噪声，解决了少步数修复中的语义错位问题。
Re-Blending 操作： 创新性地提出该操作以解决掩码训练中的信息泄露问题，同时保留关键语义信息。
高斯正则化损失： 引入矩匹配损失，确保反转噪声符合扩散模型的高斯先验，显著提升了生成质量和稳定性。
极简训练范式： 实现了完全无真实图像监督（Image-free）的训练流程，无需复杂的三元组数据或微调，即可让通用的少步数文生图模型具备高质量的修复能力。
性能与效率的平衡： 在几乎不增加推理延迟（仅增加约 0.04-0.06 秒）的情况下，使少步数模型的修复效果达到甚至超越多步数专用修复模型的水平。

4. 实验结果 (Results)

实验在 BrushBench 和 MagicBrush 等基准数据集上进行，对比了 SANA-Sprint 和 SDXL-Turbo 等少步数模型。

定量指标提升：
- 在 BrushBench 上，SANA-Sprint (2 步) + InverFill 的 ImageReward (IR) 从 11.02 提升至 11.65，HPS 从 26.21 提升至 27.93。
- 在 MagicBrush 上，IR 从 2.55 提升至 3.04。
- 即使结合专用修复模型（如 BrushNet），InverFill 也能进一步提升其性能（例如 SDXL-Turbo + BrushNet + InverFill 在 IR 上达到 12.63）。
- 在文本对齐度（CLIP Score）上也有显著提升。
效率对比：
- InverFill 仅增加 0.04-0.06 秒 的推理开销（在 A100 GPU 上）。
- 相比传统的 50 步 DDIM 反转方法，InverFill 速度快近 6 倍（0.74s vs 4.32s），且质量更高。
定性效果：
- 生成的图像在背景融合度、纹理细节和语义一致性上显著优于直接应用 Blended Sampling 的少步数模型。
- 能够处理复杂的长文本提示（Enhanced Prompts），展现出强大的文本理解能力。
泛化性： 在 FFHQ 和 DIV2K 等不同数据集和掩码形状上均表现出鲁棒性。

5. 意义与影响 (Significance)

打破效率与质量的权衡： InverFill 证明了通过改进初始化策略（从随机噪声转向语义对齐噪声），可以在极少的采样步数下实现高质量的图像修复，无需重新训练庞大的扩散模型或进行复杂的微调。
降低应用门槛： 其“无图像监督”和“即插即用”的特性，使得现有的少步数文生图模型可以迅速转化为强大的修复工具，极大地降低了实时图像编辑和修复的部署成本。
推动少步数扩散模型发展： 为少步数扩散模型在特定下游任务（如修复、编辑）中的应用提供了新的范式，即通过“语义感知的初始化”来弥补步数减少带来的信息损失。

总结来说，InverFill 通过巧妙的单步反转设计和正则化策略，成功解决了少步数扩散模型在图像修复任务中的核心痛点，实现了速度与质量的双重突破。