🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

本文提出了 VIPaint，这是一种分层变分推断算法，通过优化真实扩散后验的非高斯马尔可夫近似，实现了高质量、多样化的图像修复及其他逆问题求解，从而有效解决了现有方法在处理大面积掩蔽区域和潜在扩散模型方面的局限性。

原作者： Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一张精美的高分辨率照片，但有人用巨大的、凌乱的记号笔涂画了其中很大一部分。你想修复它，却不知道涂鸦下面原本是什么。那是一只猫？一辆车？还是一座山？

这就是图像修复（image inpainting）所面临的问题。长期以来，计算机在填补这些巨大的缺失区域时，往往会让画面变得模糊、怪异或完全错误。

现在，VIPaint 登场了，这是本文介绍的一种新方法。不要把 VIPaint 想象成一个只会猜测的画家，而要把它看作一位超级聪明的侦探，它利用庞大的“如果……会怎样”的图书馆来解决缺失像素的谜团。

以下是其工作原理的简化概念分解：

1. “魔法图书馆”（预训练扩散模型）

首先，想象一台计算机花费数年研究了数百万张照片。它学会了世界呈现的“规则”：猫的耳朵如何连接到头部、云朵在天空中如何分布，或者车轮如何契合车身。在论文中，这被称为扩散模型（Diffusion Model）。

把这个模型想象成一座魔法图书馆，收藏了所有可能存在的图像。如果你让它画一只“猫”，它确切知道猫长什么样，因为它之前已经见过所有的猫。

2. 旧方法的问题（“猜谜游戏”）

以前的方法试图通过猜测、查看结果，然后尝试将其推回照片可见部分的方式来修复被涂画的照片。

论文指出，这就像在黑暗的房间里行走：迈一步，绊一下，然后希望不要撞到墙。如果缺失的部分很大（比如整张脸），这些旧方法往往会迷失方向。它们可能会用猫头填补空洞，但身体却看起来像狗，或者颜色与房间其余部分不匹配。它们在填补细节的同时，难以保持“大局”的一致性。

3. VIPaint 的秘密武器：“分层地图”

VIPaint 通过一种称为变分推断（Variational Inference）的技术改变了游戏规则。VIPaint 不只是猜测最终图像，而是构建一张分层地图（逐步指南），以此在魔法图书馆中导航。

以下是类比：

旧方法试图直接从“纯噪声”（静电）跳到“最终图像”。它们经常绊倒并摔成一团乱麻。
VIPaint 则在沿途的多个“检查点”停下。想象你正在下山寻找一个隐藏的山谷（缺失的图像）。
- 检查点 1（高处）： 你观察大局。“好吧，这肯定是一片森林，而不是城市。”
- 检查点 2（中途）： 你看到了树木。“好吧，这些是松树，不是棕榈树。”
- 检查点 3（接近底部）： 你看到了具体的树枝和树叶。

VIPaint 同时优化这些检查点。它确保“大局”（森林）与“小细节”（松针）相匹配，并且确保所有内容与照片中未被涂画的部分保持一致。

4. 为何它更出色（“可塑的黏土”）

论文声称 VIPaint 之所以特殊，是因为它将缺失的图像视为可塑的黏土，而不是僵硬的雕像。

不确定性： 如果照片中有一个大洞，答案并不只有一个正确的。可能是一只猫、一只狗或一只狐狸。VIPaint 理解这一点。它不强迫计算机立即只选择一个“正确”答案。相反，它保持选项开放（即“不确定性”），直到从图像的可见部分收集到足够的线索来缩小范围。
零样本学习（Zero-Shot Learning）这是一个重大突破。VIPaint 不需要针对每种新类型的照片重新训练。它采用预训练的“魔法图书馆”（例如用于 Stable Diffusion 的那个），并立即将其调整以适应你特定的涂画照片。这就像一位主厨，无需先去烹饪学校，就能利用你刚刚递给他的食材为你做出一顿完美的饭菜。

5. 结果：锐利、真实且多样

论文在多种场景下测试了 VIPaint：

填补巨大空洞： 即使图像缺失了 50-80%，VIPaint 也能填入与图片其余部分相匹配的逼真细节。
修复模糊照片： 它还能锐化模糊图像（去模糊）或将小照片放大（超分辨率）。
文本到图像： 即使在使用最先进的文本引导图像生成器（如 Stable Diffusion 3.5）时，它也能发挥作用，生成的图像不仅锐利，而且在整体上合乎逻辑。

总结：
VIPaint 是一种修复破损或被涂画照片的新方法。它不是盲目猜测，而是利用一种智能的、逐步的策略来导航庞大的图像知识库。它同时检查“大局”和“小细节”，确保最终结果逼真、锐利且一致，即使图像的大部分缺失也能做到。这一切都无需重新训练，使其成为修复图像的强力“即插即用”工具。

以下是论文《VIPaint: 基于变分推断与预训练扩散模型的图像修复》的详细技术总结。

1. 问题陈述

本文探讨了利用预训练扩散模型（DMs），特别是潜在扩散模型（LDMs）（如 Stable Diffusion），解决图像修复（填充图像中缺失或掩蔽区域）的挑战。

核心难点：虽然扩散模型擅长从噪声中生成新颖图像，但使其基于受损或部分观测图像（即修复任务）进行条件生成并非易事。目标是从真实的条件后验分布 $p(x|y)$ 中采样，其中 $y$ 是观测到的（掩蔽的）图像， $x$ 是完整图像。
现有方法的局限性：
- 启发式/迭代方法：RePaint、CoPaint 和 DPS（扩散后验采样）等方法通常依赖迭代细化或“时间旅行”启发式策略。当大面积区域被掩蔽时，这些方法往往无法捕捉全局结构，导致结果不连贯或不真实。
- 变分方法（REDdiff）：之前的变分推断尝试（例如 REDdiff）通常使用简单的高斯近似，在无噪声水平（ $t=0$ ）下优化单张图像。这种方法无法捕捉不确定性，容易在优化过程中出现不稳定（特别是在低噪声区域），且难以泛化到潜在扩散模型（LDMs）。
- 训练需求：许多最先进的方法需要在特定数据集或掩蔽上对生成模型进行微调，这不仅计算成本高昂，而且阻碍了其在新技术任务上的“零样本”（zero-shot）应用。

2. 方法论：VIPaint

作者提出了VIPaint，这是一种**分层变分推断（VI）**算法，将预训练的扩散模型视为先验。VIPaint 不是优化单张图像，而是优化多个噪声水平下潜在变量的分布。

A. 分层变分后验

VIPaint 定义了真实扩散后验的非高斯、马尔可夫近似。它在反向扩散轨迹中引入了一组 $K$ 个“关键点”（中间时间步） $\{h(1), \dots, h(K)\}$ （其中 $h(K)$ 为高噪声， $h(1)$ 为低噪声）。

变分分布定义如下：
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

结构：
- 高噪声（ $h(K)$ ）：建模为因子化高斯分布。
- 中间/低噪声：建模为高斯分布，其均值是先验扩散预测（来自预训练模型）与针对特定图像的可学习变分参数的凸组合。
- 方差：方差是可学习的且针对特定维度，允许模型在掩蔽区域动态增加不确定性，同时在观测区域保持确定性。

B. 目标函数

VIPaint 优化观测值 $y$ 的边缘似然的变分下界。损失函数包含三项：

重建损失：确保在最低噪声水平（ $h(1)$ ）生成的样本与观测像素 $y$ 一致。这通过一步去噪预测进行近似。
先验损失：正则化最高噪声水平（ $h(K)$ ），使其与高噪声区域中扩散先验编码的全局语义对齐。
分层损失：确保层级中相邻关键点之间的一致性，捕捉中层图像细节和结构。

C. 优化与采样

优化：变分参数 $\lambda$ （均值、方差和混合权重）使用梯度下降（Adam）针对每张图像进行优化。关键在于，此过程无需退火（损失函数使用随机时间采样），这提供了无偏界，并避免了那些从 $T$ 退火到 $0$ 的方法中常见的不稳定性。
采样：优化后，通过以下方式生成多样化的重建结果：
1. 祖先采样：从优化后的分层后验中，从 $h(K)$ 向下采样至 $h(1)$ 。
2. 细化：利用预训练的去噪网络，在似然梯度的引导下（类似于 DPS，但从更优初始化的后验开始），进一步将样本从 $h(1)$ 细化至 $t=0$ 。

3. 主要贡献

分层非高斯近似：与以往在单一点（ $t=0$ ）近似后验的变分推断方法不同，VIPaint 对跨越噪声层级分布的后验进行建模。这使其能够同时捕捉全局语义（在高噪声下）和局部细节（在低噪声下）。
零样本适应：VIPaint 无需对预训练扩散模型进行微调。它通过为每个查询优化变分参数来使模型适应新的掩蔽和图像，使其适用于任何预训练的扩散模型（基于像素或基于潜在空间）。
稳定性与不确定性建模：通过在主要优化阶段避开低噪声区域（该区域去噪网络非平滑且不稳定）并显式建模方差，VIPaint 能够生成反映缺失数据不确定性的多样化、合理的填补结果。
对 LDMs 的泛化：该方法明确设计用于与潜在扩散模型配合工作，能够以比基于像素的方法更低的计算成本实现高分辨率修复（例如 1024x1024）。

4. 实验结果

作者在 ImageNet64、ImageNet256、LSUN-Churches 和 Stable Diffusion 3.5（文本条件）上评估了 VIPaint。

定量性能：
- 大掩蔽区域：在图像 40-80% 的大面积掩蔽区域上，VIPaint 在 PSNR、SSIM 和 LPIPS 指标上显著优于基线方法（DPS、RePaint、CoPaint、REDdiff）。
- 文本条件模型：在 Stable Diffusion 3.5 上，VIPaint 实现了更优的 PSNR（26.69 对比 DPS 的 25.22）和 LPIPS（0.050 对比 0.061），生成了保留精细细节的全局连贯图像。
- 其他逆问题：该方法在去模糊和超分辨率方面也表现出强劲性能，优于 PSLD 和 ReSample 等专用基线。
定性性能：
- 视觉结果显示，VIPaint 生成的结构具有全局连贯性（例如一致的对象形状和光照），而其他方法则产生模糊或不连贯的伪影。
- 它能够成功为同一张掩蔽图像生成多种多样化的合理补全结果，展示了其建模后验多模态性质的能力。
效率：
- VIPaint 计算效率高。对于 $K=2$ ，优化过程仅需约 150 次去噪网络调用（相比之下，基于采样的方法需要 1000 次以上），在提供更高质量的同时比许多基线方法更快。

5. 意义

VIPaint 代表了扩散模型在逆问题领域的重大进步。通过从启发式采样或单点优化转向原则性的分层变分推断框架，它解决了大面积掩蔽修复中全局不连贯的关键问题。

其能够与最先进的基础模型（如 Stable Diffusion 3.5）进行零样本协作而无需重新训练，使其成为现实世界图像编辑、恢复和补全任务中极具实用价值的工具。它架起了变分推断的理论严谨性与现代生成式 AI 的实际能力之间的桥梁。