🤖 AI

Your Pre-trained Diffusion Model Secretly Knows Restoration

该论文揭示预训练扩散模型内蕴修复能力，通过提出一种基于扩散桥框架的不稳定提示学习新方法，直接优化文本编码器输出的提示嵌入，从而在不进行微调或添加控制模块的情况下，将预训练的 WAN 视频和 FLUX 图像模型转化为具有卓越泛化能力的通用图像修复模型。

原作者： Sudarshan Rajagopalan, Vishal M. Patel

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sudarshan Rajagopalan, Vishal M. Patel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个非常有趣的故事：那些原本用来“画画”的超级人工智能（扩散模型），其实私下里早就学会了“修图”，只是我们一直没找到打开这个技能的钥匙。

想象一下，你有一个超级天才画家（这就是预训练的扩散模型，比如 FLUX 或 WAN）。他看过世界上所有的名画，脑子里装满了关于“什么是美好画面”的知识。

1. 以前的困境：只会听“画什么”，不会听“怎么修”

以前，如果你想让这位画家帮你把一张模糊、有雾、或者被雨淋湿的照片修好，你会怎么做？

方法 A（微调）： 你让画家重新去上培训班，专门学修图。但这很贵，而且学完可能他就忘了怎么画新东西了（失去了原本的强大能力）。
方法 B（控制网）： 你给画家旁边加一个“助手”，专门负责指挥他怎么修。但这就像给画家加了个拐杖，虽然能走，但不够灵活，而且这个助手得专门训练。
方法 C（直接说话）： 你直接对画家说：“把雾去掉！”或者“把雨擦掉！”
- 结果： 画家很困惑。他虽然能听懂“画一朵花”，但他听不懂“把这张烂图修好”。如果你让他修图，他往往只是把噪点抹平，但雾还是雾，雨还是雨，图看起来还是脏脏的（就像论文图 1 和图 2 展示的那样）。

2. 核心发现：钥匙不在“语言”里，而在“感觉”里

作者发现了一个惊人的秘密：这位画家其实早就知道怎么修图！ 他的脑子里有修复图像的能力，只是我们之前的沟通方式（用文字提示词）太笨拙了，没传达对。

之前的尝试（Token 优化）： 我们试图通过优化“文字”本身（比如把“去雾”这个词换成更神秘的代码词）来唤醒画家。但这就像试图用错误的方言跟一个懂多种语言的人说话，他依然听不懂你的深层意图。
作者的突破（Embedding 优化）： 作者发现，如果直接调整画家大脑深处的“感觉向量”（也就是文字编码器输出的那个抽象的“感觉”，而不是具体的文字），画家瞬间就懂了！
- 比喻： 以前我们是用“文字指令”去指挥画家，现在我们是直接给画家的大脑“注入一种感觉”。这种感觉很微妙，就像你不需要告诉画家“怎么画”，而是直接让他感受到“这张图应该是清晰的”。一旦有了这种感觉，画家就能利用他原本强大的知识，自动把脏图变干净。

3. 遇到的新问题：训练和考试“穿帮”了

虽然找到了钥匙，但作者发现了一个新问题：训练时的环境和考试时的环境不一样。

训练时： 我们给画家看一张“脏图 + 一点点噪点”，让他猜“原图长啥样”。
考试时（推理）： 我们要从一张“很脏的图”开始，一步步把它变干净。
问题： 就像你教学生做题，训练时你只让他做“稍微有点难的题”，结果考试时突然给他一张“超级难的题”，学生就懵了，画出来的图会有奇怪的瑕疵（比如图 6 里的伪影）。这是因为训练的路径和实际修复的路径对不上。

4. 终极解决方案：搭建一座“桥梁”

为了解决这个问题，作者设计了一种**“桥梁训练法”**（Diffusion Bridge）。

比喻： 想象你要从“脏房子”走到“干净房子”。
- 以前的方法： 训练时，你让画家在“脏房子”旁边转圈；考试时，却要他直接走进“干净房子”。他当然会迷路。
- 作者的方法： 在“脏房子”和“干净房子”之间修一座平滑的桥。
  - 训练时，让画家走这座桥，从“有点脏”慢慢走到“很干净”。
  - 考试时，也让画家走这座桥。
- 效果： 这样画家在训练和考试时走的每一步路都是一样的，他就能稳稳地把脏图修好，而且修得非常自然、逼真。

5. 成果：轻量级、通用且强大

作者用这个方法，给两个超级大模型（FLUX 负责图片，WAN 负责视频）加上了这种“特制感觉提示词”（Prompt）。

不用重练： 不需要重新训练那个几十亿参数的超级大脑，只需要训练一点点小小的“提示词”（就像给画家戴了一副特制眼镜）。
什么都能修： 无论是去雾、去雨、去雪、去模糊，还是暗光增强，只要戴上对应的“眼镜”，画家就能搞定。
效果惊人： 在测试中，他们的效果比那些专门训练过的“修图专家”还要好，而且能处理很多以前没见过的复杂情况（比如混合了雨和雾，或者从未见过的屏幕反光）。

总结

这篇论文告诉我们：有时候，我们不需要给 AI 重新上课，只需要换一种更聪明的方式跟它沟通。

作者发现，预训练的大模型里藏着“修图”的超能力，只要通过直接调整大脑的“感觉”，并配合**“桥梁式”的训练路径**，就能把这种沉睡的能力唤醒。这就像给一个只会画画的魔术师，悄悄递了一张写着“修复咒语”的纸条，他瞬间就能把破布变成锦缎，而且不需要重新学习魔法。

这篇论文提出了一种名为 "Your Pre-trained Diffusion Model Secretly Knows Restoration" (你的预训练扩散模型 secretly 知道如何复原) 的新方法，旨在利用大型预训练文本到图像/视频（T2IV）扩散模型进行全功能图像/视频复原（All-in-One Restoration, AiOR）。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：预训练的扩散模型（如 Stable Diffusion, FLUX, WAN）在自然图像分布上拥有强大的先验知识，能够生成高质量内容。现有的全功能复原（AiOR）方法通常通过微调（Fine-tuning）整个骨干网络或引入ControlNet 风格的控制模块来利用这些先验。
现有方法的局限性：
- 微调：计算成本高，且容易过拟合训练数据分布，导致在真实世界复杂退化下的泛化能力减弱。
- 控制模块：需要额外的训练，且可能削弱预训练模型的原始先验。
- 编辑类方法（如 SDEdit, P2P）：直接利用自然语言提示（如“去雾”）或基于文本 Token 的优化（Textual Inversion）进行复原时，模型往往倾向于抑制噪声而非去除退化，导致输出图像退化为模糊的原始退化图像，无法有效恢复细节。
核心问题：预训练扩散模型是否隐含了复原知识？如果是，为什么现有的提示机制（自然语言或 Token 优化）无法激活它？如何在不微调骨干网络的情况下解锁这种能力？

2. 核心发现与方法 (Methodology)

2.1 核心发现：嵌入空间优化优于 Token 空间

作者发现，自然语言提示和Token 空间的提示优化（即优化输入给文本编码器的 Token 向量）都无法有效引导模型进行复原。

突破点：直接优化文本编码器输出空间的上下文嵌入（Context Embeddings）。
机制：作者冻结了预训练的扩散骨干网络（Backbone）和文本编码器，仅学习一个轻量级的提示向量 $p$ ，该向量直接作为条件输入到骨干网络（例如通过交叉注意力机制）。
结果：这种嵌入空间的优化成功激活了模型的复原能力，使其能将带噪的退化潜变量（Noisy Degraded Latents）映射回清晰的图像潜变量。

2.2 关键挑战：训练 - 推理轨迹不匹配 (Train-Test Trajectory Mismatch)

作者指出，简单的提示学习是不稳定的，原因在于训练和推理时的状态分布不一致：

训练过程：通常使用 $z_t = (1-t)z_{deg} + t\epsilon$ 构建状态，信号分量始终锚定在退化图像 $z_{deg}$ 上。
推理过程：扩散模型的反向采样需要从退化状态逐渐过渡到清晰状态 $z_{clean}$ ，中间状态的信号分量是 $z_{deg}$ 和 $z_{clean}$ 的混合。
后果：在训练中学到的提示 $p$ 从未见过推理过程中出现的“混合信号”状态，导致推理时出现伪影或复原失败。

2.3 解决方案：基于扩散桥（Diffusion Bridge）的训练

为了解决轨迹不匹配问题，作者提出在**扩散桥（Diffusion Bridge）**框架下训练提示：

构建中间状态：不再使用简单的加噪退化图像，而是构建从 $z_{deg}$ 到 $z_{clean}$ 的平滑过渡轨迹。
采用 EBR (Energy-Oriented Bridge) 策略：
- 使用一种单调的“噪声退化 $\to$ 清晰”的桥接公式： $z_t^{ebr} = (1-t)[\lambda(t)z_{clean} + (1-\lambda(t))z_{deg}] + t\epsilon$ 。
- 这种构造确保在训练初期，模型面对的是带有噪声的退化状态（允许强复原），随着时间推移逐渐过渡到清晰状态。
- 关键优势：这种构造使得训练时的中间状态分布与推理时的采样轨迹高度一致，消除了轨迹不匹配，使提示学习变得稳定且高效。

2.4 具体实现细节

残差提示注入：不是直接优化整个上下文嵌入，而是学习一个残差提示（Residual Prompt），将其加到“空文本（Null-text）”上下文上，并初始化为零门控。这提高了参数效率。
单模型多任务：针对每种退化类型（雾、雨、雪、低光、模糊）学习一个独立的提示向量。对于混合退化，通过采样时平均提示的预测速度来实现联合复原。
模型应用：在 WAN 1.3B（视频模型）和 FLUX 12B（图像模型）上进行了验证。

3. 主要贡献 (Key Contributions)

揭示隐藏能力：证明了预训练扩散模型内部蕴含强大的复原知识，但这种知识无法通过自然语言或 Token 优化访问，必须通过直接优化文本编码器输出的嵌入向量来解锁。
解决轨迹不匹配：识别并解决了提示学习中的训练 - 推理轨迹不匹配问题，提出了基于**扩散桥（特别是 EBR 风格）**的训练策略，确保优化动态与采样动态一致。
高效且通用的框架：提出了一种无需微调骨干网络、无需额外控制模块的轻量级方法。仅通过学习少量提示参数，即可在 FLUX 和 WAN 模型上实现 SOTA 级别的复原性能。

4. 实验结果 (Results)

数据集：在多种图像（去雾、去雨、去雪、去模糊、低光增强）和视频复原数据集上进行了测试，包括同分布（ID）、跨分布（OOD）以及混合/未见过的退化场景。
性能表现：
- 图像复原 (FLUX)：在 OOD 和混合退化测试中，性能与 AutoDIR, PixWizard, FoundIR 等 SOTA 方法相当甚至更优，特别是在感知质量（CLIPIQA, MUSIQ）和细节保持上表现突出。
- 视频复原 (WAN)：在视频去雾、去雨等任务上，超越了 ViWS-Net 和 AverNet 等专用视频复原模型，且在 DOVER 视频质量指标上表现优异，得益于 WAN 强大的时序先验。
消融实验：
- 证明了嵌入空间优化优于 Token 空间优化。
- 证明了EBR 桥接训练优于朴素训练和 DDBM 桥接训练（DDBM 在退化端附近方差过小，导致早期修正不足）。
- 确定了最佳起始噪声水平 $T_0 = 0.4$ 。

5. 意义与影响 (Significance)

范式转变：该方法挑战了“必须微调骨干或添加控制模块才能利用扩散模型进行复原”的传统观念，证明了**提示工程（Prompt Engineering）**在嵌入空间层面可以完全解锁预训练模型的复原潜力。
资源效率：相比微调数十亿参数的模型，该方法仅需训练极少量的参数（例如 FLUX 仅约 300K-900K 参数），极大地降低了计算成本和存储需求。
泛化能力：由于冻结了预训练模型，该方法保留了模型在大规模数据上学到的强大先验，因此在面对真实世界中复杂、未见过的退化（OOD）时，表现出极强的鲁棒性和泛化性。
通用性：该方法不仅适用于图像，也成功扩展到了视频领域，展示了其在多模态复原任务中的广泛适用性。

总结：这篇论文通过巧妙的提示嵌入优化和扩散桥轨迹对齐，成功“唤醒”了预训练扩散模型中沉睡的复原能力，提供了一种高效、通用且无需微调的新一代图像/视频复原解决方案。