🤖 AI

Dual Inversion for Text-to-Image Diffusion Models: From Both Prompt and Noise Perspectives

本文提出了 Dualin，一种两阶段反转方法，该方法通过共同恢复人类可解释的文本提示词和目标图像的精确潜噪声，旨在克服现有技术的局限性，并实现具有可控编辑能力的先进图像保真度。

原作者： Xiaolong Liu, Junjian Li, Yuan Xiao, Jiaqi Deng, Dayong Ye, Tianqing Zhu, Huan Huo

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaolong Liu, Junjian Li, Yuan Xiao, Jiaqi Deng, Dayong Ye, Tianqing Zhu, Huan Huo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试逆向工程一个神奇的食谱。你面前有一个美味的蛋糕，你的目标是弄清楚究竟该如何再次烘焙出它。在计算机科学领域，特别是在一个被称为“计算机视觉”的领域中，存在着一些被称为“文本生成图像扩散模型”的神奇程序。这些模型就像是极其才华横溢的厨师，只要你给出正确的文本指令（提示词），它们就能烘焙出任何你描述的蛋糕。但如果你想反向操作呢？如果你有一个特定的、完美的蛋糕（图像），而你想知道究竟使用了哪些文本指令来制作它？这被称为“提示词反转”（prompt inversion）。

长期以来，科学家们试图通过观察蛋糕并猜测食谱来解决这个问题。有些人尝试通过数学方式调整食谱中的词汇，直到它们相匹配，但结果往往很混乱，就像一个写着“加入面粉！！和 zardoz”的食谱。有些人尝试编写清晰、人类可读的食谱，但当他们尝试用这些词再次烘焙蛋糕时，结果看起来与原图完全不同——它缺失了特定的纹理、光影和微小的细节。一个大问题是：为什么即使食谱词汇看起来是对的，蛋糕看起来却还是不一样？答案在于一个大多数人忽略了的隐藏成分： “噪声”。请不要把这种噪声看作垃圾，而要把它看作决定蛋糕精确形状和结构的特定随机火花。如果没有捕捉到那个火花，无论你的食谱词汇多么出色，你也无法完美地重现这个蛋糕。

本文介绍了一种名为 Dualin（双重反转）的新方法，它通过同时观察两样东西来解开这个谜题：食谱（文本提示词）和隐藏的火花（噪声）。研究人员认为，试图仅通过猜测文本来逆向工程一张图像，就像仅通过描述油漆颜色来重建一座房子一样；你会错过蓝图。他们的方法是一个两步走的舞蹈。首先，他们使用一组聪明的 AI 工具——一个视觉语言模型来描述场景，一个 CLIP 系统来寻找合适的艺术关键词，以及一个大语言模型来编写一份完美的、人类可读的食谱。但他们并未止步于此。在第二步中，他们执行了一种特殊的“噪声反转”。这就像是倒带烘焙过程，以找到创造了该蛋糕独特结构的精确随机火花。

通过将完美的食谱与精确的火花相结合，Dualin 可以以惊人的准确度重现原始图像。作者在数千张图像上测试了该方法，发现其产生的人物图像与原图几乎一模一样，比以往的方法要好得多。他们还从数学上证明了这种技术可以实现精确的编辑。因为“火花”（噪声）承载着结构，而“食谱”（提示词）承载着意义，所以你可以通过改变食谱将猫换成狗或改变背景，而新图像将保持与原图完全相同的布局和光影。论文指出，这种双重方法是解锁真正可控且高质量图像编辑的关键，它超越了仅仅猜测单词，而是走向了理解这些图像是如何被制造出来的完整魔力。

技术摘要：用于文本生成图像扩散模型的双重反转（Dual Inversion）

问题陈述

文本生成图像（T2I）扩散模型已成为生成式人工智能的核心，然而，通过逆向工程这些模型来恢复生成目标图像的具体文本提示词（Prompts）和潜在条件（Latent Conditions）仍然是一个重大挑战。现有的**提示词反转（Prompt Inversion）**方法存在两个主要局限性：

基于梯度的方法（例如 PEZ, PH2P）通常优化连续的嵌入（Embeddings），当这些嵌入被投影回离散词表时，会导致产生不稳定的、不可解释的“乱码”提示词以及带有严重伪影的图像。
无梯度方法（例如 BLIP-2, VGD）虽然能生成人类可读的提示词，但无法保持极高的视觉保真度。它们缺乏细粒度的细节对齐，导致生成的图像在结构和纹理上与目标图像存在显著偏差。

作者认为，这些局限性源于将提示词反转视为逆向工程的充分条件，从而忽略了**潜在噪声（Latent Noise）**的关键作用。在 T2I 扩散模型中，噪声编码了结构信息和空间布局。仅依赖语义提示词不足以实现可靠的重建，因为在相同的提示词下，不同的噪声样本会产生截然不同的图像。

方法论：Dualin

本文提出了 Dualin（双重反转），这是一个两阶段框架，旨在同时恢复目标图像的语义提示词和潜在噪声。该方法将逆向工程过程解耦为两个互补的阶段。

第一阶段：提示词反转

其目标是生成一个忠实的、人类可理解的“硬提示词”（Hard Prompt, $P^*$ ），以反映目标图像的语义。该阶段采用了一个三步流水线：

语义内容提取： 利用预训练的视觉语言模型（VLM）从目标图像中提取核心语义内容（ $P'$ ），并将其约束在关注视觉内容上，以避免幻觉出艺术风格。
零样本概念检索： 为了捕捉 VLM 经常遗漏的特定审美属性（如光照、风格、渲染引擎），该阶段使用一个基于 CLIP 的“询问器”（Interrogator）模块从预定义的“概念库”中检索关键词。它计算目标图像与候选标签之间的 CLIP 余弦相似度，以选择前 $k$ 个风格化关键词（ $K$ ）。
提示词生成与选择： 大语言模型（LLM）充当合成器，将语义内容（ $P'$ ）与风格化关键词（ $K$ ）融合为一组候选提示词。随后，通过一个判别器引导的选择机制，选出最终的提示词（ $P^*$ ），使其与目标图像的 CLIP 相似度最大化。

第二阶段：噪声反转

一旦完成提示词反转，该方法便执行无条件 DDIM 反转，以重建对应于目标图像的精确潜在噪声（ $x^*_T$ ）。

从目标图像的潜在表示（ $x_0 = E(I)$ ）开始，在不依赖任何文本提示词进行约束的情况下，反转扩散轨迹。
这一过程恢复了特定的噪声向量，该向量与反转后的提示词结合时，能够高保真地重建目标图像。

理论基础：解耦与可编辑性

论文提供了关于无条件噪声反转**解耦特性（Decoupling Property）**的理论证明（定理 4.1）。它证明了反转后的噪声 $x^*_T$ 与提示词 $P$ 是独立的。因此，生成的图像 $x_0(P)$ 可以分解为无条件重建结果以及由提示词引入的偏移量。

推论 4.2（可编辑性）： 通过固定反转后的噪声 $x^*_T$ 并修改提示词 Token，用户可以进行精确的图像编辑（例如主体替换、风格迁移），而无需重新优化噪声或重新进行图像反转。

核心贡献

识别噪声的重要性： 作者证明了仅靠提示词反转无法可靠地实现高保真图像重建；潜在噪声对于编码结构信息至关重要。
Dualin 框架： 一种新型的两阶段方法，通过将逆向工程解耦为提示词反转（使用 VLM、CLIP 和 LLM）和噪声反转（使用无条件 DDIM）。
理论证明： 通过形式化证明展示了无条件噪声反转如何通过将空间布局与语义内容解耦，从而实现可控的图像编辑。
达到先进水平（SOTA）的性能： 广泛的实验表明，Dualin 在提示词可解释性和图像重建保真度方面均优于现有方法。

实验结果

作者在多种 T2I 模型（Stable Diffusion V1.5, SDXL, PixArt- $\alpha$ ）上，在多样化的数据集（MS COCO, LAION, DiffusionDB）上对 Dualin 进行了评估。

定量指标： Dualin 在所有指标上均取得了领先的结果。
- 提示词对齐度 (CLIP-T)： Dualin 在 MS COCO 上得分 0.351，显著优于表现最好的基准方法（VGD 为 0.282）。
- 图像保真度 (CLIP-I)： Dualin 在 MS COCO (SD-V1.5) 上达到了 0.906 的得分，而 VGD 为 0.804。
- 结构保持能力： Dualin 在 SSIM（0.627 对比 VGD 的 0.212）和感知相似度（LPIPS）方面表现出巨大的提升。
LLM 评估： 使用 GPT-4o 和 Gemini 3.0 作为专家评估器，Dualin 在提示词对齐度（ $S_p$ ）和图像对齐度（ $S_i$ ）方面均获得了最高分，证实了其捕捉语义细微差别和视觉细节的能力优于基准方法。
消融实验： 移除提示词反转阶段或噪声反转阶段中的任何一个，都会导致性能出现灾难性下降，验证了这两个组件的必要性。
效率： 虽然由于噪声反转阶段的存在，其速度略慢于某些无梯度基准方法，但 Dualin 仍显著快于基于梯度的优化方法（18.73秒对比 PH2P 的 35,293秒）。

意义与主张

本文声称 Dualin 为精确且可控的图像编辑建立了稳健的基础。通过成功地将高层语义（由提示词处理）与底层结构信息（由噪声处理）解耦，Dualin 允许进行诸如主体替换、背景编辑和风格迁移等操作，而无需进行大规模的重新优化。作者断言，他们的方法弥合了提示词可解释性与重建保真度之间的鸿沟，为 T2I 扩散模型的逆向工程提供了一个可靠的解决方案。