技术摘要：ViDiT (用于扩散模型的视觉方向转移)

问题陈述

尽管去噪扩散模型 (DDMs) 和潜在扩散模型 (LDMs) 在生成高保真图像方面取得了飞速进展，但实现对特定属性的精确、解耦控制仍然是一个重大挑战。目前的工作流过度依赖于人工构建的文本提示词来引导编辑。然而，自然语言存在“描述瓶颈”：它往往过于粗糙，无法捕捉细微的视觉差异或“增量”（例如，微妙的纹理变化、精确的面部结构改变或特定的艺术风格），而这些差异在图像对中清晰可见，却难以用文字表达。

此外，不同于具有易于进行线性语义操作的结构化潜在空间的生成对抗网络 (GANs)，扩散模型的递归噪声估计过程非常复杂，这使得发现解耦的潜在方向变得十分困难。现有方法通常需要大量的微调、针对单张图像的优化或大规模训练数据，从而限制了其可扩展性和在多样化领域中的适用性。

方法论：ViDiT

作者提出了 ViDiT (Visual Direction Transfer for Diffusion)，该框架旨在通过直接从图像-编辑对中学习连续的编辑方向，来扩展预训练扩散模型的编辑词汇量，从而绕过对文本描述的需求。

核心原理：“学习一次，随处编辑”

ViDiT 的运行基于这样一个原则：从一小组“修改前与修改后”的图像对中学习一个单一的、全局的且连续的编辑方向 ($d$)。一旦完成优化，该方向即可零样本 (zero-shot) 地应用于任何图像（真实世界、艺术或合成图像），无需对基础模型进行微调或进行针对单张图像的优化。

技术框架

该方法在扩散模型的条件空间（通常是文本嵌入空间）内优化方向 $d$，并使用双重目标损失函数。在整个训练过程中，去噪网络 ($\epsilon_\theta$) 和视觉-语言编码器 ($E_I$) 保持冻结；只有 $d$ 会被更新。

1. 语义对齐损失 ($\mathcal{L}_{sem}$):
   该损失利用冻结的视觉-语言编码器（如 CLIP），确保方向 $d$ 在特征空间中与编辑后的图像 ($x'$) 几何对齐，并与原始图像 ($x$) 几何失配。它作为一个全局语义锚点：
   $$\mathcal{L}_{sem} = 1 - \text{cossim}(E_I(x'), \mathbf{d}) + \text{cossim}(E_I(x), \mathbf{d})$$
   虽然这种损失对于高层级概念有效，但它缺乏空间分辨率，可能导致纠缠的编辑（例如，在编辑胡须时改变肤色）。

2. 潜在对齐损失 ($\mathcal{L}_{latent}$):
   为了捕捉细粒度的结构细节并强制执行像素级的对应关系，ViDiT 利用了扩散模型原生的预测空间。它最大化在随机时间步下，加噪后的编辑图像 ($x'_t$) 与加噪后的原始图像 ($x_t$) 之间噪声预测的差异：
   $$\mathcal{L}_{latent} = -\mathbb{E}_{x_0, \epsilon, t} [ ||\epsilon_\theta(x_t', \mathbf{d}) - \epsilon_\theta(x_t, \mathbf{d})||_2^2 ]$$
   这一项将方向锚定在模型的稠密、空间对齐的特征空间中，从而保留了高频身份线索，如毛囊、镜面反射和皮肤纹理。

推理与应用

• 方向注入： 在推理期间，学习到的方向 $d$ 取代了分类器自由引导 (CFG) 公式中的标准文本条件残差。噪声预测受以下公式引导：
  $$\bar{\epsilon}_\theta(x_t, c, \mathbf{d}) = \tilde{\epsilon}_\theta(x_t, c) + \lambda_e (\epsilon_\theta(x_t, \mathbf{d}) - \epsilon_\theta(x_t, \phi))$$
  其中 $\lambda_e$ 控制编辑强度。
• 真实图像编辑： 对于真实世界的照片，输入图像首先通过 DDPM 反转 (Inversion) 进入模型的潜在轨迹。随后在反向去噪过程中注入方向 $d$。
• 可组合性： 多个独立学习的方向可以在推理时进行加性组合，从而实现复杂的多属性编辑，同时保持解耦性。

核心贡献

1. 通用框架： 一种通过视觉示例学习连续编辑方向的方法，在不微调基础模型的情况下扩展了预训练扩散模型的词汇量。
2. 来源无关性： 展示了从多种来源（包括无条件生成空间 StyleGAN2、领域自适应模型 StyleGAN-NADA 以及基于扩散的编辑器 Prompt2Prompt）转移方向的通用性。
3. “随处编辑”能力： 能够以零样本方式对任何图像（面部、动物、艺术风格、真实照片）应用细粒度、解耦的编辑，并能对强度进行精细控制。
4. 卓越的解耦性： 与最先进的基于文本和指令遵循的方法相比，实现了更好的身份保持和属性隔离。
5. 开源： 作者发布了源代码以促进进一步研究。

结果与评估

作者在人类面部、猫和狗上对 ViDiT 进行了评估，并将其与文本驱动的基准模型（SEGA、InstructPix2Pix、Prompt2Prompt、Concept Sliders）以及视觉调节方法进行了对比。

• 定量性能： ViDiT 在身份保持指标（LPIPS、DINO、DreamSim）方面显著优于文本驱动的基准模型，同时在语义对齐（CLIP-T、SigLIP-T）方面保持竞争力。例如，在“亚洲人”和“微笑”编辑任务中，ViDiT 的 DINO 得分为 0.929，而 Prompt2Prompt 为 0.867，InstructPix2Pix 为 0.851。
• 定性分析： 视觉结果显示，与经常出现身份漂移或非预期结构变化的竞争对手相比，ViDT 能更忠实地保留背景、身份和艺术风格。
• 消融实验：
  • 损失项： 移除 $\mathcal{L}_{latent}$ 会导致纠缠的编辑（例如，在编辑头发时改变肤色），这证实了双重损失方法的必要性。
  • 样本量： 仅需 10 对图像即可学习到有意义的方向，尽管 1000 对图像能产生最佳的身份保持效果。
  • 反转方法： 研究发现 DDPM Inversion 在保留真实图像的高频细节方面优于 DDIM Inversion。
• 用户研究： 在一项包含 40 名参与者的研究中，ViDT 在解耦性和语义忠实度方面的平均偏好得分最高（3.36/5），超过了 Concept Sliders (3.25) 和 Prompt2Prompt (2.74)。

重要性与主张

本文声称 ViDT 弥合了自然语言的描述局限性与精确编辑所需的复杂视觉语义之间的鸿隙。通过将问题定义为视觉增量转移而非文本提示工程，ViDT 克服了语言瓶颈，允许用户通过视觉示例来定义编辑，并将这些示例转化为扩散模型的原生潜在空间。

作者强调，他们的方法提供了一种轻量级、可扩展的解决方案，避免了训练特定概念 LoRA 或专门适配器模块的开销。虽然该框架继承了其监督来源（如 StyleGAN、CLIP、Stable Diffusion）的偏差，但它并未引入新的偏差。这项工作建立了一种通用的范式，可以将来自任何生成源的复杂视觉语义整合到扩散模型中，从而实现了此前无法通过大规模重训实现的“学习一次，随处编辑”的能力。