💻 computer science

DiffSwap++: 3D Latent-Controlled Diffusion for Identity-Preserving Face Swapping

DiffSwap++ 是一种新颖的 3D 潜空间控制扩散框架，它通过利用 3D 面部结构来解耦身份与姿态及表情，从而增强了换脸过程中的身份保持能力和几何一致性，并在多个基准测试中超越了现有方法。

原作者： Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Weston Bondurant, Arkaprava Sinha, Hieu Le, Srijan Das, Stephanie Schuckers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字图像领域，将一个人的脸部换到另一个人身上的能力长期以来一直是一种令人着迷的现象，它将艺术与复杂的数学结合在一起。多年来，用于创建这些图像的工具依赖于一种被称为生成对抗网络（GAN）的人工智能。这些系统的工作方式就像两位竞争的艺术家：一个试图创造一张伪造的图像，而另一个则试图识破这种伪造。随着时间的推移，这种竞争迫使创造者变得极其熟练。然而，这个过程是出了名的不稳定，经常导致生成的图像看起来有些不对劲，带有肉眼可以轻易察觉的模糊特征或奇怪的扭曲。最近，一种被称为“扩散”（diffusion）的不同方法出现了。扩散模型并不像一场竞争游戏，而是像一位雕塑家在慢慢精炼一块石头，通过逐渐去除噪声来展现出一幅清晰的图像。虽然这些较新的模型能产生更锐利的图像，但它们仍然在解决一个特定的问题：当人被置于新的姿势或表情中时，如何保持其真实的身份特征。由于缺乏对脸部三维结构的深度理解，计算机经常会将一个人的独特特征与头部的角度或微笑的形状混淆，导致结果看起来虽然逼真，却属于另一个人。

北卡罗来纳大学夏洛特分校的研究团队开发了一种名为 DiffSwap++ 的新方法来解决这个特定的谜题。他们的工作重点在于教会计算机理解脸部隐形的、三维的骨架，尽管它最终创建的图像是扁平且二维的。研究人员意识到，要完美地交换脸部，系统不仅需要知道脸部从正面看是什么样子的，还需要知道特征是如何在空间中排列的。为了实现这一目标，他们使用一种特殊的数字地图来训练模型，这种地图能够捕捉脸部的深度和体积。在训练阶段，计算机学习将一张扁平的照片投影到这个三维空间中，在将其转换回标准图像之前分析其底层结构。这个过程允许模型将一个人的身份（其独特的骨骼结构和皮肤纹理）与姿势和表情（仅仅是该结构的临时位置）区分开来。

这项创新的核心在于如何利用这种三维知识。研究人员并不要求计算机在每次更换脸部时都构建一个完整的 3D 模型；相反，他们仅在系统学习期间使用 3D 信息。一旦训练完成，该模型就可以仅使用标准的 2D 图像进行脸部交换，这使得整个过程既快速又实用。系统获取一个人的一张源图像，以及另一人在不同姿势下的目标图像。然后，它利用从三维训练中学到的经验来重建目标的脸部，将目标特征替换为源人物的特征，同时严格保持目标的头部角度和面部表情。这确保了最终的图像看起来像是源人物自然地出现在场景中，而不是仅仅把一张贴纸贴在另一张脸上。

为了测试这种方法是否真的有效，研究人员使用包含高质量真实人物肖像的公开数据集中的数千张图像进行了广泛的实验。他们将他们的新系统与几种现有的最佳方法进行了比较，包括较旧的基于 GAN 的工具和较新的扩散模型。结果显示出 DiffSwap++ 的明显优势。当研究人员测量交换后的脸部在保留原始人物身份方面的表现时，他们的方法始终比以往任何方法得分更高。在旨在测试交换后的脸部是否能欺骗生物识别系统的测试中，Diff-Swap++ 在保留源身份方面显著优于其竞争对手。与此同时，它并没有牺牲目标姿势或表情的自然感。其他方法往往会产生略显扭曲的脸部，或者无法完全转移身份，而 DiffSwap++ 生成的图像既高度逼真，又忠实于原人物。

团队还开展了一项针对人类志愿者的研究，以观察这些图像在肉眼看来有多大的说服力。参与者被展示了一组交换后的脸部，并被要求对身份、表情和姿势的保留程度进行评分。结果证实了计算机测量所呈现的情况：人们发现 DiffSwap++ 创建的图像是最真实且最具说服力的。脸部看起来很自然，没有出现经常暴露数字篡改痕迹的奇怪伪影或不自然的融合。相比之下，其他方法有时会留下伪造的迹象，例如空洞的眼睛或嘴部周围不规则的纹理。通过将三维结构意识整合到学习过程中，研究人员证明了实现此前难以达到的细节度和准确度是可能的，从而创造出不仅视觉效果惊艳，而且在身份保留方面具有科学鲁棒性的脸部交换技术。

技术摘要：DiffSwap++：用于保持身份一致性的 3D 潜空间控制扩散换脸技术

1. 问题陈述

换脸涉及将源脸部的身份特征转移到目标脸部，同时保留目标的姿态、表情和背景。虽然生成对抗网络（GAN）已被广泛使用，但它们面临训练不稳定以及经常产生明显伪影和身份一致性差的问题。近期的扩散模型方法提高了保真度，但在处理细微伪影和弱身份保持方面仍存在困难。现有扩散方法的一个主要局限在于缺乏对底层 3D 面部结构的显式建模。由于缺乏 3D 感知，模型难以有效地将身份与姿态及表情进行解耦，导致换脸结果要么无法成功转移源身份，要么扭曲了目标的属性。此外，现有的 3D 感知扩散方法（如 DiffSwap）通常将 3D 特征限制在推理阶段的特征点生成，而不是将其直接用于指导训练过程。

2. 方法论：DiffSwap++

作者提出了 DiffSwap++，一种利用 3D 感知潜表示来引导扩散生成过程的新型流水线。该方法完全在预训练潜扩散模型（LDM）的语义潜空间内运行，并使用去噪扩散隐式模型（DDIM）以提高效率。

核心组件

3D 感知训练，2D 推理： 一个关键创新是，DiffSwap++ 在训练期间结合了 3D 面部信息，但在推理时无需 3D 特征。这确保了模型能够学习鲁棒的几何解耦，而无需在部署时具备 3D 重建能力。
3D 潜特征提取： 系统利用基于 EG3D 的预训练 3D 面部重建模型，将 2D 面部图像投影为 3D 潜嵌入。这些嵌入按三个粒度层级进行组织：
- 粗粒度（第 1-4 层）： 控制低频结构几何（头部形状、姿态）。
- 中粒度（第 5-9 层）： 管理局部特征（眼睛形状、嘴部结构）。
- 细粒度（第 10-14 层）： 代表高频细节（皮肤纹理、光照）。
  这些特征被聚合形成一个整体的 3D 潜向量 ( $f_{3D}$ )，用以捕捉结构化身份。
条件化流水线： 扩散模型受三种不同特征集的约束：
1. 身份特征 ( $f_{ID}$ )： 使用预训练的面部识别模型（如 ArcFace）从源图像中提取，并通过 MLP 进行投影。
2. 特征点特征 ( $f_{LM}$ )： 源自目标图像的 2D 面部特征点，用于保留姿态和表情。
3. 3D 潜特征 ( $f_{3D}$ )： 源图像和目标图像的聚合 3D 表示，用于引导身份与姿态/表情的解耦。
  这些特征通过加权聚合进行组合，并通过交叉注意力机制注入到 UNet 中。

训练目标

训练过程被公式化为一个条件修复任务，并使用两步目标函数进行优化：

重建损失 ( $L_{Recon}$ )： 标准的去噪扩散损失，确保模型能从噪声中重建目标面部。
身份保持损失 ( $L_{ID}$ )： 通过计算换脸结果与源身份（通过 ArcFace）之间的余弦相似度来计算，以确保保留源身份。
感知相似度损失 ( $L_{PS}$ )： 使用 LPIPS 确保生成的面部与目标背景无缝融合，并保持视觉连贯性。

总损失为加权和： $L_{Total} = L_{Recon} + w_{ID}L_{ID} + w_{PS}L_{PS}$ 。

3. 主要贡献

论文概述了三个主要贡献：

首个 3D 引导扩散框架： DiffSwap++ 是第一个利用 3D 面部潜特征来引导扩散生成流水线的换脸框架。它在训练期间集成了 3D 几何线索，但在推理时保持完全 2D 化。
卓越的性能与鲁棒性： 在 CelebA-HQ、FFHQ 和 CelebV-Text 上的广泛实验表明，该方法在身份保留和感知真实感方面优于现有的先进基准方法。用户研究证实，生成的换脸结果比以往的方法更具视觉说服力。
新型生物识别评估： 作者通过分析冒充攻击呈现接受率（IAPAR）与错误拒绝率（FRR）之间的权衡，引入了一个严谨的评估视角。这为该方法在生物识别系统面前有效保留源身份的能力提供了定量衡量。

4. 实验结果

该方法在三个公开数据集（CelebA-HQ、FFHQ、CelebV-Text）上针对包括 DiffFace、DiffSwap、REFace、HiFiFace 和 SimSwap 在内的基准模型进行了评估。

身份保持： DiffSwap++ 在 CelebA-HQ 上实现了最高的 Top-1 (94.7%) 和 Top-5 (98.2%) 身份检索准确率，在 FFHQ 上为 95.1%/98.4%。这显著优于扩散基准模型 DiffSwap (16.9% Top-1) 和 GAN 基准模型 HiFiFace (86.4% Top-1)。
视觉质量： 该方法在 CelebA-HQ 上达到了最低的 Fréchet 信息距离 (FID) 6.42，在 FFHQ 上为 6.57，表明具有极高的照片级真实感。
姿态与表情： 虽然某些方法通过对目标脸部进行极小改动（从而导致身份转移失败）获得了略好的姿态/表情得分，但 DiffSwap++ 维持了平衡的折衷方案，在保持目标属性的同时将退化降至最低（姿态 $\ell_2$ 距离：3.29；表情：1.00）。
生物识别分析： 在 IAPAR 与 FRR 的分析中，DiffSwap++ 展示了高保真度的换脸效果，成功保留了源身份，在生物识别系统面前维持了较高的接受阈值。
效率： DiffSwap++ 每张图像的推理时间为 3.35 秒，使其比 DiffSwap 快约 1.5 倍，比 DiffFace 快约 11 倍，同时占用 18.69 GB 显存。
消融实验： 实验证实，用于 3D 特征聚合（结合粗、中、细粒度层）的“平均池化 (Avg. Pool)”策略比仅使用特定层能获得更好的身份检索率 (79.30%)。研究还验证了身份特征和特征点特征对于训练都是必不可少的，且 4 步 DDIM 在训练期间提供了最佳平衡。

5. 重要性与主张

论文声称 DiffSwap++ 解决了扩散换脸中 3D 感知缺失的关键局限。通过在训练中引入 3D 潜特征，模型有效地将身份与姿态及表情解耦，从而实现了既具有照片级真实感又高度有效转移源身份的换脸效果。

作者强调，该方法在推理时不需要 3D 特征，因此具有实际应用价值。这项工作的意义在于其能够生成难以与真实图像区分开的换脸结果（高 IAPAR），同时保持目标的结构完整性。论文总结道，DiffSwap++ 通过量化指标和人类用户研究的验证，在实现高平均保真度和一致生成质量之间提供了最有效的平衡。代码已公开，以促进该领域的进一步研究。