💻 computer science

CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection

本文介绍了 CUPID，一种鲁棒、高效且具有可解释性的特定目标人物（Person-of-Interest）深度伪造检测器，它利用 UV 纹理图和掩码自编码器来识别伪造视频，且在训练期间无需深度伪造数据或特定的目标身份，同时能够提供视觉残差图以突出显示被篡改的面部区域。

原作者： Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图识破一张名人的假照片。通常情况下，你可能会眯起眼睛观察他们的眼睛，或者检查他们的牙齿看起来是否奇怪。但如果这个假货做得太逼真，甚至连人类都无法分辨呢？这就是 CUPID 大显身手的地方。它是一个全新的数字侦探，旨在捕捉“感兴趣人物”（POI）深度伪造（deepfakes）——即那些坏人将真实人物的面部替换到虚假身体上，或让他们说出从未说过的话的恐怖视频。

这里有一个转折：CUPID 不需要看任何一个假视频就能学会如何抓捕它们。事实上，该论文明确反对旧有的做法，即你需要为每一个名人训练一个专门的、独立的机器人，并使用成千上万个假样本。作者表明，这种旧方法速度慢、需要过多数据，并且当视频被压缩或调整大小（比如当你通过不稳定的手机网络观看视频时）时往往会失效。相反，CUPID 仅通过学习许多不同人物的真实视频来理解什么是“真实的”面部，然后利用这些知识来识别任何人的伪造面孔，即使是它从未见过的陌生人。

魔法地图：展开面部

那么，它是如何工作的呢？想象一下，名人的脸就像一个 3D 粘土雕塑。如果你拍一张照片，鼻子看起来的样子会随着角度的不同而改变，或者光影会让脸颊看起来颜色较深。这使得计算机很难进行面部对比。

CUPID 使用了一个被称为 UV 纹理贴图（UV Texture Map） 的巧妙技巧。可以把它想象成将那个 3D 粘土脸像撕掉皮肤一样剥下来，然后平铺在桌子上。在这张平坦的地图上，无论这个人如何转头或微笑，鼻子始终在同一个位置，眼睛始终在同一个位置，嘴巴也始终在同一个位置。这种“平面地图”消除了角度和光影带来的困扰，为计算机提供了一个干净、标准化的蓝图来处理。

“填空”游戏

一旦面部被展开成这张地图，CUPID 就会玩一个叫做“掩码自编码”（Masked Autoencoding）的游戏。想象你有一个拼图，但有人用黑胶带盖住了 50% 的碎片。CUPID 会观察可见的部分，并尝试猜出胶带下面隐藏着什么。

为了变得更厉害，CUPID 在一个庞大的真实视频库（来自名为 VoxCeleb2 的数据集，包含超过 6,000 个不同的人）上进行训练。它学习到：如果看到一只左眼，鼻子应该在一定的距离之外，且嘴巴应该具有特定的形状。它学习了真实人类面部是如何构建的“规则”。论文证明，通过利用这些真实数据掌握这些规则，系统就能成为识别面部何时“违反”这些规则的专家。

抓捕冒充者

当一段新视频传来时——比如一段可能是伪造的政治家片段——CUPID 会将那张脸剥离成 UV 地图，并尝试将其放入它学到的“真实面部”蓝图中。

如果是真实的： 这张脸会完美地契合进蓝图中。计算机会说：“没错，这符合真实人类的模式。”
如果是深度伪造： AI 在尝试填补空白时，会发现假脸存在奇怪的瑕疵或不可能的形状。计算机会说：“喔，这个鼻子在蓝图中放错了位置！这是假的。”

论文显示，这种方法极其鲁棒（稳健）。即使视频被缩小到极小的尺寸，或者经过了沉重的压缩（比如当你从社交媒体下载视频时），CUPID 依然能保持工作。在对四个不同数据集的测试中，CUPID 的表现优于其他顶尖检测器，尤其是在这些其他方法失效的“低质量”条件下。例如，在 “FakeAVCeleb” 数据集上，当视频被压缩时，CUPID 仍能保持很高的准确率（约 87.5%），而其他方法则大幅下降。

判定背后的“为什么”

其中一个最酷的特性是 CUPID 具有可解释性。大多数 AI 检测器只会给你一个“是/否”的答案。然而，CUPID 可以向你展示它为什么认为一段视频是伪造的。它会生成一张“热力图”，高亮显示面部中可疑的部分。

如果是深度伪造替换了嘴部，热力图会在唇部周围发出红光。
如果眼睛看起来很奇怪，光芒就会移向眼睛。
论文通过展示对于伪造视频，这些“发光点”比真实视频要明亮且集中得多，从而为调查人员提供了可以信任的视觉线索。

速度与效率

最后，CUPID 是一个速度达人。虽然其他方法可能会扫描长视频中的每一帧（这需要花费很长时间），但 CUPID 只需要查看整个片段中的 10 帧 即可做出决定。这使得它在名人检测方面的速度比之前的最佳方法快了 32 倍。作者在超过 2,000 个视频上进行了测量，发现 CUPID 处理每个视频平均仅需 0.155 秒，而竞争对手则需要近 5 秒。

它目前还做不到的事（尚未实现）

需要注意的是，CUPID 并非完美无缺。论文指出，它在处理名为 KoDF 的数据集（以韩国受试者为特色）时表现得稍显吃力。作者认为这是因为其训练数据中缺乏特定人口统计特征的人群，这表明该系统仍然可能对种族差异具有敏感性。此外，虽然它非常擅长识别换脸，但它并没有明确模拟一个人随时间变化的动作（如对口型），因此它目前可能还无法捕捉到所有类型的语音驱动型伪造。

简而言之，CUPID 是一种新型的测谎仪，它不需要见过谎言就能知道谎言长什么样。通过将面部展开成地图，并利用真实数据玩“填空”游戏，它建立了一种极其敏锐的感知力，能够识别出真实的真人，从而即使在视频质量极差的情况下也能快速识破伪造。

技术摘要：CUPID —— 用于可解释性特定人物（POI）深度伪造检测的 UV 纹理图重建

问题陈述

生成式人工智能的激增使得针对特定高知名度个人（即“特定人物”，Person-of-Interest, POI）创建高度逼真的深度伪造（deepfakes）成为可能。这些合成媒体对民主进程和社会信任构成了重大威胁。虽然取证领域已经开发了专门的方法来检测 POI 深度伪造，但现有解决方案面临着关键的三重挑战：

鲁棒性： 许多方法在面对压缩和降采样等常见的后处理操作时，难以维持性能。
效率： 现有的检测器通常需要计算成本高昂的推理过程，尤其是那些使用滑动窗口策略的方法。
可解释性： 很少有方法能提供直观的视觉解释来说明为什么一段视频被标记为伪造，这限制了其在取证分析中的应用价值。

此外，现有的 POI 特定方法通常需要为每个目标身份训练一个单独的模型（这需要大量的特定数据），或者在面对未经校准的未知身份时泛化能力较差。

方法论

作者提出了 CUPID（通过重建 UV 纹理图进行特定人物深度伪造检测），这是一个仅基于视觉的检测器，在训练过程中不需要任何深度伪造样本，并且在训练阶段对 POI 是不可知的。该流水线由三个主要阶段组成：

1. UV 纹理图提取

CUPID 并非处理原始视频帧，而是将面部外观转换为 UV 纹理图。

过程： 对于每一帧，利用 3D 可变形模型（3DMM）拟合面部。该模型将面部纹理投影到规范的 2D UV 空间中。
优势： 这种表示法建立了稠密的语义对应关系；UV 图中的特定像素坐标在所有身份、姿态和表情下都对应相同的面部区域（例如鼻尖、眼睛）。这实现了身份特征与姿态及表情变化的解耦，提供了一种标准化的输入，从而增强了对后处理操作的鲁棒性。

2. 掩码自编码器（MAE）训练

一个基于 Vision Transformer (ViT) 的掩码自编码器在仅包含真实视频（VoxCeleb2）的数据集上进行训练，以学习通用的面部身份潜在空间。

架构： 编码器处理 UV 纹理图的可见补丁（patches），而轻量级解码器则负责重建被掩盖的补丁。
训练目标： 模型通过一个联合损失函数进行优化，该函数包含：
- 掩码重建损失 ( $L_{rec}$ )： 对掩码补丁进行逐像素 MSE 计算，以学习丰富的纹理表示。
- 对比损失 ( $L_{cont}$ )： 一种多层 NT-Xent 损失，旨在跨多个编码器深度将相同身份的嵌入聚类，并将不同身份的嵌入分离。
- 感知损失 ( $L_{perc}$ )： 基于 VGG-16 的损失，以确保重建结果在感知上具有连贯性并抑制网格伪影。
结果： 最终生成的编码器能够产生具有身份辨别力的嵌入，并能泛化到未见的受试者。

3. 推理与检测

在测试阶段，系统在开集场景下运行：

参考集构建： 目标 POI 的一组纯净参考视频被编码到潜在空间中，以形成一个参考分布（由 CLS 嵌入的质心表示）。
相似度评分： 测试视频被编码后，其嵌入通过成对相似性函数（最大内积）与参考分布进行比较。
决策： 如果相似度得分低于阈值 $\gamma$ ，则将该视频判定为伪造。

4. 可解释性机制

CUPID 利用 UV 图的结构特性和潜在空间来生成残差图：

系统解码测试视频与参考质心之间的潜在位移。
通过减去在参考集中观察到的“自然”变异性，该方法可以生成一张热力图，突出显示测试视频在哪些面部区域与真实的 POI 身份发生显著偏离。这为篡改行为（如嘴部或眼睛周围的异常）提供了视觉证据。

核心贡献

新型 POI 检测器： 引入了 CUPID，它结合了 UV 纹理图和仅在真实数据上训练的 MAE。它学习了一种通用的、具备身份感知能力的表示，可在推理时应用于未见的 POI。
可解释性框架： 提供了一套利用 UV 空间和潜在表示来生成受试者级残差图的程序，为检测决策提供了直观的视觉解释。
全面的评估： 在四个数据集（DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak）的高质量（HQ）和低质量（LQ）设置下，针对主流通用检测器和 POI 特定基准模型进行了广泛的基准测试。

实验结果

实验表明，CUPID 在以下几个关键领域取得了卓越的表现：

鲁棒性： CUPID 优于当前的先进方法，特别是在强压缩和降采样（LQ 设置）的情况下。虽然通用基准模型在 LQ 设置下的性能平均下降了约 24 个百分点，但 CUPID 的性能仅下降了约 3.2 个百分点。
性能： 它展现出了最佳的整体鲁棒性和极具竞争力的准确率（在 HQ 设置下），在大多数数据集上往往超过了 POI 特定基准模型（POI-Forensics）。
效率： CUPID 的速度显著提升，其推理速度比 POI-Forensics 快 32 倍。这归功于其采用固定采样策略，即每个视频仅采样少量固定帧（10 帧），而不受视频时长的影响，而竞争对手使用的滑动窗口策略则会随视频长度增加而扩展。
阈值稳定性： 该方法在不同受试者之间表现出更紧凑的最优决策阈值分布，这表明与现有的 POI 检测器相比，它需要的单受试者校准工作更少。
可解释性： 残差图的定性分析证实，伪造视频会在特定的面部区域产生较高的激活值，这与所使用的篡改技术（如换脸中的融合伪影）相吻处一致。

意义与局限性

论文指出，CUPID 证明了身份上下文重建以及源自 UV 面部表示的相似性线索，即使在训练期间没有接触过伪造数据，也能为深度伪造检测提供强有力的信号。这表明 UV 图的结构化特性有效地隔离了身份特征与篡改伪影。

作者承认存在两个主要局限性：

时间动态性： 当前仅基于视频的表示是以身份为中心的，并未显式建模时间表达性，这可能会限制其在应对唇形同步（LipSync）篡改时的有效性。
种族偏差： 该方法在 KoDF 数据集（侧重于韩国受试者）上的表现略弱，这表明由于训练数据（VoxCeleb2）缺乏足够的种族多样性，模型对种族相关的分布偏移较为敏感。

作者总结道，未来的工作将侧重于整合受试者特定的动态特征，并在更具种族多样性的数据集上进行训练，以提高公平性和泛化能力。