💻 computer science

Referee: Reference-aware Audiovisual Deepfake Detection

该论文提出了一种名为 Referee 的新型参考感知音视频深度伪造检测方法，通过利用单样本作为生物特征锚点来建模说话人特定线索的关联一致性，从而在跨数据集和跨语言评估中实现了优于现有方法的泛化性能。

原作者： Hyemin Boo, Eunsang Lee, Jiyoung Lee

发布于 2026-03-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyemin Boo, Eunsang Lee, Jiyoung Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Referee（裁判） 的新方法，用来识别“深度伪造”（Deepfake）视频。

为了让你更容易理解，我们可以把现在的深度伪造检测技术比作**“找茬游戏”，而 Referee 则像是一位“经验丰富的老侦探”**。

1. 现在的困境：为什么以前的“找茬”不管用了？

以前的检测器（比如 Xception, LipForensics 等）就像是在玩“大家来找茬”。它们盯着视频里的微小瑕疵，比如：

嘴唇和声音对不上（就像配音没对上口型）。
边缘有点模糊（就像照片修图没修好）。
皮肤纹理不自然（像塑料假人）。

问题在于： 现在的 AI 造假技术太厉害了，它们能完美地消除这些“瑕疵”。就像现在的假钞做得连验钞机都分不清，因为假钞上没有明显的“破绽”。而且，如果视频里有人用手挡住了脸，或者画面很模糊，这些老方法就彻底瞎了。

2. Referee 的绝招：请一位“老熟人”来当裁判

Referee 换了一种思路。它不再只盯着视频里有没有“瑕疵”，而是问了一个更本质的问题：“这个人的声音和长相，真的是同一个人吗？”

想象一下这个场景：

你收到一段视频，里面是你的好朋友在说话。
但视频里，他的脸可能是别人合成的，声音也可能是 AI 合成的。

以前的检测器会拿着放大镜找脸上有没有“马赛克”。
Referee 的做法是： 它手里拿着一段你朋友真实的视频（参考视频），就像请了一位**“老熟人裁判”**。

3. Referee 是如何工作的？（三个步骤）

Referee 的工作流程就像是一个严密的**“身份核对会”**：

第一步：提取“灵魂特征”（身份瓶颈模块 IDB）

Referee 不会把整个视频都塞进脑子里，那样太累了。它会从视频里提取出最核心的**“身份指纹”**。

它把声音和长相结合起来，提取出一种独特的“生物特征”。
这就好比它不是在看“这个人穿了什么衣服”（衣服可以换），而是在看“这个人的声纹和五官结构”（这才是灵魂）。

第二步：让“裁判”来比对（身份匹配模块）

这是最精彩的一步。Referee 把**“目标视频”（可能是假的）里的身份特征，和“参考视频”**（你朋友真实的视频）里的身份特征放在一起比对。

交叉注意力机制：这就像裁判拿着放大镜，一边看目标视频，一边看参考视频，问：“这两段视频里的‘灵魂’是同一个吗？”
如果目标视频是 AI 伪造的，哪怕它模仿得再像，它的“灵魂指纹”和真实的参考视频对不上。这种**“不协调感”**会被裁判敏锐地捕捉到。

第三步：综合判决（AV-Transformer）

最后，Referee 把“身份比对结果”和“音视频同步情况”结合起来，给出一个最终判决：这是真的，还是假的？

4. 为什么 Referee 这么厉害？（核心优势）

不怕“换脸”和“变声”：
以前的方法怕你只换脸或只换声音。但 Referee 要求**“声画合一”**。如果 AI 伪造了脸，但声音的“灵魂”不对；或者伪造了声音，但脸的“灵魂”不对，裁判一眼就能看穿。
不怕“遮挡”和“模糊”：
因为它是看整体的“身份一致性”，而不是死盯着嘴唇的每一个像素。就算有人用手挡住了嘴，或者画面很糊，只要整体的“人味儿”不对，它就能发现。
不需要“海量题库”：
以前的方法需要训练几百万个视频才能学会认人。Referee 只需要一个真实的参考视频（One-shot），就能立刻开始工作。这就像你不需要认识全世界的人，只要认识你的朋友，就能认出谁在冒充他。

5. 实验结果：它有多强？

论文在几个著名的测试集（FakeAVCeleb, FaceForensics++, KoDF）上进行了测试：

跨语言测试：即使参考视频是英语，目标视频是韩语，Referee 依然能认出“这不是同一个人”。（准确率高达 99.4%！）
抗干扰测试：即使把视频切掉 90%（只剩一点点），或者参考视频只有 1 秒钟，它依然能精准识别。

总结

Referee 就像是一位**“带着眼镜的侦探”。
以前的侦探只会在案发现场找指纹（找瑕疵），现在的造假者把指纹擦得太干净了。
而 Referee 直接找到了受害者的“亲笔信”（参考视频）**，然后拿着它去比对嫌疑人。如果嫌疑人的笔迹（身份特征）和亲笔信对不上，哪怕他模仿得再像，也逃不过裁判的眼睛。

这项研究告诉我们：未来的深度伪造检测，不再仅仅是找“技术漏洞”，而是要回归到**“生物特征的一致性”**上来。

Referee：一种参考感知的音视频深度伪造检测框架技术总结

1. 研究背景与问题 (Problem)

随着生成式人工智能（Generative AI）的飞速发展，高保真的深度伪造（Deepfake）内容（包括视频和音频）对信息安全和社会信任构成了严重威胁。现有的深度伪造检测技术面临以下主要挑战：

泛化能力不足：现有方法多依赖于检测特定的时空伪影（如唇形同步错误、边界伪影或频率异常）。这些方法容易过拟合于特定的生成模型或瞬态伪影，导致在面对未见过的伪造方法（Unseen Manipulation Methods）时性能急剧下降。
单模态局限性：纯视觉方法易受遮挡（如手、麦克风）或低分辨率影响；纯音频方法难以捕捉视觉层面的不一致。
现有音视频方法的缺陷：
- 过度依赖细粒度的唇部运动，缺乏对整体身份一致性的考量。
- 基于身份的方法（如 ID-Reveal, ICT-Ref）往往仅使用视觉对比，或依赖简单的掩码变换，导致模型过拟合于低级合成伪影而非真正的身份特征。
- 部分方法（如 POI-Forensics）需要极长的参考视频（如每身份超过 5 分钟），且特征融合方式简单（如直接拼接），无法有效捕捉跨模态的复杂依赖关系，难以在实际部署中应用。

核心问题：如何构建一种能够泛化到未见伪造类型、对低分辨率和遮挡具有鲁棒性，且仅需少量参考样本即可高效工作的音视频深度伪造检测框架？

2. 方法论 (Methodology)

本文提出了 Referee，一种参考感知（Reference-aware）的音视频深度伪造检测框架。其核心思想是利用说话人身份的生物特征先验（Biometric Priors），通过比对目标视频与参考视频之间的身份一致性和音视频同步性来检测伪造。

2.1 整体架构

Referee 框架主要包含三个关键部分（如图 1 所示）：

音视频特征提取：使用预训练的音视频编码器（基于 Synchformer）提取目标（Target）和参考（Reference）视频的特征。将视觉和音频序列拼接，并加入可学习的模态分离 Token，形成联合表示。
身份瓶颈模块 (Identity Bottleneck, IDB)：
- 目的：从包含语音内容、表情、头部姿态等瞬态因素的复杂信号中，解耦并提取纯净的跨模态身份特征。
- 机制：引入一组可学习的身份查询向量（Learnable Identity Queries, $Q_{ID}$ ）。通过 Transformer 块中的自注意力和交叉注意力机制，这些查询向量自适应地关注音视频序列中与身份相关的区域，忽略瞬态干扰。
- 输出：生成目标身份 Token ( $T_{ID}^{TGT}$ ) 和参考身份 Token ( $T_{ID}^{REF}$ )。
跨模态生物特征匹配模块 (ID Matching Module)：
- 机制：利用交叉注意力层，以目标身份 Token 为 Query，参考身份 Token 为 Key 和 Value。
- 作用：将目标特征在参考身份的视角下进行重对齐，生成“参考感知”的身份 Token ( $\bar{T}_{ID}^{TGT}$ )。该 Token 不仅保留了目标自身的身份特征，还嵌入了与参考样本的相似性和差异性信息。
- 辅助任务：设计了一个身份匹配损失 ( $L_{ID}$ )，通过平均池化 $\bar{T}_{ID}^{TGT}$ 并输入 MLP 头，预测目标与参考是否属于同一人。伪造内容被视为与参考人不同的身份，从而强制模型学习鲁棒的跨模态身份验证特征。
联合分类与推理：
- 将参考感知的身份 Token ( $\bar{T}_{ID}^{TGT}$ ) 与目标音视频特征及 [CLS] Token 拼接。
- 输入到 AV-Transformer 中进行联合建模，同时推理两个关键方面：(1) 唇语 - 语音的时序同步性；(2) 身份完整性是否被破坏。
- 最终通过分类器输出真实/伪造的预测。

2.2 训练目标

总损失函数由两部分组成：
$L_{all} = L_{RF} + L_{ID}$
其中 $L_{RF}$ 是深度伪造分类损失（交叉熵）， $L_{ID}$ 是身份匹配损失。这种多任务学习机制使模型既能检测通用伪造伪影，又能利用身份一致性作为强先验。

3. 主要贡献 (Key Contributions)

提出了 Referee 框架：一种新颖的参考感知深度伪造检测方法，首次在身份级别和时序级别同时利用音视频对应关系进行联合检测。
设计了身份瓶颈与匹配机制：
- 提出带有可学习查询的身份瓶颈模块（IDB），有效解耦身份特征与瞬态干扰。
- 引入跨身份匹配机制，通过参考感知查询实现对音视频完整性的鲁棒推理。
实现了卓越的泛化性能：在多个数据集（FakeAVCeleb, FaceForensics++, KoDF）上的实验表明，Referee 在跨数据集和跨语言评估中均取得了最先进（SOTA）的性能，特别是在未见过的伪造类型和零样本语言场景下表现优异。
数据高效性：证明了无需百万级外部数据集（如 VoxCeleb2），仅使用少量真实样本（14k 片段）即可学习到通用的身份先验。

4. 实验结果 (Results)

实验在三个主要数据集上进行，涵盖了跨数据集、跨语言及抗干扰测试：

跨数据集性能 (FaceForensics++)：
- 在 FF++ 测试集上，Referee 取得了 91.00% AP 和 79.78% AUC，优于现有的参考类方法（如 POI-Forensics 的 51.33% AUC），证明了其强大的泛化能力。
跨语言零样本评估 (KoDF)：
- 在韩语深度伪造数据集 KoDF 上，Referee 取得了 99.4% AUC 和 99.4% AP 的惊人成绩，显著超越了之前的 SOTA 方法（如 ICSAV 的 99.2% AUC）。
- 这表明模型不依赖于特定的语言特征或低级像素异常，而是基于跨模态的一致性。
数据集内性能 (FakeAVCeleb)：
- 在 FakeAVCeleb 上，Referee 达到了 99.2% ACC 和 99.7% AUC，优于所有单模态和现有的多模态基线模型。
鲁棒性分析：
- 空间扰动：即使在 70% 和 90% 的随机裁剪下，性能依然稳定（AUC > 99.6%），说明模型不依赖特定面部区域。
- 参考长度：仅需 1 秒 的参考片段即可达到 99.71% 的 AUC，证明了其在实际部署中的高效性。
消融实验：
- 移除参考身份查询或身份匹配损失均导致性能下降，证实了这两个核心组件的必要性。

5. 意义与影响 (Significance)

范式转变：Referee 将深度伪造检测的焦点从检测“瞬态伪影”（Ephemeral Artifacts）转向了“显式的跨模态特征相关性”（Explicit Cross-modal Feature Correlation）。这种基于生物特征先验的方法更具通用性和鲁棒性。
应对生成式 AI 进化：随着生成模型不断迭代，低级伪影越来越难以捕捉。Referee 通过建模说话人身份的内在一致性，能够有效应对未见过的伪造技术和跨语言场景，为未来的深度伪造检测提供了新的解决思路。
实际部署潜力：该方法对参考视频长度要求极低（仅需 1-3 秒），且对分辨率和遮挡具有鲁棒性，极大地降低了实际应用场景中的部署门槛。
数据效率：证明了在缺乏海量外部身份数据的情况下，通过精心设计的架构也能学习到强大的身份表示，降低了数据获取成本。

综上所述，Referee 通过引入参考感知的身份瓶颈和跨模态匹配机制，成功解决了现有深度伪造检测方法泛化性差和依赖特定伪影的问题，为构建可靠、通用的音视频取证系统奠定了坚实基础。