💻 computer science

Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm

该论文提出了一种基于监督对比学习的开放集人脸深度伪造检测算法，旨在突破传统闭集范式的局限，不仅能识别已知伪造方法，还能将未知方法生成的伪造图像标记为“未知”，从而在多种检测场景下实现更鲁棒和可靠的识别效果。

原作者： Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常紧迫的问题：如何识别那些我们从未见过的“假脸”（Deepfake）。

为了让你轻松理解，我们可以把这篇论文的研究比作**“训练一位超级保安”**的故事。

1. 背景：以前的保安为什么不够用？

想象一下，你雇佣了一位保安（现有的 AI 检测模型）来守护你的大门，防止坏人混进来。

旧模式（封闭集 Paradigm）： 这位保安只接受过“已知坏人”的训练。比如，他见过“张三伪造的假脸”和“李四伪造的假脸”。如果来了一个“张三”或“李四”，他能一眼认出是坏人。
问题所在： 但是，如果来了一个全新的坏人“王五”，他用的是一种保安从未见过的伪造技术（比如全新的 AI 换脸算法）。因为保安只认识张三和李四，他可能会犯糊涂，心想：“嗯，这个人的脸看起来挺自然的，不像张三或李四，那肯定是好人（真脸）吧！”
后果： 结果，王五大摇大摆地混进去了。这就是目前大多数 Deepfake 检测系统的弱点：它们只能识别“已知的假”，一旦遇到“未知的假”，就会误判为“真”。

2. 核心创新：新保安的“开放思维”

这篇论文提出了一种**“开放集（Open-Set）”**的新训练方法。

新目标： 我们不再只教保安认“张三”和“李四”。我们教他三件事：
1. 认出“张三”（已知假脸 A）。
2. 认出“李四”（已知假脸 B）。
3. 最重要的一点： 如果来了一个既不是张三也不是李四，而且看起来也很奇怪的人，不要把他当成好人，要直接标记为“未知可疑人员”（Unknown）。
比喻： 就像教孩子认动物。
- 旧方法： 教孩子“这是猫，那是狗”。如果来了只老虎，孩子可能会说“这不是猫也不是狗，那它肯定是兔子（真脸）”。
- 新方法： 教孩子“这是猫，那是狗，还有，如果来了个既不像猫也不像狗，但长得有点怪的东西，别猜它是兔子，直接说‘这是个我不认识的家伙，小心点！’"

3. 他们是怎么做到的？（技术原理的通俗版）

为了让这位新保安更聪明，作者设计了一套特殊的训练课程，主要分三步走：

第一步：打造“超级放大镜”（加权监督对比学习）

保安需要有一双火眼金睛，能看清脸部的微小破绽，而不是被人的长相、发型或背景迷惑。

普通训练： 让保安把“假脸”都聚在一起，把“真脸”也聚在一起。但问题是，“真脸”千变万化（有人高有人矮，有人胖有人瘦），很难聚成一个紧密的圈子。
论文的创新： 作者给“真脸”加了**“特殊权重”。就像给保安戴了一副特制眼镜，让他把所有真脸都紧紧压缩在一起**，形成一个非常紧密、完美的“真脸核心”。
效果： 这样一来，任何稍微有点不对劲的“假脸”（无论是已知的还是未知的），都会因为离这个“真脸核心”太远，而被立刻识别出来。

第二步：建立“警戒线”（决策边界）

在保安的大脑里画几条线。

如果一个人站在“真脸核心”里，那就是真。
如果一个人站在“张三”或“李四”的圈子里，那就是已知的假。
如果一个人站在这些圈子外面，既不在真脸里，也不在已知假脸里，那就直接判定为**“未知假”**。

第三步：实战演练（阈值设定）

通过大量的测试，确定一个“信心分数线”。如果保安对某张脸的判断信心低于这个线，或者它不属于任何已知的类别，就直接报警：“这是未知威胁！”

4. 实验结果：真的有用吗？

作者用了一个叫 FaceForensics++ 的大型数据库进行了测试，就像让保安在模拟城市里抓坏人。

场景一：抓“新坏人”
当保安面对一种从未见过的伪造技术（比如从未见过的 AI 换脸）时，旧保安（Xception 模型）经常误判为好人（准确率很低，约 50%）。而新保安（论文提出的模型）能敏锐地察觉到“这家伙不对劲”，成功将其标记为“未知”，准确率大幅提升（达到 70%-80% 以上）。
场景二：抓“老坏人”
即使面对以前见过的“张三”和“李四”，新保安的表现也毫不逊色，和那些专门只抓老坏人的顶尖高手一样厉害。
场景三：跨数据库测试
即使把保安从“模拟城市 A"（训练数据）扔到“模拟城市 B"（测试数据，光线、背景都变了），他依然能保持不错的战斗力，比很多旧方法都要强。

5. 总结与意义

这篇论文的核心贡献是：
它不再执着于“认出所有具体的假脸技术”，而是转向了**“识别出任何不正常的脸”**。

以前： 只要不是张三李四，就是好人。（容易被新骗术骗过）
现在： 只要不是真脸，也不是张三李四，那就是“可疑的未知假脸”，先拦下来再说！

这对我们意味着什么？
随着 AI 技术飞速发展，新的造假手段会层出不穷。这篇论文提供的是一种**“未雨绸缪”的防御策略。它让检测系统变得更加鲁棒（Robust）**，即使面对未来还没发明的造假技术，也能发出警报，而不是盲目地相信“看起来像真的就是真的”。

简单来说，他们给 AI 装上了**“直觉”，让它知道：“有些东西虽然我没见过，但它肯定不是真的，我得小心！”**

这是一份关于论文《Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm》（超越真假：开放集范式下的人脸深度伪造检测）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
现有的深度伪造（Deepfake）检测系统大多基于闭集（Closed-Set）范式。这意味着模型仅在训练集中包含的特定伪造方法（如 DeepFakes, FaceSwap 等）上进行训练和测试。

局限性： 当面对训练集中未出现过的、未知的伪造技术（Unknown Methods）时，闭集模型往往会将其错误地分类为“真实（Real）”图像，而不是将其识别为“未知（Unknown）”。
现实需求： 随着生成式 AI 的快速发展，新的伪造技术层出不穷。检测系统不仅需要区分“真实”和“已知伪造”，还需要具备识别并标记“未知伪造”的能力，以防止新型攻击被误判为真实内容。

目标：
将深度伪造检测从闭集范式转向开放集（Open-Set）范式。在该范式下，模型需将样本分为三类：

真实（Real）
已知伪造（Known Deepfakes）
未知伪造（Unknown Deepfakes）：即既不是真实图像，也不是训练集中已知的任何伪造方法生成的图像。

2. 方法论 (Methodology)

作者提出了一种基于**监督对比学习（Supervised Contrastive Learning, SupCon）**的三阶段开放集检测框架。

核心创新点：加权监督对比学习 (Weighted Supervised Contrastive Learning)

在标准的监督对比学习中，真实数据（Real）往往在特征空间中分布较为分散，而伪造数据（Fake）则容易形成紧密的聚类。这导致区分“真实”和“未知伪造”变得困难。

改进策略： 作者修改了对比损失函数，引入成对相似性缩放因子 $s(i, j)$ 。
- 如果两个样本都是真实的，给予更高的权重（ $\alpha$ ），迫使真实样本在特征空间中形成更紧密的聚类。
- 如果两个样本一个是真实一个是伪造，权重设为 0。
- 其他情况权重为 1。
目的： 通过增强真实类样本的紧凑性（Compactness），使其与伪造类（包括未知伪造）的特征分布界限更加清晰，从而更容易将未知样本识别为异常。

三阶段处理流程 (Three-Stage Pipeline)

阶段一：加权监督对比学习 (Representation Learning)
- 使用编码器（Encoder，如 DenseNet）提取图像特征。
- 利用修改后的加权监督对比损失函数训练编码器，学习具有强判别力的潜在特征空间（Latent Space）。
- 目标：使真实样本紧密聚集，不同伪造方法分离，且未知伪造远离真实样本簇。
阶段二：监督微调 (Supervised Fine-tuning)
- 冻结编码器，在其顶部添加分类头（Classifier Head）。
- 使用交叉熵损失（Cross-Entropy Loss）对已知类别（真实 + 已知伪造方法）进行微调，优化分类性能。
- 使用随机权重平均（SWA）技术整合多个训练周期的权重，提升泛化能力。
阶段三：开放集检测算法 (Open-Set Detection)
- 阈值估计： 基于训练集的正确分类样本，计算每个类别的置信度分数（Softmax 概率），并根据指定的百分位数确定拒绝阈值（Rejection Thresholds, $\epsilon_i$ ）。
- 未知检测： 对于测试样本，计算其属于各个已知类的置信度。如果所有已知类的置信度都低于对应的阈值，则将该样本标记为**“未知（Unknown）”**，而不是强行归类为某个已知类。

3. 关键贡献 (Key Contributions)

首个开放集深度伪造分类研究： 据作者所知，这是第一项专门针对深度伪造场景下的开放集分类问题（Open-Set Classification）进行系统性研究的工作。
改进的表征学习算法： 提出了一种专为深度伪造问题设计的加权监督对比学习变体，通过优化真实类在特征空间中的分布，显著提升了区分未知伪造的能力。
卓越的未知伪造检测性能： 在检测未知伪造方法的任务上，该方法显著优于基于 Xception 的基线模型（AUROC 提升超过 20-30 个百分点）。
具有竞争力的已知伪造检测： 在已知伪造方法的分类任务上，尽管采用开放集设定，其性能仍能与现有的闭集最先进（SOTA）方法相媲美。
鲁棒的开放集检测器： 在区分“真实”与“所有伪造（含未知）”的任务中，展现了极强的泛化能力和鲁棒性。

4. 实验结果 (Results)

实验主要在 FaceForensics++ (FF++c23) 数据集上进行，并辅以 CelebDF 进行跨数据集评估。

任务 A：检测未知深度伪造 (Unknown Deepfake Detection)
- 设置： 训练集包含部分伪造方法，测试集包含一种未见的伪造方法。
- 结果： 提出的模型在所有测试组合中均大幅超越 Xception 基线。例如，当未知类为 NeuralTextures (NT) 时，AUROC 达到 0.8233，而 Xception 仅为 0.5985。
- 跨类型检测： 即使未知伪造类型与训练类型不同（如训练是人脸重演，测试是身份替换），模型仍保持高准确率（AUROC > 0.80）。
任务 B：检测已知深度伪造 (Known Deepfake Classification)
- 设置： 评估模型对已知伪造方法的分类能力。
- 结果： 在 FaceSwap (FS) 上达到 99.43% AUROC，在 DeepFakes (DF) 上达到 98.63%。虽然部分略低于纯闭集模型，但在开放集设定下表现极具竞争力，证明了特征的可迁移性。
任务 C：检测所有深度伪造 (Deepfake Detection as a Single Category)
- 设置： 将“已知伪造”和“未知伪造”合并为一类（Fake），与“真实”区分。使用 TOSC (True Open-Set Classification) 准确率指标。
- 结果： 提出的模型在多个未知类上达到了 SOTA 水平。例如在 DF 类上达到 83.95%，F2F 类达到 79.77%，均优于现有文献中的 Fusion、Xception 等方法。
跨数据集评估 (Cross-Dataset)
- 在 CelebDF 数据集上，模型作为通用伪造检测器，表现优于 Meso4、Face X-ray 等主流方法，证明了其在不同数据分布下的泛化潜力（尽管在跨域真实图像分类上仍存在一定挑战）。
消融实验 (Ablation Studies)
- 对比了交叉熵（CE）、SIMCLR 和提出的加权 SupCon。t-SNE 可视化显示，加权 SupCon 能最好地将未知类（黄色）与真实类（绿色）分离，避免了未知样本被误判为真实样本。

5. 意义与未来展望 (Significance & Future Work)

意义：

范式转变： 该论文推动了深度伪造检测从“非此即彼（真/假）”的二元分类向更务实的“真/已知假/未知假”三元分类转变。
安全性提升： 能够识别未知伪造技术，防止新型攻击手段绕过检测系统，为取证专家提供了早期预警机制。
技术验证： 证明了通过优化特征空间的几何结构（如增强真实类的紧凑性），可以有效解决开放集识别中的分布偏移问题。

局限性与未来工作：

域偏移敏感性： 跨数据集实验表明，当真实训练数据和测试数据的分布存在显著差异（如光照、压缩伪影、人口统计学特征）时，性能会下降。
未来方向：
- 探索视频级别的检测方法，利用时序信息增强鲁棒性。
- 引入更局部化的面部特征先验（Localized Priors）。
- 结合少样本学习（Few-shot Learning）或持续学习（Continual Learning），以便在获得少量新数据时快速适应新的伪造技术。

总结：
这篇论文提出了一种创新的开放集深度伪造检测框架，通过改进的监督对比学习策略，成功解决了传统模型无法识别未知伪造技术的痛点。实验结果表明，该方法在保持对已知伪造高检测率的同时，显著提升了对未知威胁的识别能力，为构建更安全的数字内容生态系统提供了重要的技术支撑。