在现代数字景观中，出现了一种新型的视觉诡计，即人工智能可以进行换脸或模仿表情，其逼真程度之高，往往使肉眼难以分辨其与现实的区别。这些被称为“深度伪造”（deepfakes）的伪造视频，为任何试图验证真实与虚假的人——无论是新闻从业者、法律证据提供者还是社交媒体用户——都带来了重大挑战。多年来，研究人员一直致力于构建旨在识别这些伪造内容的计算机程序，但一个持久的问题始终存在：一个在某一组测试视频上表现完美的程序，在面对另一组不同的视频时往往会表现得一败涂地。这种在受控实验室环境与混乱现实世界之间的表现差距，正是本研究试图解决的核心谜题。研究人员想要探究，这种失败究竟是因为计算机构建方式的特定原因，还是由于数据本身的性质以及测试进行方式所导致的深层问题。
为了调查这一点，研究员萨马斯·库克雷贾（Samarth Kukreja）设计了一个高度受控的实验，以剥离通常会干扰此类比较的变量。该研究并未从头开始构建一个全新的、复杂的检测器，而是使用了一种标准的、可靠的视频处理方法：提取视频帧、寻找人脸，并将其裁剪出来进行单独检查。随后，研究使用了五种不同类型的计算机视觉模型（它们充当系统的“眼睛”）通过这一完全相同的流程进行测试。这些模型涵盖了从较旧的、成熟的设计到较新的、更高效的架构，并且它们都在相同的规则下使用相同的数据进行训练。其目标是观察是否某种特定类型的“眼睛”天生更擅长识别伪造，或者结果更多地取决于所使用的数据集。实验涉及在一个视频集上进行训练，然后在其他集合上进行测试，其中包括一个模型从未见过的完全独立的数据库，以此模拟遇到新型伪造情况的现实场景。
结果揭示了一个微妙的图景，挑战了“存在单一优越技术来解决该问题”这一普遍假设。当模型在与其训练类型相同的数据上进行测试时，一种名为 ConvNeXt-Tiny 的现代设计显示出了最高分，紧随其后的是被称为 ResNet-50 的标准模型。然而，当研究人员应用严格的统计检查以观察这种差异是否真正具有意义时，这两个模型之间的差距消失了；它们的表现基本一致。更重要的是，当模型被要求在完全不同的数据集（模拟现实世界的部署场景）中识别伪造内容时，所有模型的性能都显著下降。这种下降在一种特定方向上极其严重——即一个在某一数据集上训练的模型尝试检测另一数据集中的伪造内容时，系统的表现几乎仅比随机猜测好一点。这表明，计算机模型的选择远不如训练数据与测试数据之间的对齐关系重要。
研究还探索了两种更简单、低成本的想法，以观察它们是否能提升性能。一种方法仅观察图像中的频率模式，类似于收音机接收特定信号的方式；另一种方法则尝试结合单个帧的分数来对整个视频做出判断。这两项附加手段都没有改变根本结果。基于频率的模型显示出一定的跨数据迁移能力，但仍落后于主流模型。结合分数的法也未能一致地改善结果。此外，当研究人员测试这些系统如何处理常见的图像问题（如模糊、噪声或压缩）时，检测器的可靠性大幅下降。这表明目前的系统非常脆弱，容易受到网络分享过程中自然发生的图像退化现象的影响。
最终，论文得出结论，寻找单一、完美的深度伪造检测器可能是一个复杂的挑战。这些系统的性能不仅取决于选择了哪种神经网络架构，还深受用于训练和测试的具体视频类型的影响，以及为了防止计算机记住特定面孔而进行的严格数据隔离程度的影响。研究发现，虽然某些模型在理论上看起来稍好，但这些差异往往在统计学上并不显著，且所有模型在面对未训练过的数据时都会表现挣扎。最关键的启示是，深度伪造检测器的可靠性更多地取决于它所学习数据的质量和多样性，以及测试过程的严谨性，而非所使用的特定计算机视觉模型的品牌。在这些系统能够应对现实世界中广泛的多样化情况而不失效之前，实验室成功与实际应用价值之间的差距将依然巨大。
技术摘要：深度伪造检测中的跨数据集泛化能力
问题陈述
深度伪造（Deepfake）检测器通常在分布内（in-distribution）基准测试中表现出高准确率，但在面对来自不同数据集、由不同方法操纵或受常见图像损坏影响的视频时，往往难以实现泛化。尽管先前的综述已经识别了分布内得分与跨数据集可靠性之间的差距，但本研究专注于一个特定的、受控的问题：在预处理、评估协议和训练方案固定的情况下，仅靠图像骨干网络（backbone）的选择会在多大程度上影响在数据集偏移下的泛化性能。本研究旨在应对现实情况，即审核和取证系统很少能遇到与其训练数据完全相同的分布。
研究方法
本研究采用了一种受控的、单种子实验设计，通过固定的面部裁剪流水线来隔离骨干网络架构的影响。
- 流水线： 对视频进行采样（每10帧采样一次），使用 MTCNN 进行人脸检测与裁剪（置信度 ≥ 0.95，侧边 ≥ 60px，20% 填充），并将裁剪后的图像调整为 224×224。来自单个源视频的面部裁剪被保留在同一个数据拆分中，以防止数据泄露。
- 骨干网络： 评估了五种经过 ImageNet 预训练的 RGB 骨干网络，并使用一致的微调方案（二元交叉熵、标签平滑、AdamW、余弦退火、渐进式解冻）：
- EfficientNet-B4
- Xception
- ResNet-50
- ConvNeXt-Tiny
- Vision Transformer (ViT)-Base
- 实验设置： 使用了四种不同的评估协议：
- Exp1（分布内）： 在 FaceForensics++ (FF++) 上进行源视频不相交拆分（训练/验证/测试：720/140/140 个视频）。
- Exp2（跨数据集）： 在 FF++ 上训练，在 Celeb-DF (v2) 上测试。
- Exp3（反向迁移）： 在 Celeb-DF 上训练，在 FF++ 上测试。
- Exp4（留出领域）： 在 FF++ + Celeb-DF 上训练，在 DeepFake Detection (DFD) 上测试。
- 评估指标： 通过按每个源视频聚合面部裁剪得分（平均概率）来计算视频级指标。关键指标包括准确率（Accuracy）、AUC、F1 分数、等错误率（EER）以及 95% Bootstrap 置信区间。通过配对 McNemar 检验和带有 Holm–Bonroni 校正的 Bootstrap 重采样进行统计显著性评估。
- 探测器（Probes）： 添加了两个低成本的探索性基准：一个仅基于频率的 ResNet-18（使用 DCT 对数幅度输入）和一个得分级时间聚合基准（对裁剪得分的统计量进行逻辑回归）。
主要结果
- 骨干网络性能： ConvNeXt-Tiny 在 Exp1 (0.957)、Exp2 (0.806) 和 Exp4 (0.915) 中取得了最高的 AUC 点估计值。ResNet-50 紧随其后（分别为 0.924, 0.799, 0.812）。然而，经过 Holm 校正后的配对统计检验表明，在 Exp1 和 Exp2 中，ConvNeXt-Tiny 与 ResNet-50 之间的差异并不具有统计学显著性。在常用的训练方案下，ViT-Base 并未表现领先。
- 泛化差距： 所有骨干网络在从分布内转向跨数据集设置时都表现出性能下降。
- FF++ → Celeb-DF (Exp2)： 性能依然可用，但显著下降（AUC 范围为 0.57–0.81）。
- Celeb-DF → FF++ (Exp3)： 这种反向迁移是最弱的，大多数骨干网络的表现接近随机水平（AUC 范围为 0.50–0.59）。ResNet-50 是唯一一个置信区间略高于 0.5 的模型。
- 混合训练 → DFD (Exp4)： 在 FF++ 和 Celeb-DF 混合训练的模型在留出的 DFD 数据集上保持了合理的判别能力（AUC 范围为 0.71–0.91）。
- 探测器与鲁棒性：
- 仅基于频率的 ResNet-18 尽管在分布内性能较低，但在 Exp2 中展现出一定的迁移能力（AUC 0.752），但它并未超越最强的 RGB 模型。
- 得分级时间探测器并未一致地比均值聚合带来更好的性能提升，在某些情况下甚至降低了 AUC。
- 损坏（Corruption）： 加性噪声是最具破坏性的损坏，在 Exp1 中使 AUC 下降了高达 0.41。JPEG 压缩、模糊和降采样也会降低性能，尽管不同实验中的影响顺序有所不同。
意义与主张
本文将自身定位为一项受控的骨干网络研究，而非提出一种新的检测器架构。其主要主张较为克制且聚焦于评估的严谨性：
- 评估协议至关重要： 源领域覆盖度、泄露控制（特别是源视频不相交拆分）以及视频级评估，对于观察到的泛化能力而言，其重要性至少与骨干网络的选择相当。
- 没有普适的赢家： 虽然 ConvNeXt-Tiny 显示出最佳的点估计值，但考虑到单种子训练的限制以及在关键迁移场景下与 ResNet-50 缺乏统计学显著差异，本研究并不声称其为一种普遍优越的架构。
- 分布内性能高估： 高分布内得分（例如在 FF++ 上）高估了部署时的性能；跨数据集的结果揭示了巨大的可靠性差距。
- 诊断价值： 本研究作为基准流水线的诊断工具，强调了当面临数据集偏移时，即使是不同的架构，性能下降也是一致的，这表明仅靠改变架构不足以解决泛化问题，必须同时解决数据分布和评估协议的问题。
作者注明的局限性
研究承认结果是基于单次训练种子，因此无法得出关于运行间稳定性的结论。时间探测器具有探索性质，且受到检测器检查点变化的干扰。损坏研究未包含对抗性攻击或平台特定的重编码。建议未来的工作包括使用多个种子、专门的频率或时间分支，以及更广泛的数据集对（如 DFDC）。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。