Explainable Deepfake Detection with Feature-robust Augmentation and Evidence-grounded Explanation Optimization
本文提出了一种用于可解释深度伪造检测的新型框架，该框架通过结合特征鲁棒性增强与监督对比学习来增强对图像退化的抵御能力，并采用基于证据的偏好优化来生成事实准确的解释，从而在 ACM Multimedia 2026 可解释深度伪造检测挑战赛中荣获第一名。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字时代，真实与虚构之间的界限已变得日益模糊。生成式人工智能的发展已达到如此程度，能够创造出与相机拍摄的照片几乎无法区分的图像。这些被制造出来的图像通常被称为“深度伪造”（deepfakes），它们对新闻的完整性、法律证据以及个人信任构成了严重威胁。多年来，研究人员一直致力于构建能够仅通过显示一张图像就给出“是”或“否”结论的计算机程序，以判定图像是真实的还是伪造的。然而，在现实世界中，一个简单的定论往往是不够的。法证专家或事实核查人员需要知道图像为何可疑。他们需要看到具体的视觉线索——不自然的阴影、扭曲的纹理或不可能存在的几何结构——这些线索揭示了欺骗行为。这种需求催生了一个新的研究领域：可解释检测（explainable detection），其目标不仅是发现伪造，还要向人类观察者清晰地解释证据。
尽管这一领域取得了进展，但现有的系统仍面临着限制其用途的两大难题。首先，这些系统通常非常脆弱；如果图像稍微模糊、经过压缩或质量较低，检测器的准确性就会崩溃。其次，当这些系统试图解释其推理过程时，往往无法言之有据。它们可能会忽略实际的篡改证据，或者更糟的是，凭空捏造不存在的细节，这种行为被称为“幻觉”（hallucination）。来自北京大学的一个研究小组通过一种全新的框架解决了这些问题，该框架在 2026 年 ACM 多媒体可解释深度伪造检测挑战赛中荣获第一名。他们的方案不仅提高了识别伪造的能力，还确保了即使在图像质量较差的情况下系统依然可靠，并强制要求解释必须严格基于图像中发现的事实证据。
研究人员首先从解决图像质量问题入手。在现实世界中，图像很少是完美的；它们经常被调整大小、压缩或受到噪声干扰。该团队发现，训练计算机识别伪造的标准方法在面对过多类型的图像失真时往往会适得其反。计算机并没有学会识别伪造，反而会被各种变化所迷惑，作者将这种现象描述为“特征漂移”（feature drift）。为了解决这个问题，他们开发了一种训练方法，在向模型展示大量退化图像的同时，教导它保持对真实或伪造图像稳定理解的能力。他们使用了一种“教师”模型（即学习模型的平滑、稳定版本）来引导“学生”模型的技术。这确保了无论图像如何扭曲，计算机对图像的内部表示都能保持一致。这使得系统即使在图像质量较差时也能准确检测深度伪造，而这是以往模型所缺乏的能力。
一旦系统能够可靠地检测出伪造，下一个挑战就是解释原因。研究人员观察到，标准的解释模型生成的答案往往听起来看似合理，但在事实上是错误的。它们可能会关注无关的细节（如衬衫的颜色），却忽略了实际的篡改之处（如变形的手部）。为了解决这个问题，团队创建了一种新的训练过程，教导模型重视“真相”而非“风格”。他们构建了一个数据集，其中计算机会被展示成对的解释：一个是完整且准确的，另一个是存在缺陷的。这些有缺陷的示例经过专门设计，旨在模拟常见的错误，例如遗漏关键证据或添加编造的细节。通过训练模型去偏好准确的解释并拒绝有缺陷的解释，系统学会了优先考虑真实的篡改痕迹。这种被称为“偏好优化”（preference optimization）的过程有效地过滤掉了幻觉，并迫使模型将其推理建立在图像中实际存在的视觉证据之上。
结果是一个既稳健又诚实的系统。在利用一百万张图像的大规模数据集进行的测试中，该新框架的表现优于所有竞争对手，包括来自大型科技公司的基准模型。它在检测深度伪造以及生成在语义上忠实于证据的解释方面，都取得了最高分。研究人员还开发了该模型的第二个精简版本，适用于速度和简洁性比详细分析更重要的场景。该版本经过训练，能够提供关于最关键线索的简明摘要，在准确性与快速可读性之间取得了平衡。这项工作的成功证明，构建不仅能洞察真相、还能清晰解释真相，且不会被低质量图像或自身捏造事实的倾向所误导的人工智能是可能的。这一进步为法证分析师和公众提供了一个更可靠的工具，通过使检测过程透明化且基于证据，有助于恢复对数字媒体的信任。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。