🤖 AI

VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection

该论文介绍了 VendorBench-100，这是一个统一的跨范式基准测试，通过一个精选的 100 张图像语料库，对商业 API、视觉语言模型以及开源检测器中的 36 个深度伪造检测模型进行了评估，结果表明，尽管商业 API 在中位数性能方面领先，但在排序能力（ROC-AUC）与可靠决策能力（MCC）之间存在关键性的分歧。

原作者： Sharayu N. Deshmukh, Md Rashidunnabi, Nelton Tiago Gemo, Kurundkar G. D., Mahamune M. R., Nilesh K. Deshmukh

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sharayu N. Deshmukh, Md Rashidunnabi, Nelton Tiago Gemo, Kurundkar G. D., Mahamune M. R., Nilesh K. Deshmukh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名安保团队的经理。你的工作是识别那些用来欺骗人们的假照片（深度伪造/deepfakes）。你有三种截然不同的保安类型可以雇佣：

高科技专业人士（商业 API）： 你向像“Neural Defend”或“Reality Defender”这样的公司付费，让他们来检查照片。他们接受过专门针对这项工作的昂贵且专业的训练。
聪明的一般主义者（视觉大语言模型/Vision LLMs）： 你向一个超级聪明的 AI 助手（比如一个能看图的聊天机器人）寻求猜测。他们并非专门为了识别伪造而训练的，但他们非常聪明，并且能够对所见之物进行推理。
DIY 爱好者（开源检测器）： 你下载由研究人员和爱好者制作的免费工具。其中一些非常出色，另一些则漏洞百出，而且它们都在你自己的电脑上运行。

问题在于，从来没有人把这三类人放在同一个房间里参加同样的测试。因为“专业人士”有他们自己的报告，“一般主义者”有通用的测试分数，而“DIY 圈子”则有他们自己的排行榜。这就像是在拿赛车的圈速与卡车在高速公路上的速度进行比较，然后称它们都“很快”。

论文的核心思想：“VendorBench-100”测试
作者决定构建一个单一、不公平且极其困难的测试，以看看谁才是真正的赢家。他们并没有只做一个包含 1,000 张简单照片的测试。他们精心挑选了 100 张特定的、棘手的照片，旨在让这些系统崩溃。

把这个测试想象成检测器的“生存课程”：

有些照片只是将一张脸换到了一个身体上，但背景是真实的。
有些是来自 AI 视频的帧，看起来就像普通的电影。
有些照片中，有人使用手机 App 对真实图片中的某一个微小部分进行了编辑。
有些照片很小、模糊且经过了重度压缩（就像通过短信发送的照片）。

他们让 36 种不同的模型（5 个专业模型、7 个一般主义者模型和 24 个 DIY 工具）通过了这个由 100 张照片组成的精确考验。

陷阱：为什么“准确率”是个骗子
这是本文最重要的部分，用一个简单的类比来解释。

想象一下，测试中有 79 张假照片和 21 张真照片。
如果你雇佣了一个懒惰的保安，他根本不去观察照片，而只是对每一张照片都大喊 “假的！”，会发生什么？

他会答对 79 张假照片。
他会答错 21 张真照片。
他的“准确率（Accuracy）”得分将是 79%。这听起来很棒！

但实际上，这个保安毫无用处。他只是根据概率在瞎猜。论文认为，仅仅看“准确率”就像是只根据厨师端出了多少盘菜来评判他，却忽略了食物是否可口。

因此，作者使用了一个更聪明的得分指标——MCC（马修斯相关系数）。只有当你同时答对假照片和真照片时，这个得分才会上升。它会惩罚那个只会盲目喊“假”的懒惰保安。

令人惊讶的结果
当他们根据这个更聪明的得分进行排名时，发现了以下情况：

专业人士基本胜出： 付费的商业服务通常表现最好。他们是最可靠的保安。
一般主义者处于中游： 聪明的聊天机器人表现尚可，但不如专业人士那样出色。
DIY 圈子表现参差不齐： 大多数免费工具的表现是最差的。然而，一些特定的免费工具在识别模式方面实际上比聪明的聊天机器人还要好。

大反转：“排序能力” vs. “决策能力”
这是本论文最大的发现。他们发现，一个模型可以非常擅长排序（将假照片排在真照片前面），但在决策（当你询问它是“真”还是“假”时做出判断）方面却表现糟糕。

“TruthScan”案例： 其中一个商业工具在排序方面非常出色。如果你给它 100 张照片的列表，它可以完美地按顺序将假照片与真照片分开。它的“排序得分（Ranking Score）”是所有模型中最高的。
问题在于： 但当要求它做出最终决定时，因为它太害怕错过任何假照片，所以它判定所有东西都是假的。它之所以测试失败，是因为它把所有的真照片都标记成了假货。

这就像机场里的金属探测器，它对任何东西都会发出警报——硬币、钥匙、皮带扣和枪支。它拥有完美的“排序能力”（它能找到所有的金属），但作为一名保安它是毫无用处的，因为它从不停止任何人通行。

总结
论文得出结论，你不能仅仅看一个数字（如排行榜得分）来决定使用哪个检测器。

如果你只看排序能力（Ranking），你可能会选出一个擅长分类但做决策却很糟糕的工具。
如果你只看准确率（Accuracy），你可能会选出一个只会不停猜“假”的懒惰工具。

要挑选合适的保安，你需要同时检查他们区分真假的能力，以及他们在做出最终判断时避免犯错的能力。作者发布了他们所有的资料和工具，以便其他人可以再次进行这些测试并验证结果。

技术摘要：VendorBench-100

问题陈述

合成媒体生成的快速民主化将检测深度伪造（deepfake）的负担从专门的取证实验室转移到了通用平台和个人手中。目前，三种不同的范式在试图填补这一检测空白方面展开竞争，但由于缺乏统一的评估协议，直接比较变得无法实现：

商业 API： 提供“黑盒”检测的专有服务，其准确性声明未经验证。
零样本视觉语言模型（LLMs）： 通用多模态模型，通过特定的提示词进行即兴伪造检测，无需特定训练。
开源检测器： 一个由学术检查点和社区分类器组成的碎片化生态系统，需要本地基础设施。

现有的基准测试通常孤立地评估这些范式，且往往使用大规模、同质化的数据集，这无法反映现实世界中流传的“混乱且具有对抗性的内容”。此外，像原始准确率这样的标准评估指标在不平衡数据集上具有误导性，且缺乏统一的框架来评估模型的排序能力（判别力）是否能转化为可靠的操作点决策（默认阈值准确度）。

方法论

作者引入了 VendorBench-100，这是一个统一的跨范式基准，旨在通过单一的固定对抗语料库来评估 36 个代表性模型，涵盖三个范式（5 个商业 API、7 个零样本视觉 LLM 和 24 个开源检测器）。

语料库

构成： 一个精选的 100 张图像集合（79 张伪造，21 张真实）。
设计理念： 优化目标为难度而非规模。每一张图像都经过手工挑选，旨在探测独特的、未被充分覆盖的失效模式，而非提供用于训练的统计效力。
边缘案例分类法： 79 张伪造图像涵盖了八个不同的家族：
1. 真人换脸造成的模糊（与网络摄像头运动模糊纠缠在一起）。
2. 近乎重复的在线换脸（全局统计特征保持真实）。
3. 带信箱黑边的文本生成视频静态图（电影级调色模仿了后期处理）。
4. AI 头像合成接缝（频率检测器容易忽略的发光轮廓）。
5. 完全合成的文本生成图像输出（高分辨率、写实）。
6. 真实场景中的设备端 AI 照片编辑（在真实背景中的局部合成）。
7. 不透明来源的篡改（工具未知）。
8. 压缩后的研究数据集帧（低分辨率、蜡质皮肤融合）。
防泄露机制： 图像以中性的数字文件名提供，以防止模型（尤其是 LLM）从元数据中推断标签。

评估协议

统一架构： 所有模型都被归一化为一个共享的输出记录，包含硬标签（FAKE/REAL）、置信度分数 $P(fake) \in [0, 1]$ 以及成功标志。
指标：
- 主要指标： 马修斯相关系数 (MCC)。选择该指标是因为 79:21 的类别不平衡使得原始准确率极易被操纵（例如，“始终预测为假”的预测器得分约为 79% 准确率，但 MCC 为 0.00）。MCC 考虑了类别平衡，并要求在两个类别上均表现出色。
- 决胜指标： ROC-AUC。一种与阈值无关的排序能力度量。
- 次要指标： 准确率（Accuracy）、F1 分数、精确率（Precision）、召回率（Recall）、特异度（Specificity）和覆盖度（Coverage）。
执行： 实时查询商业 API；通过共享的取证模式对视觉 LLM 进行零样本提示；并在 GPU 上运行开源检测器。

核心贡献

跨范式基准： 第一个通过单一对抗语料库和归一化架构，对商业、LLM 和开源赛道的 36 个模型进行统一评估的基准。
对抗性语料库构建： 一个围绕八个特定失效模式家族构建的、刻意设计的困难型 100 幅图像数据集，并附带来源登记和防泄露协议。
指标差异分析： 识别出排序能力（ROC-AUC）与操作点质量（MCC）之间存在持续且关键的背离，证明了强大的分数判别力并不保证可靠的默认阈值决策。
可复现性： 发布完整的评估框架、逐图证据以及聚合结果。

结果

评估揭示了一个复杂的格局：范式成员身份可以预测典型的性能表现，但无法预测单个模型的具体能力：

范式排序： 商业 API 通常获得最强的中位数性能，其次是视觉 LLM，开源赛道在中位数性能方面垫底。
例外情况： 单个开源模型在纯粹的排序能力上可以超越最好的视觉 LLM。具体而言，开源模型 DRCT 实现了 0.866 的 ROC-AUC，超过了所有的视觉 LLM（表现最好的是 Claude Opus 4.8，为 0.791）。
“准确率陷阱”： 几个模型通过默认倾向于多数类（“假”）获得了极高的准确率或 F1 分数。例如，zai_glm52（视觉 LLM）得分 71% 准确率和 0.83 F1，但其特异度为 0%，MCC 为负（-0.152），表明它将所有真实图像都标记为了假。
背离发现： 论文的核心经验发现是 ROC-AUC 与 MCC 之间的脱节：
- TruthScan (商业)： 实现了最高的 ROC-AUC (0.915)，但却是商业 API 中 MCC 最差的 (-0.130)，因为其默认阈值将几乎所有图像都标记为了假。
- Neural Defend (商业)： 实现了最高的 MCC (0.876)，但 ROC-AUC 接近随机水平 (0.516)，这表明其尽管决策校准出色，但底层分数分离能力较弱。
- 启示： 一个模型可以是一个优秀的排序器（高 AUC），但作为一个糟糕的决策者（低 MCC）在其实际部署的阈值下，反之亦然。

意义与主张

论文声称 VendorBench-100 从根本上将评估重点从孤立的排行榜排名转向了对检测器行为更细致的理解。

指标分歧是核心： 排序能力与操作点质量之间的背离被视为比任何单一模型排名更重要的发现。它证明了仅报告单一指标（如 AUC 或准确率）可能会系统性地误导对模型实际效用的描述。
实践指导： 对于从业者，该基准表明采购决策必须权衡 MCC 和 ROC-AUC。依赖单一指标可能会导致部署一个要么不可靠（高 AUC，低 MCC），要么保守到毫无用处（低 AUC，高特异度但低召回率）的模型。
范式细微差别： 虽然商业 API 平均表现领先，但研究反驳了开源检测器普遍劣于通用基础模型的观点，表明精心设计的学术方法（如 DRCT）在竞争中依然具备实力。
局限性： 作者明确指出，结果是来自单个小型（100 幅图像）对抗性语料库的诊断信号。他们并不声称这些结果代表了总体水平的准确率估计，也未进行针对 630 次所有可能的两两比较的统计显著性检验。该语料库旨在作为压力测试以发现失效模式，而非作为人口统计学意义上的基准。

总之，论文认为该领域必须转向统一、可复现且多指标的评估，在进行跨范式比较时，应优先考虑公平性，而非仅仅关注孤立的排行榜分数。

技术摘要：VendorBench-100

问题陈述

方法论

语料库

评估协议

核心贡献

结果

意义与主张

类似论文