🤖 AI

Defake-o3: From Speculative Rationales to Verifiable Evidence for Explainable AIGI Detection

本文介绍了 Defake-o3，这是一种可解释的 AI 生成图像检测器，它通过将迭代视觉搜索与人类训练的证据验证器（Evidence Verifier）相结合，利用新的 GroundFake 数据集和 FakeFrontier 基准测试，以可验证的视觉证据取代了推测性的理由。

原作者： Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在过去的几年里，计算机已经学会了创造出与相机拍摄的照片几乎无法区分的图像。这些合成图像通常被称为 AI 生成图像，它们展示的人物、风景和物体具有极高的真实感，以至于肉眼很难将其与现实区分开来。虽然这项技术为艺术家和设计师提供了新的工具，但也带来了一个重大问题：如果我们无法轻易识别伪造品，我们就无法信任所见之物。这促使研究人员开发检测器，即旨在发现揭示图像由机器制作的细微线索的自动化系统。长期以来，这些检测器就像一个“黑箱”：它们会观察一张图片并直接给出“真实”或“伪造”的结论，却不提供任何解释。这种缺乏透明度的现象使得人们很难信任其结果，尤其是在风险较高的场合。最近，科学家们尝试赋予这些系统一种“声音”，要求它们用通俗易懂的语言解释其推理过程。然而，这些解释往往只是猜测或模糊的观察，无法被核实，导致用户虽然得到了结论，却没有任何证据。

上海交通大学的一个研究小组开发了一种名为 Defake-o3 的新系统，它改变了这些检测器的工作方式。Defake-o3 不再进行猜测或提供模糊的描述，而是旨在寻找可以被人眼看到并验证的具体视觉证据。其核心理念是从推测性推理转向可验证的证据。想象一个人试图寻找一幅画作中的瑕疵；他可能会先看整幅画，但如果想要确定，他就需要靠近画布去检查笔触。Defake-o3 正是如此。它使用一种交互式过程：首先观察整个图像，然后决定放大观察看起来可疑的特定区域。它重复这个过程，不断向精细细节靠近，直到发现某些明显不属于原物的东西。

该系统由两个主要部分组成。第一部分是视觉搜索的能力。当系统看到一张图像时，它并不会从头到尾扫描一遍，而是像一名细心的调查员一样，选择放大特定的位置，例如标牌上的文字、手的纹理或汽车的轮子。通过放大这些区域，它可以发现全图中不可见的微小错误，例如挤在一起的字母或融入背景中的物体。第二部分是一个内置的检查机制，确保系统不会凭空捏造。研究人员使用数千个案例训练了一个专门的“验证器”，在这些案例中，人类已经确认了某个特定细节究竟是真实的缺陷还是错误。这个验证器充当法官的角色，当系统发现基于实际图像的证据时给予奖励，当系统捏造不存在的缺陷时予以惩罚。这种训练确保了系统只报告它确实能看到的内容。

为了教导这个系统如何工作，研究人员创建了一个名为 GroundFake 的新数据集。该集合包含 16,000 张图像，在真实照片和 AI 生成图像之间均匀分配。这个数据集的特别之处在于，它包含了关于缺陷具体在哪里以及长什么样的详细注释，并经过人类专家的验证。研究人员还建立了一个新的测试场，名为 FakeFrontier，其中包含了来自十种非常近期的、系统从未见过的 AI 生成器的图像。这使得他们能够测试系统是否能够处理最新的技术，而不仅仅是它训练过的旧案例。

结果显示，Defake-o3 在寻找伪造品和解释原因方面都显著优于以往。在训练数据集上，它以极高的准确率正确识别了伪造图像，更重要的是，它提供的证据要精确得多。当系统判定一张图像为伪造时，它可以指向一个特定的位置，比如帽子上扭曲的标志或标牌上毫无意义的文字，并准确描述错误所在。在针对未见过的全新生成器的测试中，该系统表现依然出色，成功识别出了其他方法错过的伪造图像。当研究人员要求其他先进的 AI 模型来评判 Defake-o3 提供证据的质量时，发现它比以往系统的解释更具说服力且更有依据。那些旧系统往往给出模糊的答案，例如说图像看起来“太光滑”却不指出位置，或者凭空捏造并不存在的缺陷。相比之下，Defake-o3 提供了少量强有力且具体的证据，人类可以通过观察图像本身轻松验证。

研究还探讨了当系统没有验证器引导或不允许放大观察时会发生什么。如果没有缩放功能，系统很难发现隐藏在细节中的微妙缺陷。如果没有验证器，它往往会为自己的决策编造理由，即使它是错误的。这证实了交互式搜索和严格的证据检查对于系统的运作都是必要的。研究人员发现，最佳性能来自于平衡系统自身的观察与验证器的引导，确保它不会过度依赖简单的词汇匹配或模式匹配，而是专注于实际的视觉真相。

这项工作代表了我们处理 AI 生成图像问题方式的一种转变。它不再认为计算机必须仅仅给出一个分数或一个猜测，而是转向一种模型，让计算机成为一个透明的合作伙伴，一步步展示其工作过程。通过结合“观察细节”的能力与“严格要求证据”的要求，该系统提供了一种此前所缺失的可靠性。研究人员得出结论：对于 AI 生成图像的检测要真正有用且值得信赖，它必须能够提供可以被看见并理解的证据，而不仅仅是一个无法核查的结论。Defake-o3 证明了这是可能的，它提供了一条路径，让我们通过一次次放大的细节，更清晰地洞察真相。

技术摘要：Defake-o3

1. 问题陈述

人工智能生成图像（AIGI）模型的快速发展产生了日益逼真的合成图像，这对公众信任构成了显著风险，可能导致虚假信息的传播。虽然基于卷积神经网络（CNN）和视觉 Transformer 的传统检测方法实现了高准确率，但它们属于“黑盒”机制，仅能提供真实性评分，而无法揭示其决策背后的视觉证据。

近期利用多模态大语言模型（MLLM）进行可解释检测的研究引入了自然语言理由（rationales）。然而，本文指出这些现有方法存在关键局限性：

推测性理由： 现有的 MLLM 检测器生成的解释往往是模糊、通用的，或者是基于幻觉的，而非基于特定视觉伪影的证据。
缺乏可验证性： 解释往往无法提供人类可以进行视觉验证的证据。
粒度不足： 标准 MLLM 通常执行单次、粗粒度的检查。由于输入分辨率限制和缺乏迭代探索，它们难以检测现代生成器留下的细微且局部化的缺陷。

因此，现有的解释往往缺乏依据、定位不准且难以验证，限制了它们在高风险场景中的可信度。

2. 方法论：Defake-o3

Defake-o3 是一种可解释的 AIGI 检测器，旨在实现从推测性理由向可验证证据的转变。它集成了两个核心组件：交互式视觉搜索和验证器引导的证据对齐。

2.1 交互式视觉搜索

Defake-o3 采用了迭代式的“以图思考”机制。该模型并非进行单次检查，而是利用**缩放工具（zoom-in tool）**动态地裁剪并放大可疑区域。这使得模型能够检查细粒度的细节，并发现全图编码时容易遗漏的细微伪影。该过程涉及多轮交互，模型需决定是缩放至特定区域（预测一个 2D 边界框），还是最终确定判定结果。

2.2 验证器引导的证据对齐

为了确保生成的证据有效而非幻觉，系统采用了在人类验证标注上训练的证据验证器（Evidence Verifier）。该验证器在强化学习（RL）过程中充当奖励模型。它评估所声称的证据是否满足以下条件：

视觉落地（Visually Grounded）： 文本描述与边界框内的内容准确匹配。
伪影特异性（Artifact-Specific）： 所描述的缺陷是针对 AI 生成的特定缺陷，而非真实照片的通用属性。

2.3 训练流水线

训练过程包含两个阶段：

监督微调（SFT）： 基于 GroundFake 数据集（见下文）对基础 MLLM 进行微调，使用经过人类过滤和轨迹修正的轨迹。此阶段教会模型使用缩放工具并生成结构化输出（判定、全局证据以及局部关键证据）。
强化学习（GRPO）： 使用群体相对策略优化（GRPO）对模型进行优化。奖励函数（ $R_{total}$ $R_{t o t a l}$ ）结合了：
- 分类奖励（ $R_{cls}$ ）： 最终判定的准确性。
- 证据奖励（ $R_{evi}$ ）： 一种混合指标，结合了基于规则的匹配（相对于参考标注的 IoU 和 BLEU）以及来自证据验证器的模型评分。验证器为证据项分配有效性分数，惩罚无根据的断言，并奖励有据可查且具有特异性的伪影。

3. 核心贡献

3.1 Defake-o3 框架

作者提出了一种结合了迭代视觉探索与验证器引导奖励机制的新颖架构。这种方法使模型能够产生由全局上下文支持并辅以局部、可验证的关键证据的结构化判定，从而有效地超越了模糊的理由。

3.2 GroundFake 数据集

为了支持有据可查的可解释检测，作者构建了 GroundFake，这是一个包含 16,000 张图像（8k 真、8k 假）的去偏置训练数据集。其关键特征包括：

偏差控制： 标准化的文件格式、长宽比、语义类别和审美质量，以防止模型学习特定来源的捷径。
人类验证标注： 局部边界框证据由人类标注员根据视觉落地和伪影特异性的严格标准进行人工验证。
修正轨迹： 推理过程的转录被重写，以确保与验证证据的一致性，消除了幻觉类主张。
双重监督： 该数据集提供了用于 SFT 的轨迹，以及用于训练证据验证器的有效/无效证据标签。

3.3 FakeFrontier 基准测试

作者引入了 FakeFrontier，这是一个包含 4,000 张图像（2k 真、2k 假）的分布外（OoD）基准测试，由 10 种最新的生成模型（包括 Nano Banana 和 Seedream 4.5）生成。与 GroundFake 不同，它缺乏人类证据标注，作为泛化能力的测试场。作者还提出了一个 基于 MLLM 的协议，在没有参考边界框的情况下评估证据的质量和说服力，通过多个评审模型来评估视觉落地能力以及说服评审判定为“假”的能力。

4. 实验结果

4.1 在 GroundFake 上的表现

在 GroundFake 测试集上，Defake-o3 达到了最先进的性能：

准确率/F1： 与所有对比方法中的最佳结果（0.992）持平。
证据质量： 在词汇重叠度（BLEU-1/2, ROUGE-L）和空间重叠度（IoU）方面均取得了最高的得分，表明其生成的证据比 FakeVLM、LEGION 和 FakeShield 等基线方法更精确且更有据可查。
消融实验： 与不含强化学习或不含缩放机制的变体相比，加入证据验证器和交互式搜索显著提升了 IoU 和分类准确率。

4.2 在 FakeFrontier 和 OoD 基准上的泛化能力

FakeFrontier： Defake-o3 实现了最高的分类准确率（0.9232）和 F1 分数（0.9246）。在基于 MLLM 的评估中，它在质量得分（QS）、Hit@Img（至少有一个证据项说服评审的图像比例）以及 Hit@Evi（具有说服力的证据项比例）方面均排名第一。这证明了其证据不仅准确，而且具有说服力且针对 AI 伪影。
外部 OoD 基准： Defake-o3 在 AIGI-Now、EvalGEN 和 MNW 上均优于所有基线（包括 CNNSpot 和 NPR 等黑盒检测器），准确率分别达到 0.9180、0.9872 和 0.8871。

4.3 定性分析

定性示例显示，通过迭代缩放，Defake-o3 能够成功识别特定的伪影（例如：无意义的文本、扭曲的对象、无效的时间戳），而基线方法通常只能提供模糊、全局或带有幻觉的解释。

5. 意义与主张

本文声称 Defake-o3 通过解决高检测准确率与解释可靠性之间的差距，代表了可解释 AIGI 检测迈出的重要一步。其主要意义在于：

从推测转向验证： 它推动该领域从生成看似合理但未经证实的理由，转向生成具有视觉落地依据且具有伪影特异性的证据。
增强可信度： 通过提供局部、可验证的证据，该系统使其决策对于人类而言是可解释且可审计的，这对于在高风险场景中的部署至关重要。
对分布偏移的鲁棒性： 交互式搜索与验证器引导对齐的结合，在不牺牲分类强度的前提下，提高了针对新的、未见生成器的鲁棒性。

作者总结道，他们的工作为训练和评估可解释检测器建立了新标准，强调了可验证证据是实现可信 AI 生成图像检测的必要组成部分。