想象一下，互联网就像一个巨大、繁忙的城镇广场，每个人都在那里分享照片。多年来，这个广场充满了真实的生活快照。但最近，一种新的“魔法”出现了：AI 生成器可以绘制出如此完美的图像，以至于它们看起来就像真实的摄影作品。这就像拥有一个机器人艺术家，它能画出一只猫、一辆车或一个人，且画得如此逼真，以至于你无法分辨它是否真的存在过。这给这个城镇带来了一个棘手的问题：我们如何知道什么是真实的，什么是巧妙的伪造品？科学家们一直在构建用于检测图像的“测谎仪”，但许多这类检测器就像是过时的保安，只知道如何识别来自特定、陈旧艺术学校的伪造品。当伪造品来自高科技工作室，或者照片被轻微编辑（比如改变衬衫颜色或更换面部）时，它们往往会感到困惑。它们还难以解释为什么认为某张照片是伪造的，通常只是给出模糊的“看起来不对劲”的结论，而无法指出具体的线索。

这篇论文介绍了一个全新的、功能强大的侦探团队——So-Fake，以及一种聪明的新策略——So-Fake-R1，旨在解决这个谜团。研究人员构建了一个包含约 200 万张图像 的庞大训练场，涵盖了 12 种不同类型的场景（如人物、动物、食物和建筑），并教会了他们的系统识别三种类型的图像：真实的图像、完全由 AI 生成的图像，以及被篡改过的真实照片。但真正的考验是名为 So-Fake-OOD 的“突击考试”，其中包含了来自真实社交媒体网站和系统从未见过的全新 AI 工具的 10 万张图像。与其仅仅进行猜测，他们的新方法使用了一个三人小组：一位观察全局的视觉观察员（Visual Observer），一位寻找微小、不可见瑕疵（如奇怪的纹理或破碎边缘）的取证证据提供者（Forensic Evidence Provider），以及一位充当法官的决策者（Decision Maker）。如果前两者达成一致，案件即告结案。如果他们意见不一，法官就会介入，重新检查照片和线索，做出最终裁决。结果是：这个新团队在识别互联网上的伪造品方面表现得更出色，即使面对它们从未见过的工具制造的伪造品，它们也能准确指出伪造部分的位置并解释原因。

大局观：为什么我们需要更好的测谎仪

把互联网想象成一个巨大的图书馆。长期以来，书（照片）都是由人类编写的。但现在，机器人可以编写看起来与人类作品完全一样的书。问题在于，其中一些机器人书籍充满了谎言，而我们需要知道哪些是真实的。

科学家们一直试图构建“取证扫描仪”来捕捉这些机器人书籍。然而，大多数扫描仪有两个重大弱点：

1. 它们太狭隘了： 许多扫描仪只观察面部。如果机器人画了一幅假的风景画或一辆假的汽车，扫描仪可能会完全错过。
2. 它们很容易被愚弄： 如果机器人使用一种新的技巧来制造伪造品，旧的扫描仪就会感到困惑。这就像一个只知道如何识别 2010 年假身份证，却对 2025 年假身份证一窍不通的保安。

此外，当这些扫描仪说“这是伪造的”时，它们往往无法解释为什么。它们只是给出一个是或否的答案，如果你需要知道什么地方被修改了，这并无帮助。

新的侦探团队：So-Fake 和 So-Fake-R1

本文作者决定构建一个更好的系统。他们不仅构建了一个新的扫描仪，还构建了一个全新的训练场和一套全新的思考方式。

1. 训练场：So-Fake

想象一下你正在训练一只猎犬去抓坏人。如果你只针对一种类型的坏人进行训练（比如戴红帽子的人），那么当它看到一个戴蓝帽子的人时，它就会失败。研究人员意识到，他们需要针对一切来训练他们的 AI。

他们创建了 So-Fake，它包含两个部分：

• So-Fake-Set（练习场）： 这是一个包含 200 万张图像 的庞大集合。它包括真实照片、完全由 AI 生成的照片，以及被编辑过的真实照片（如更换人的头部或改变背景）。他们覆盖了 12 个不同类别，从面部、动物到食物、车辆和艺术品。他们使用了 30 种不同的 AI 工具 来制作伪造品，确保系统学会识别多种不同的伪造风格。
• So-Fake-OOD（突击考试）： 这是真正的测试。它包含 10 万张图像，这些图像取自真实的社交媒体网站（如 Reddit、Instagram 和 X），以及由 15 种全新的商业 AI 工具 生成的伪造品，而系统此前从未见过这些工具。这模拟了现实世界中新伪造品层出不穷的情况。

目标是观察系统能否处理“未知”。大多数旧系统在这里都会失败，因为它们记住了训练数据中的特定模式。这个新系统必须学习的是“伪造”这一概念，而不仅仅是某种特定的外观。

2. 策略：So-Fake-R1

研究人员并没有使用一个巨大的大脑来完成所有事情，而是创建了一个由三位专家组成的团队协同工作。这是他们新方法 So-Fake-R1 的核心。

• 视觉观察员（大局观专家）： 这部分观察整张图像，并询问：“这个场景合理吗？”它检查图像所讲述的故事。例如，如果一张照片显示一个人站在云端，观察员可能会说：“这看起来很可疑。”它提供的是高层级的观点。
• 取证证据提供者（显微镜专家）： 这部分不在乎故事，它只在乎像素。它通过放大来寻找人类看不见的微小瑕疵。也许墙壁的纹理看起来过于平滑，或者阴影与光线不匹配。它提供硬性的、物理层面的证据。
• 决策者（法官）： 这是老板。他听取观察员和提供者的意见。
  • 证据门槛（Evidence Gate）： 在法官介入之前，一个简单的规则会检查观察员和提供者是否达成一致。如果两人都说“真实”且证据充分，门槛会判定：“案情已明，是真实的。”如果两人都说“伪造”且证据充分，则判定为“伪造”。
  • 仲裁（Arbitration）： 如果他们意见不一（例如，观察员说“真实”，但提供者发现了瑕疵），或者证据不足，门槛会将案件发送给决策者。法官随后会结合原始照片以及另外两人的报告，进行再次审查，并做出最终裁决。

这种“团队协作方式”至关重要。它通过防止系统仅依赖单一类型的线索而导致错误。

他们的发现

研究人员将他们的新团队与许多现有方法进行了对比测试。结果如下：

• 更擅长识别未知事物： 在使用全新的 AI 工具和真实社交媒体照片进行的“突击考试”（So-Fake-OOD）中，新团队取得了 72.0% 的平衡准确率。这显著高于排名第二的方法，后者低了约 6.4 个百分点。这表明，同时观察宏观场景和微观细节有助于系统更好地处理新型伪造品。
• 更擅长定位伪造部分： 当系统需要指出照片中具体哪里被编辑时（定位能力），它获得了 47.8 IoU（衡量高亮区域与真实伪造区域匹配程度的指标）。排名第二的方法比它低了 6.3 个百分点。这意味着新团队不仅能说“这是伪造的”，还能指出具体的地点，比如更换的面部或替换的对象。
• 更擅长解释原因： 系统还生成了对其决策的解释。与其它方法相比，人类评估者在 55% 的时间里 更倾向于接受新团队给出的解释。这些解释更多地基于实际的视觉证据，而非仅仅是猜测。
• 对社交媒体手段的鲁棒性： 互联网上的真实照片经常会被压缩、调整大小或重新上传，这会模糊掉线索。新团队在这些条件下表现得比旧方法更稳健，性能下降极小，而其他方法则出现了显著下降。

论文排除了哪些可能性

论文明确反驳了以下几种常见观点：

• “一刀切”的检测器： 他们证明，试图在一个模型中同时完成检测、定位和解释任务的做法，往往会产生“看似合理但缺乏深度依据”的理由。这就像一个猜对了答案但无法展示解题过程的学生。因此，采用团队协作的方法对于分离这些任务是必要的。
• 仅关注面部的做法： 他们证明，仅在面部数据上训练的检测器在测试风景、动物或物体时会表现得一塌糊涂。一个优秀的检测器必须在广泛的内容上进行训练，而不只是面部。
• 针对特定生成器的训练： 他们发现，如果检测器仅针对某一种特定 AI 工具（如某个版本的 Stable Diffusion）生成的伪造品进行训练，那么在测试其他工具生成的伪造品时就会失败。系统需要接触大量的生成器，才能学习到伪造的一般规律。

我们有多大的把握？

作者对他们的结果非常有信心，因为他们进行了严格的测试。他们不仅仅是模拟了一些例子，而是测试了 200 万张训练图像 和 10 万张测试图像。他们将自己的方法与 许多现有的方法（超过 20 种基准方法）进行了对比。结果显示，在检测、定位和解释方面，该方法都取得了持续性的提升。

然而，他们也谨慎地指出，这只是一个基准（benchmark）和一种研究方法。他们并不声称已经永远“解决”了图像伪造问题。AI 正在飞速进化，新的工具总会出现。但他们的工作表明，相比于旧的“单脑”方法，基于团队协作和证据支撑的方法是一种更强大的对抗伪造的方式。

简而言之，这篇论文的核心观点是：“要抓住最聪明的伪造者，你需要一个既看整体故事、又查微观细节，还有一个聪明法官来解决争端的团队。而且，你需要用各种各样的东西来训练他们，而不只是盯着脸看。”