Ivy-Fake: A Unified Explainable Framework and Benchmark for Image and Video AIGC Detection
本文介绍了 Ivy-Fake，这是一个包含超过 10.6 万个丰富标注样本的大规模多模态基准，以及 Ivy-xDetector，这是一个基于强化学习的模型，通过解决现有数据集和可解释性方面的局限性，实现了对 AI 生成图像和视频的最先进可解释检测。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网突然被计算机生成的极其逼真的照片和视频淹没。有些展示的是不存在的人，有些展示的是从未发生过的事件。这就像一场大规模的“找出伪造品”游戏，但伪造品变得如此逼真，以至于连我们的眼睛也无法再分辨真假。
本文介绍了一种名为Ivy-Fake的新解决方案，它本质上是一个专为破解这场游戏而设计的超级智能侦探系统。以下是其工作原理的简化分解：
1. 问题：二元“侦探”
在 Ivy-Fake 之前，大多数试图识别伪造品的计算机程序就像只拥有两个按钮的保安：“真实”或“伪造”。
- 如果保安看到伪造品，他们只会按下“伪造”按钮。
- 他们无法解释为什么。是因为奇怪的光线？多余的手指？还是背景中的故障？
- 由于无法解释其推理过程，人们很难信任它们，而且它们经常会被新型伪造品搞糊涂。
此外，它们使用的训练数据就像一本只有“对/错”答案的教科书。它们缺乏关于为何某物是伪造品的足够示例，尤其是在涉及随时间变化和移动的图像时。
2. 解决方案："Ivy-Fake"图书馆
作者构建了一个名为Ivy-Fake的庞大新训练材料库。
- 规模：它非常巨大，包含超过106,000个图像和视频示例。
- 细节：团队（在人工智能和人工审核者的协助下）没有仅仅将图片标记为“伪造”，而是为每一项内容撰写了详细的报告。
- 类比：与其只说“这辆车坏了”，该图书馆会说：“这辆车坏了，因为车轮在倒转，车灯在融化，而且司机有六根手指。”
- 分类：他们将这些“破损”线索组织成两个主要类别：
- 空间（静态画面）：在单帧画面中看起来错误的东西，如不可能的阴影、模糊的手部或看起来像乱码的文字。
- 时间（动态画面）：在物体移动时看起来错误的东西，如人物的脸在身体移动时冻结，或光线在帧与帧之间出现奇怪的闪烁。
3. 侦探：Ivy-xDetector
利用这个新图书馆，作者训练了一个名为Ivy-xDetector的新人工智能模型。
- 学习方式：他们不仅向模型输入图片，还教导它“大声思考”。模型必须在给出最终判决之前，写出逐步的推理链（就像侦探的笔记）。
- 训练方法：他们使用了一种称为强化学习的特殊技术。想象一个学生参加考试。
- 如果学生答对了并且写出了好的解释，他们就会得到一颗金星。
- 如果他们答对了但解释是胡言乱语，他们得不到金星。
- 如果他们答错了，也得不到金星。
- 这迫使模型不仅学习什么是伪造的，还要学习如何证明它是伪造的。
4. 结果：更智能、更快速
该论文声称，Ivy-xDetector 是一次重大升级：
- 看得更广：它既能识别照片中的伪造品，也能识别视频中的伪造品，而旧工具通常只专精于其中一种。
- 解释更好：它不仅仅说“伪造”；它会指出具体的“伪影”（故障），例如“尴尬的面部表情”或“不合逻辑的光线”。
- 高效：通常，要训练出如此优秀的侦探，需要数百万个示例。Ivy-xDetector 仅用不到200,000个示例就达到了顶级性能。这就像一位侦探，只需阅读几本关键书籍就能学会一门全新的语言，而不需要阅读整个图书馆。
总结
简而言之，该论文指出：“我们构建了一个庞大、详细的伪造媒体线索百科全书（Ivy-Fake），并利用它训练了一位新的人工智能侦探（Ivy-xDetector）。这位侦探在识别照片和视频中的伪造品方面表现更佳，最重要的是，它能够确切地解释为什么它认为某物是伪造的，使其比之前的工具更加可信。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。