AI-Generated Image Detectors Overrely on Global Artifacts: Evidence from Inpainting Exchange
本文揭示了当前的 AI 生成图像检测器在依赖由 VAE 重构引起的全局伪影而非局部内容时会失效,这一缺陷通过所提出的图像修复交换(INP-X)方法得到了证实,该方法暴露了检测器无法泛化到影响整个图像的谱偏移问题。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
核心思想:“全局污点” vs. “局部修复”
想象一下,你有一张美丽的风景照片,你使用一个 AI 工具擦除了一张照片中的垃圾桶,并填补了其背后的草地。这被称为图像修复(Inpainting)。
目前,我们拥有一些“侦探”(AI 检测器),它们试图识别一张照片是否被伪造过。本文的作者发现了一个关于这些侦探的惊人秘密:它们实际上并没有在寻找它们本该发现的那个伪造的垃圾桶。
相反,它们在观察一个微妙且隐形的“污点”,这个污点是由 AI 在整张照片上留下的,甚至包括那些从未被触碰过的部分。
类比:复印机效应
把 AI 图像修复的过程想象成一台带有特定缺陷的高科技复印机:
- 你输入一张照片。
- 它擦除一个小区域(垃圾桶)并完美地重新绘制它。
- 但是,在扫描并重新打印整个页面的过程中,机器稍微降低了整个页面的清晰度,包括你没有触碰到的树木和天空。
问题在于: 现在的“侦探”很懒。它们并不仔细观察垃圾桶看起来是否真实。相反,它们只是检查整个页面是否存在这种“模糊感”。如果整个页面看起来稍微有些模糊,它们就会大喊:“这是假的!”
实验:“修复交换”(INP-X)
为了证明这些侦探在“作弊”,研究人员发明了一个名为**图像修复交换(Inpainting Exchange, INP-X)**的小把戏。
它是这样运作的:
- AI 创建了伪造图像(带有整个页面的模糊感)。
- 研究人员取回原始的、完美的照片。
- 他们通过外科手术般精准的操作,将 AI 图像中“模糊”的部分(树木、天空和背景)切除,并将原始的、清晰的像素粘贴回这些位置。
- 剩下的唯一由“AI 生成”的部分只有垃圾桶区域。照片的其余部分 100% 是原始且清晰的。
结果: 当研究人员将这些“交换”后的图像展示给世界上最优秀的 AI 检测器(包括昂贵的商业检测器)时,这些检测器完全失败了。
- 使用技巧前: 检测器的准确率为 91%。
- 使用技巧后: 检测器的准确率降至约 55%(这基本上等同于抛硬币随机猜测)。
这证明了检测器根本不是在观察伪造的内容,而是在依赖研究人员移除掉的全局“模糊感”。
为什么会发生这种情况?(“压缩”类比)
论文使用一个概念——VAE(一种 AI 架构类型)来解释为什么会出现这种全局模糊现象。
想象一下,AI 必须将整张照片压缩进一个极小的行李箱进行处理,然后再将其拆解还原成图像。
- 瓶颈: 行李箱太小,装不下每一个微小的细节(比如沙粒的纹理或天空中的噪点)。
- 损失: 当 AI 拆解图像时,它必须“猜测”缺失的高频细节。它对新生成的垃圾桶猜测得很好,但也无意中抹平了背景中的细节,尽管它并不需要改变这些背景。
- 指纹: 这种平滑处理在整个图像上产生了一种特定的模式(频谱偏移)。检测器学会了识别这种模式,而不是学习如何识别实际的伪造物体。
他们是如何解决的?
研究人员不仅指出了问题,还尝试改进训练方法。
- 他们创建了一个包含 9 万张图像的新数据集,并在其中使用了他们的“交换”技巧。
- 他们利用这些图像来训练新的检测器。
- 结果: 这些新检测器学会了忽略全局的“模糊感”,转而真正观察发生变化的特定区域。它们变得能够更精准地定位伪造部分究竟在哪里,而不是仅仅猜测整张图像是假的。
总结
本文声称,目前的 AI 检测器就像是检查每个人鞋子上是否有泥,而不是检查某人是否真的拿着赃物。如果你擦掉他们鞋上的泥(通过恢复原始背景像素),这些保安就无法辨别谁才是小偷。作者表明,为了建立更好的安全机制,我们需要训练保安去观察赃物本身,而不是盯着满是泥泞的鞋子。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。