Simple Domain Generalization for Strong Pixel-Level Image Tampering Detection in Modern VLMs
本文提出了一种简单且有效的领域泛化框架，用于现代视觉语言模型中的像素级图像篡改检测，通过利用平衡小批量采样和延迟注入训练策略，在多种分布外 VLM 生成的篡改任务中实现了最先进的鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且繁忙的美术馆，任何人都可以走进去在墙上涂鸦。长期以来，如果你想修改一张照片——比如把猫换成狗，或者去掉一个人——你需要一位拥有昂贵工具的专业艺术家。但最近，一波“魔法画家”来到了这里。这些是被称为“视觉语言模型”（VLMs）的强大计算机程序。它们能观察一张图片并理解一句简单的句子，如“把天空变成紫色”，然后瞬间重绘图像以符合要求。问题在于，这些魔法画家变得如此高明，以至于它们所做的修改在人类肉眼看来几乎是不可察觉的。这创造了一个棘手的局面：我们如何判断一张照片是真的，还是被计算机秘密修改过的？更难的是，我们如何找到计算机触碰图片的那个精确位置，甚至精确到像素级别？这就是“像素级图像篡改检测”的世界，这个领域正试图充当美术馆的保安，在数字伪造的细微笔触扩散传播误导信息之前将其识破。
现在，轮到这项研究背后的研究人员登场了。他们注意到目前的保安训练方式存在一个重大缺陷。大多数保安只接受过针对一位特定艺术家（我们称之为“Qwen”）创作的画作进行训练。如果另一位新艺术家（比如“Gemini”或“GPT”）带着略微不同的风格走进美术馆，保安就会感到困惑并无法识别出伪造品。研究人员意识到，仅仅向保安展示更多来自同一位旧艺术家的图片是没用的；保安需要学习一种更通用的、关于“伪造品长什么样”的感觉，这种感觉要适用于任何艺术家，甚至是他们从未见过的艺术家。
为了解决这个问题，团队提出了一个极其简单的训练方案，它就像一种聪明的教练策略。首先，他们修正了“练习环节”。以前，如果一批练习照片中有90%是伪造的，而只有10%是真的，保安就会产生偏见，开始认为一切都是假的。新方法强制要求每一次练习环节都必须有相等比例的真实照片和伪造照片，确保保安在学习识别差异时不会被数量比例搞混。其次，他们改变了保安接触新艺术家的时机。他们没有在第一天就把保安扔进一个所有艺术家的混乱混合体中，而是让保安先利用大量来自主要艺术家的照片进行基础训练，直到他们成为专家。只有在保安基本功扎实之后，他们才会引入极少数经过精心挑选的来自新艺术家的照片。这种“延迟注入”让保安能够在不忘记已有知识或不被淹没的情况下，适应新的风格。
这一方法的成果令人印象深刻。在针对四种不同的、未见过的“魔法画家”（GPT-Image-2.0, Gemini-3.1, FLUX.2, 和 Seedream 4.5）进行测试时，他们的新方法——被称为 PIXAR-DG 的方法，显著优于之前的最佳方法。事实上，与旧标准相比，它定位精确篡改位置的能力提高了约26%。或许最令人惊讶的是，他们仅使用原先训练数据量的19.2%就实现了这一目标。论文指出，秘诀不仅在于拥有“更多”的数据，而在于拥有“正确类型”的训练计划和平衡。通过保持训练的稳定与平衡，他们构建了一个更难被欺骗的检测器，为我们在艺术家不断变换风格时保持数字美术馆的诚实提供了一种切实可行的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。