VIGIL: Tackling Hallucination Detection in Image Recontextualization
本文介绍了 VIGIL，这是一个新颖的基准数据集和多阶段检测框架，它将图像重构上下文中的幻觉细分为五种细粒度的忠实度类型，从而实现比现有方法更精确的错误识别与解释。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位电影片场的导演，但你雇佣的不是演员，而是一个拥有魔法且超级智能的机器人画家。你递给机器人一张你最喜欢的红色运动鞋的照片和一张阳光明媚的公园照片，然后对它说：“把这只运动鞋放进公园里。”机器人发出嗡嗡声，画出了一幅杰作，然后把它递还给你。但有时，这个机器人会变得过于有创意。也许它把你的红色运动鞋变成了一只蓝色靴子，或者它完全忘了画那只运动鞋，又或者它把鞋子画得像幽灵一样悬浮在半空中。这就是**多模态图像重构（multimodal image recontextualization）**的世界——这是一个高级术语，指的是利用人工智能（AI）根据你的指令，将一个物体从一张图片中提取出来并放入一个新的场景中。
长期以来，科学家们一直试图找出如何识别这些 AI 艺术家犯下的错误，这些错误被称为幻觉（hallucinations）。请记住，这里的“幻觉”指的不是梦境，而是计算机对自己撒的一个谎。在过去，研究人员主要关注简单的文本生成图像任务（即你输入一段描述，然后得到一张图片）。他们构建了一些工具，通过给出一个单一的“分数”来评价图片的质量，就像老师给考试打一个“B-”的等级一样。但这并不能告诉你为什么鞋子变成了蓝色而不是红色，或者为什么阴影的方向不对。随着 AI 制作出的图像变得越来越逼真，我们需要一种方法来捕捉这些具体的、隐蔽的错误，这样我们才能在广告或设计等领域信任这些图片。
于是，由一组研究人员开发的名为 VIGIL 的新系统登场了，它扮演着一位超级严格、注重细节的艺术评论家。VIGIL 不仅仅是给 AI 打分，它还会将图片分解为五个特定的错误类别，并解释到底出了什么问题。研究人员建立了一个包含 1,269 个案例的大型数据集，通过人工检查 AI 生成的图像，来观察最常发生哪些类型的错误。他们发现，AI 主要在五个方面表现挣扎：它可能会改变物体的外观（物体视觉保真度）、搞砸背景（背景保真度）、将物体放在错误的位置（空间与指令保真度）、让物体看起来不符合物理规律（物理与融合保真度），或者干脆忘记画出该物体（物体遗漏）。
该论文介绍了一个巧妙的工作流，它使用一组开源 AI 工具来逐步检查图片。首先，它使用一个“分割”工具（就像一把数字剪刀）将物体剪切出来。然后，它将剪切出的部分与原始参考照片进行对比，看其形状或颜色是否发生了变化。它会检查背景是否保持不变，光影是否合理，以及物体是否真的存在。如果 AI 犯了错，VIGIL 不仅仅会说“错误”；它还会写下一条注释，比如：“椅子现在变成了摇椅，但你要求的是木质扶手椅，”或者“沙发悬浮在空中。”
当研究人员测试他们的系统时，他们发现这种循序渐进的方法非常擅长捕捉错误，其表现通常优于其他开源 AI 检测器。事实上，在家具图像方面，VIGIL 是检测错误的佼佼者。然而，论文指出该系统目前尚不完美。它有时会错过微小的细节，例如汽车上变形的车牌或电子设备上模糊的标志，因为在被裁剪出来后，这些细节对于 AI 来说太小了，无法看清。作者们建议，虽然他们的方法向前迈出了一大步，但现在的最大挑战在于如何确保 AI 能够放大并检查这些微小的、高清晰度的细节，而不至于失去全局观。最终的目标是从仅仅猜测一张图片是否“好”，转向准确知道它为什么“坏”，这样我们才能修复它并信任我们所看到的画面。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。