SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models
本文介绍了 SIGNPOST-Bench，这是一个包含 25,555 个图像变体的受控反事实基准测试，旨在评估多模态大语言模型如何解决视觉与文本线索之间的冲突，研究揭示了对抗性文本干预会显著降低地理定位准确性，并暴露了 20 个受评估模型之间截然不同的仲裁行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解谜题的侦探，这个谜题是：“这张照片是在哪里拍摄的？”你有两个线索可以帮助你。第一个线索是视觉场景：建筑、树木、汽车以及光线照射在建筑物上的方式。第二个线索是图片中招牌、店面或广告牌上的文字。通常情况下，这些线索是一致的。一个写着“巴黎”的招牌会出现在一个看起来像是在巴黎的建筑上。但如果它们发生冲突会怎样呢？如果照片显示的是一座位于山中的雪地木屋，但窗户里一个明亮的霓虹灯招牌却大声叫嚣着“欢迎来到撒哈拉沙漠”呢？
这就是**多模态大语言模型（MLLMs）**的世界。这些是超级聪明的 AI 计算机，它们能同时“看”图像并“读”文字。科学家们一直在教它们如何结合这些线索来对世界做出判断。但有一个大问题：当视觉线索和文本线索发生冲突时，AI 会信任哪一个？它是忽略那个令人困惑的招牌而去观察雪景？还是盲目地相信招牌而忘记了雪景？直到现在，我们还没有一种好的方法来测试这种特定类型的混乱。
于是有了 SIGNPOST-Bench，这是一个由研究人员设计的实验，旨在玩一场“欺骗 AI”的游戏。他们制作了数千张真实的现实世界照片，并为每张照片创建了一组特殊的“反事实”版本。可以把它想象成一个照片编辑工作坊，他们从一张原始图片出发，制作了四个新副本：
- 空白版：他们完全擦除了文字。
- 相似版：他们将招牌更换为一个仍然符合该地点的不同招牌（例如，将“欢迎来到密歇根”改为“欢迎来到底特律”）。
- 随机版：他们挂起了一个与地点完全无关的招牌（例如，“欢迎来到月球”）。
- 对抗版：这是最狡猾的一个。他们用一个指向一个特定且不同地点的谎言替换了招牌（例如，将“欢迎来到密歇根”改为“欢迎来到纽约”）。
研究人员随后要求来自七家主要科技公司的 20 个不同的 AI 模型，去猜测每张照片所有五个版本的地点。他们想看看 AI 是能识破谎言，还是会被新招牌所误导。
结果非常具有启发性。当 AI 查看原始照片时，它在猜测地点方面表现得相当出色。但当他们引入对抗性谎言时，模型们陷入了混乱。平均而言，AI 的猜测准确度下降了 4.8 倍。原本误差大约在 282 公里左右，现在 AI 的误差变成了 1,347 公里。
更有趣的是，AI 不仅仅是变得“变差了”，它还被“误导了”。当招牌写着“纽约”时，AI 并不只是随机猜测；它实际上将自己的猜测向纽约移动了。事实上，对于测试的所有模型来说，冲突文本的存在都会将答案拉向谎言。大约有 6.5% 到 20.1% 的时间，AI 的猜测距离那个招牌所指向的虚假地点不到 50 公里。
研究还发现，具备优秀的识字能力或看图能力并不保证能擅长发现冲突。一些在处理干净、诚实的照片时表现优异的模型，在忽略谎言方面竟然比一些较小的模型表现得更差。事实证明，能够阅读招牌并不意味着你知道何时应该忽略它，如果它与图片的其余部分相矛盾。
最后，研究人员尝试对 AI 进行“教练式指导”，专门询问它是否注意到了冲突。虽然这有助于 AI 在 49% 的时间内意识到出错了，但它并没有实际帮助 AI 更好地猜出正确的地点。AI 知道自己很困惑，但它仍然无法弄清楚如何解开这个谜题。
简而言之，这篇论文表明，目前的 AI 模型在文本与图像不一致时仍然非常容易被欺骗。它们倾向于过度信任文本，即使那是一个彻头彻尾的谎言。研究人员构建了这个全新的“SIGNPOST-Bench”测试，旨在帮助未来的 AI 开发人员了解他们的模型究竟在哪里失败，以便教导它们成为更好的侦探——既知道何时信任自己的眼睛，也知道何时质疑那些招牌。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。