CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs
本文介绍了 CXR-ContraBench 基准测试，该测试揭示了医学视觉语言模型经常遭受“否定选项吸引”这一临床危险故障的影响，即模型会选择与视觉证据相矛盾的否定答案，并证明确定性一致性验证器能够在不重新训练的情况下有效修复这些极性错误。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在参加一场医学考试，医生给你看一张胸部 X 光片，问道：“你在这里看到了什么？”正确答案清晰可见：有一片被称为“实变（consolidation）”的白色云雾状阴影。
现在，假设考试给出了三个选项：
A) 实变
B) 无实变
C) 肺不张（另一种病症）
一个智能计算机程序（医学视觉 - 语言模型）本应查看图片，识别出那片云雾，并选择 A。但根据这篇论文，当今许多最先进的人工智能模型却遭遇了惨痛的失败。它们没有选择 A，反而被选项 B 中的“无（No）”这个词迷住了，自信地回答：“无实变”。
这不仅仅是一个小错误；这是一种极性反转。人工智能看着一张显示有问题的图片，却告诉你问题不存在。在现实世界中，如果医生的 AI 助手对一位确实患有肺炎的患者说“你没有肺炎”，那将是危险的。
问题所在：“无”字陷阱
作者将这种失败称为**“否定选项吸引（Negated-Option Attraction）”**。
这就像孩子在玩“西蒙说（Simon Says）”的游戏。如果老师说“摸你的鼻子”，孩子就会摸鼻子。但如果老师说“摸你的鼻子”，紧接着又加上一个巨大的、闪烁的牌子写着**“不要摸你的鼻子”**，孩子可能会感到困惑，反而去摸鼻子，或者更糟的是，因为过于关注“不要”这个牌子而去摸耳朵。
在这些 AI 模型中，答案列表中出现“无”选项，似乎就像那个巨大的闪烁牌子。即使图像清晰地显示了疾病，AI 也会被“无 [疾病]"的选项吸引，选择它，完全忽略了它在图片中看到的内容。
解决方案：新测试与“安全网”
为了证明这是一个真实的问题而不仅仅是偶然，研究人员构建了一个名为 CXR-ContraBench 的新测试。
- 测试内容：他们创建了数千个问题，其中答案显而易见（疾病确实存在），但选项中包含一个说“无疾病”的“陷阱”选项。
- 结果：结果令人震惊。在严格的测试中，MedGemma 和 Qwen2.5-VL 等顶级 AI 模型只有约 30% 的时间能答对。它们失败的次数多于成功的次数。
- “思维链”的失败：研究人员尝试了一种常用于修复 AI 错误的技巧：让 AI 在回答前“逐步思考”（就像学生展示解题过程一样）。不幸的是，这并没有解决问题。AI 仍然会感到困惑并选择“无”选项，有时甚至表现得更差。
修复方案：“极性警察”
既然 AI 无法通过更努力地思考来自我修复，研究人员构建了一个简单、确定性的“安全网”，称为 QCCV-Neg。
这就像是一个逻辑拼写检查器。它并不试图重新教导 AI 如何观察。相反，它会查看 AI 的最终答案，并提出三个简单的问题：
- 问题是否询问了存在什么？
- AI 是否选择了一个以“无”开头的选项？
- 列表中是否有一个选项表明疾病确实存在？
如果这三个问题的答案都是“是”，安全网会立即将错误的答案替换为正确的答案。这就像一位老师走过，看到学生圈选了“无实变”，便立即改为圈选“实变”，而无需改变学生的大脑。
结果：有了这个安全网，AI 的准确率从 30% 跃升至 96% 以上。它不需要重新训练；只需要在最后进行一个简单的检查。
核心启示
这篇论文警告我们，平均分可能会撒谎。AI 在通用测试中可能看起来非常聪明，但如果它对“无”这个词有特定的盲点，它可能会做出危险且自相矛盾的错误，而这些错误会隐藏在数据中。
作者表明：
- 问题是真实的：AI 模型在医学图像中系统地被“无”选项搞糊涂。
- 思考并不总是有帮助：要求 AI“推理”并不能阻止这种困惑。
- 简单的修复有效：针对性的、基于规则的检查可以立即捕捉这些特定错误，无需从头重建 AI，就能将不及格的分数转变为 A+。
简而言之，这篇论文揭示了 AI 模型被否定词 trick 的一个特定“故障”，并提供了一个简单、即时的补丁来阻止这种故障的发生。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。