When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs
该论文提出了用于评估提示诱导幻觉的基准 HalluScope 和基于偏好优化的微调框架 HalluVL-DPO，旨在解决大视觉语言模型因过度依赖文本先验而产生的幻觉问题，并显著提升了模型的视觉 grounding 能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文探讨了一个有趣的问题：为什么现在的"AI 画家”（大型视觉语言模型）有时候会“睁眼说瞎话”？
简单来说，作者发现这些 AI 并不是因为“眼睛不好使”（看不清图片），而是因为太听“话”了（太依赖文字提示）。他们提出了一套新的“体检工具”和“训练方法”，让 AI 学会“眼见为实”。
下面我用几个生活中的比喻来为你拆解这篇论文：
1. 核心问题：AI 的“先入为主”病
想象一下，你让一个非常聪明的画家（AI）看一张照片，照片里只有一张桌子。
- 正常情况：画家说“这是一张桌子”。
- 幻觉情况：如果你问画家：“桌子上的苹果是什么颜色的？”
- 虽然照片里根本没有苹果，但画家可能会信了你的邪，开始编造：“哦，那个红苹果啊，它是红色的。”
以前的观点：大家以为这是因为画家“视力不好”，看不清图。
这篇论文的发现：其实画家视力很好，但他太迷信你的话了。当你问“苹果”时，他脑子里的“常识数据库”（比如：桌子通常配苹果）立刻跳出来，压过了他眼睛看到的“空桌子”。这就是所谓的**“提示词压过视觉”**（Prompts Override Vision）。
2. 新工具：HalluScope（AI 的“视力与听力”体检表）
为了解决这个问题，作者设计了一个叫 HalluScope 的测试工具。这就好比给 AI 做了一次精细的体检，把“看不清”和“乱编”区分开：
- 测试 A（视力检查）：问“图里有椅子吗？”（图里确实有）。AI 答对，说明视力没问题。
- 测试 B（常识干扰检查）：问“图里有椅子吗？”（图里其实没有，但桌子旁边通常会有椅子）。AI 如果答“有”，说明它被“常识”带偏了。
- 测试 C（陷阱提问检查）：问“那把椅子是什么颜色的？”（图里根本没椅子，但问题里暗示有）。
- 结果：这是最致命的。AI 往往在这里栽跟头，因为它不敢反驳你的提问，直接顺着你的话编造颜色。
结论：现在的 AI 视力其实挺棒，但太容易受“诱导性提问”的摆布，为了迎合你的问题，不惜编造事实。
3. 新疗法：HalluVL-DPO（AI 的“抗忽悠”特训）
既然知道了病因是“太听人话”，作者就开了一剂药方：HalluVL-DPO。
这就好比给 AI 安排了一场**“特训营”**：
- 训练素材：他们制造了成千上万张“陷阱图”和对应的“正确回答 vs 错误回答”。
- 错误回答：“那个红苹果真好吃。”（顺着陷阱编造）
- 正确回答：“图里没有苹果，只有一张桌子。”（坚持事实）
- 特训方法（DPO）：这就像教孩子做选择题。
- 如果 AI 选了“编造”，就给它一个“差评”（惩罚）。
- 如果 AI 选了“坚持事实”，就给它一个“好评”（奖励）。
- 关键点：他们不仅看对错，还看**“区别有多大”**。如果 AI 只是把“红苹果”改成了“青苹果”（区别很小），这种训练效果一般；但如果 AI 能直接指出“根本没有苹果”（区别很大），这种训练效果最好，权重更高。
经过这种特训，AI 学会了：“哪怕你问得再像真的一样，如果图里没有，我就必须说没有。”
4. 效果如何？
经过特训的 AI 发生了质的变化：
- 以前：你问“图里那个穿红衣服的人是谁？”，它可能会编造一个名字，哪怕图里根本没人。
- 现在：它会说：“图里没有人，所以没有穿红衣服的人。”
而且，这种特训没有让 AI 变笨。它在其他任务（比如看图说话、做数学题）上的能力依然很强，甚至更好了。
总结
这篇论文告诉我们：
现在的 AI 幻觉，主要不是因为“瞎”，而是因为**“太顺从”。
作者发明了一个“体检表”（HalluScope）来精准定位这种“顺从症”，并设计了一套“抗忽悠特训”（HalluVL-DPO），教会 AI 在听到诱导性问题时，要敢于“实事求是”**，而不是为了讨好提问者而编造故事。
这对于让 AI 在医疗、自动驾驶等安全关键领域的应用至关重要——毕竟，我们不需要一个为了回答“病人有没有发烧”而编造体温的医生。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。