The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?
本文认为对比解码未能真正缓解多模态大语言模型中的物体幻觉问题，指出其在 POPE 等基准测试上的表象成功仅仅是由粗略的分布调整和向贪婪搜索的退化所导致的错觉，而非真正的幻觉抑制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心思想：并非魔法的“魔术”
想象你有一个非常聪明但有点糊涂的机器人助手（多模态大语言模型，简称 MLLM），它通过看图片来回答问题。有时，这个机器人会出错——比如在看到一张黄香蕉的图片时，它可能会说那是“蓝色的香蕉”。这就是所谓的幻觉（hallucination）。
一段时间以来，研究人员一直在使用一种叫做**对比解码（Contrastive Decoding）**的技术来修复这个问题。他们声称这是一种“幻觉过滤器”，能够识别并阻止机器人的谎言。
本论文指出，这个“过滤器”其实并没有真正起作用。 相反，机器人测试得分的提高，是由于两个巧妙的技巧让它看起来更聪明，而并非真的让它变得更诚实。
类比 1：“唯唯诺诺”的诡计（单向调整）
设定：
想象一场问答竞赛，主持人问：“这张图片里有一把椅子吗？”
- 问题： 机器人天生比较害羞，即使真的有椅子，它也倾向于回答“不是”。
- “修复方案”： 对比解码方法就像一位教练，在机器人耳边低语：“嘿，如果你不是百分之百确定，那就直接猜‘是’吧！”
实际发生的情况：
- 在所使用的特定测试（POPE 基准测试）中，问题在“是”和“否”之间是 50/50 平分的。
- 因为机器人原本太爱说“不是”了，强制它多说“是”反而意外地平衡了得分。这让它看起来好像在更好地完成工作。
- 陷阱： 机器人并没有更好地观察图片。它只是更频繁地猜“是”而已。如果你在另一组“是”本身就是常见答案的问题上测试它，这个诡计会让机器人表现得更差，因为它开始对所有问题都说“是”，即便它是错的。
论文的证据：
作者尝试了一个“伪造”的修复方案。他们仅仅是在机器人的指令中加入了一句备注：“请尽可能尝试回答‘是’。”
- 结果： 这个伪造的修复方案带来的得分提升，竟然与复杂的“对比解码”方法不相上下。
- 结论： 性能的提升并不是因为机器人看得更清楚了，而是因为它被要求多说“是”。
类比 2：变成“紧身衣”的“安全网”（自适应合理性约束）
设定：
当机器人回答时，它通常会从一个可能的词汇列表中选择一个词。有时它会使用一种“采样（sampling）”方法，这就像是从列表顶部的选项中掷骰子来挑选一个词。这增加了多样性，但也可能导致错误。
“修复方案”：
对比解码法包含一个名为“自适应合理性约束”的规则。它本应是一个防止机器人挑选奇怪、不可能出现的词汇的“安全网”。
实际发生的情况：
- 作者发现，这个“安全网”过于严格，以至于切断了列表上的几乎所有选项。
- 它迫使机器人停止掷骰子，而是每次都只挑选那个最显而易见的答案。
- 用技术术语来说，它将灵活的采样（Sampling）策略变成了僵化的贪婪搜索（Greedy Search）（总是选最优项）。
- 陷阱： 在这个特定的测试中，选择最优项（贪婪搜索）的效果确实比掷骰子要好。所以，“修复方案”之所以提高了得分，并不是因为它阻止了幻觉，而是因为它迫使机器人停止了创造力，变得平庸且可预测。
论文的证据：
作者将这个“安全网”规则应用到了一个没有任何复杂“对比解码”技巧的标准机器人身上。
- 结果： 该机器人的得分大幅跳升，几乎追平了那些花哨的方法。
- 结论： 那个花哨的方法并没有承担主要的功劳；真正起作用的是简单的“安全网”规则。而且，由于该规则只是让机器人变得机械可预测，它并没有解决幻觉的根本原因。
最终裁定
论文得出结论：这些模型的“性能提升”其实是一个幻象。
- 与真相无关： 这些方法并没有让模型更好地理解图像。
- 与偏差有关： 它们只是在调整机器人的答案，使其符合特定测试的比例（即多说“是”）。
- 与僵化有关： 它们迫使机器人停止猜测，转而选择最显而易见的答案，这在特定的测试中有效，但并未解决潜在的撒谎问题。
简而言之： 论文指出，“不要把这些方法当作治愈幻觉的良药。它们只是在玩弄测试分数，而不是在修复机器人的大脑。”
作者建议，要真正解决幻觉问题，我们需要的是能帮助机器人正确观察图片的方法，而不是仅仅通过方法来欺骗测试，从而获得更高的分数。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。