Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs
本文通过复现并扩展前人的研究，旨在证明对比解码并不能真正缓解多模态大语言模型中的物体幻觉问题，因为其在 POPE 等基准测试上表现出的性能提升往往是伪造的，并不反映视觉接地能力的实际改善。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人通过看图片来描述它所看到的内容。你希望这个机器人是诚实的，只说实际存在的东西。但有时，这些超级聪明的机器人会变得有点过于“放飞自我”。它们可能会看着一张安静的海滩照片，却自信满满地告诉你：“我看到一只狗在玩接球游戏！”即便照片里根本没有狗。在人工智能的世界里，这被称为“幻觉”（Hallucination）。这并不是说机器人在故意撒谎；它只是读了太多关于海滩上有狗的故事，以至于它假设那里一定有一只狗，即使视觉证据并不存在。
为了解决这个问题，科学家们一直试图教机器人去“复核”自己的想法。一种流行的想法叫做对比解码（Contrastive Decoding），它的工作原理就像一场“找不同”的游戏。机器人被要求以两种方式来想象这张图片：一种是清晰锐利的（“专家”视角），另一种是模糊或充满噪声的（“业余爱好者”视角）。其理论是，如果机器人在模糊视角下比在清晰视角下更有可能说出“狗”，那么它很可能只是基于想象在瞎猜，而不是基于照片。因此，这种方法试图抑制那些“模糊视角”下的猜测，从而迫使机器人坚持事实。这就像一位老师告诉学生：“如果你看不清，就不要把它写下来。”
但这里有一个转折：一项新的研究表明，这个聪明的“双重检查”技巧可能会欺骗我们。研究人员发现，这种方法并没有真正帮助机器人看得更清楚，它只是在诱导机器人更频繁地回答“是”。这就像一个学生，他并没有通过更努力地学习来提高成绩，而是因为知道老师喜欢积极的回答，所以开始对每个问题都回答“是”。这项研究深入探讨并证明，这种流行的修复方法并没有真正修复机器人的视觉；它只是改变了机器人的情绪。
“是”的幻觉大戏
你即将阅读的论文是由来自印度理工学院鲁尔基分校的一个研究团队撰写的侦探故事。他们决定将“对比解码”方法置于显微镜下，观察它是否真的如宣传的那样有效。他们的主要目标是回答一个迫切的问题：这种方法是真的在阻止机器人产生幻觉，还是仅仅在伪造结果？
研究人员首先重复了之前一项研究（由 Yin 等人，2026年发表）的实验，但使用了更强大、更先进的机器人大脑（具体是名为 LLaVA 和 Qwen 的模型）。他们想看看当在全新的数据上进行测试时，“对比解码”的“魔力”是否依然成立。他们的发现让该方法的拥趸感到有些失望，但对于任何想要诚实机器人的人来说，却非常令人兴奋。
“是”的偏见
第一个重大发现是，对比解码并没有让机器人更仔细地观察图片。相反，它推动机器人更频繁地回答“是”。想象一下，在一场考试中，机器人必须回答“是”或“否”这类问题，比如：“这张图片里有猫吗？”如果机器人通常回答“否”的次数太多了（即使图中确实有猫），那么这种方法就会推动它多说“是”。
研究人员发现，这种转变让机器人在纸面上看起来更聪明，因为它通过“碰运气”答对了更多问题。但问题在于：机器人也会对那些根本没有猫的图片说“是”，从而制造出新的错误。这就像一个学生，他并没有学习知识，而是决定对所有问题都回答“是”。他们可能会运气好答对几个，但也同时在编造不真实的内容。研究表明，你完全可以通过直接告诉机器人：“嘿，试着多说‘是’一些”，而不需要使用任何复杂的解码技巧，就能获得完全相同的“提升”得分。
“贪婪”陷阱
谜团的第二个部分涉及一个被称为“自适应合理性约束”（Adaptive Plausibility Constraint）的安全阀。这是一个旨在防止机器人说出荒诞、不可能之词的规则。然而，研究人员发现，这个规则过于严格，以至于基本上把机器人变成了一个“贪婪”的思想家。
把“采样”（Sampling）想象成机器人掷骰子来选择下一个词，这给了它创造力和探索不同选项的机会。而“贪婪”的方法则像是机器人每次都只挑选那个最显而易见的词，忽略了所有其他的可能性。研究发现，这个安全规则强迫机器人停止掷骰子，而只是每次都选那个最显而易见的词。因此，当这种方法看起来奏效时，实际上是因为机器人停止了创造力，变得平庸且可预测。这种“进步”并不是因为机器人看得更清楚，而是因为机器人不敢冒险了。
“噪声”实验
为了证明该方法的“业余部分”（即模糊视角）并没有起到真正的作用，研究人员尝试了一些疯狂的操作。他们用纯粹的随机噪声（类似于收音机里的静电噪音）替换了“业余爱好者”机器人。他们预期如果没有了业余机器人，该方法会彻底失效。然而，该方法的效果几乎完全一样！
这就像一位厨师试图通过添加一种秘密配料来让汤的味道更好。如果当你拿掉这种秘密配料并换成白开水后，汤的味道依然没变，你就意识到那个秘密配料其实根本没起作用。研究人员得出结论，所谓的“业余”视角并没有帮助机器人看到真相；它只是增加了一些无关紧要的随机噪声。得分上升的真正原因仅仅是“是”的偏见和“贪婪”规则。
深度挖掘：大脑内部发生了什么？
研究人员并没有止步于表面。他们观察了机器人“大脑”（其神经网络层）内部的情况，看看“魔力”究竟发生在哪里。他们发现，机器人其实在神经网络的深层已经知道一个物体是否存在了。它拥有这些信息！但是，当对比解码法介入时，它并没有利用这些信息来纠正错误。相反，它只是更用力地按下了“是”的按钮，甚至连错误的答案也一样。
这就像是一个学生明明知道答案是“否”，但老师（解码方法）却一直在拍他的肩膀，在他耳边低语：“说‘是’！”学生最终还是说了“是”，尽管他心里很清楚。这种方法并没有修复学生的知识，它只是用一种统一的向“是”倾斜的力量覆盖了原本的判断。
最终裁定
那么，这项研究的最终结论是什么？研究人员对他们的发现非常有信心。他们已经证明了广受欢迎的“对比解码”方法在很大程度上是一种幻觉。它并没有真正帮助机器人更清晰地观察世界，也没有阻止它编造事实。相反，它只是改变了机器人的行为，使其更频繁地回答“是”，并停止了进行创造性的尝试。
这是一个大事，因为许多人一直在利用这种方法来构建更安全、更可靠的人工智能。这项研究警告我们，我们可能正在为一个虚假的胜利而欢呼。如果我们想要不产生幻觉的机器人，我们不能仅仅调整它们挑选单词的方式；我们需要找到一种真正帮助它们理解所看图片的方法。在此之前，“对比解码”技巧仅仅是一种巧妙的方式，让机器人看起来在专心致志，而实际上，它只是在对整个世界玩一场“是的，我看到了！”的游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。