It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling
本文表明，尽管扰动引导选择（Perturbation Grounded Selection, Pgs）在视觉语言测试时扩展（vision-language test-time scaling）方面表现出优于多数投票（majority voting）的态势，但其表观增益很大程度上是由于未受控的解码格式所导致的伪影，因为格式匹配的对照实验显示，一旦解码预算和格式得到适当对齐，仅靠扰动一致性本身并不能作为可靠的选择信号。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人如何解谜。在人工智能的世界里，有一个被称为“测试时缩放”（test-time scaling）的巧妙技巧。与其要求机器人只尝试一次解决方案并寄希望于好运，不如让它同时尝试许多种不同的解决方案。然后，你扮演评委的角色，从这一堆答案中选出最好的那一个。对于纯文本机器人来说，这就像魔法一样有效：如果机器人深入思考并生成了十个不同的答案，那么出现次数最多的那个通常就是正确的答案。这就像是在一个房间里向人们提问一个数学题；如果九个人说“42”，而一个人说“43”，你很可能会选择“42”。
但当你给这些机器人装上眼睛（使它们成为“视觉-语言模型”或 VLM）时，事情变得棘手了。这些机器人虽然能看到图片，但它们也有一个强烈的习惯，即根据以往听过的知识进行猜测，而忽略实际的图像。有时，机器人看到一张叶子的图片，却因为记得关于种子长成树的故事而猜成了“种子”。旧的技巧——仅仅挑选最常见的答案——在这里失效了，因为机器人可能会连续十次自信地猜错。科学家们一直试图通过让机器人“重新检查”其工作来修复这个问题，但一项新的研究提出了一个非常重要的问题：机器人是真的在看图片，还是仅仅在使用另一种说话方式？
这篇论文研究了一种名为**扰动锚定选择（Perturbation-Grounded Selection，简称 Pgs）**的新方法。Pgs 背后的理念简单且富有童趣：为了观察机器人是否真的在看图像，你稍微“抖动”（jitter）一下图片——裁剪它、改变亮度或遮盖背景——然后再次要求机器人解决问题。如果即使图片发生了微小的变化，机器人仍然给出相同的答案，该方法就假设这个答案是“锚定”在图像中的。如果答案发生了剧烈变化，它则假设机器人只是在根据记忆进行猜测。研究人员想看看这种“抖动测试”是否能比旧的“最常见答案”法更好地挑选出正确答案。
然而，研究人员发现了一个在以往测试中经常出现的隐蔽问题。新方法（Pgs）要求机器人在检查抖动后的图片时给出简短、快速的回答，而旧方法（多数投票法）则要求对原始图片进行长篇、详细的思考步骤（称为思维链，Chain-of-Thought）。事实证明，要求提供简短答案对于机器人来说更容易做对，无论它是否在看一张抖动后的图片。
为了解决这个问题，团队创建了一个公平的比较方法——MatchedCtrl。他们让机器人给出完全相同数量的简短、快速回答，但这一次他们并没有抖动图片；他们只是要求机器人快速回答原始图片。当他们将“抖动方法”（Pgs）与这个“公平短答案方法”（MatchedCtrl）进行比较时，魔法消失了。抖动方法并没有实际上选出更好的答案。事实上，在一次名为 ViLP 的严苛测试中，抖动方法有时表现得甚至更差。
论文表明，虽然“抖动”确实引起了机器人行为中可衡量的差异（机器人确实对图片的变化做出了反应），但这种反应并不能帮助机器人比仅仅要求它对原始图像进行更多短促、快速猜测时更好地选出正确答案。之前一些人看到的巨大提升（在某项测试中高达 +31.8 分）并不是因为机器人突然更仔细地观察图片了，而是因为它正在以一种不同的、更短的格式进行回答。
最后，作者得出结论：如果你已经控制了机器人的回答方式，那么仅仅要求机器人重新回答一张略微改变的图片，并不是一种强制它看图的可靠方法。这种“抖动”信号是真实的，但它并不是让机器人变聪明的魔法开关。要真正改进这些机器人，我们可能需要找到一种不依赖于回答格式的方法来让它们看图。这项研究表明，在找到更好的方法之前，我们应该非常谨慎，不要仅仅因为一个新方法在没有进行公平比较的情况下击败了旧的“最常见答案”规则，就声称该方法有效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。