Bad Seeing or Bad Thinking? Rewarding Perception for Vision-Language Reasoning
本文提出了一种名为模态感知信用分配（MoCA）的强化学习框架，该框架通过将生成过程解耦为交错步骤并利用专门的验证机制，将错误准确归因于感知缺陷或逻辑缺陷，从而解决视觉语言模型中感知与推理之间的权衡问题，进而实现能够同时提升这两项能力的针对性奖励。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在聘请一名侦探，仅凭一张照片和一份线索列表来破解一个谜团。
在人工智能的世界里，这些侦探被称为视觉 - 语言模型（VLMs）。它们观察图像（即“看”），然后尝试解决问题或回答疑问（即“思考”）。
长期以来，这些 AI 侦探面临一个主要问题：当它们给出错误答案时，没人知道原因是什么。
问题：“看错了”vs“想错了”
论文将这种现象称为**“跷跷板效应”**。
- 如果你试图让 AI 更仔细地观察图片，它的逻辑能力往往会变差。
- 如果你试图让它更努力地思考，它往往开始幻觉出图片中根本不存在的细节。
这就像一名学生参加数学考试。如果答案错了，是因为他们看错了纸上的数字（“看错了”），还是因为算错了（“想错了”）？
在以往的 AI 训练中，老师只会说“答案错误”，并惩罚整个学生。于是学生会试图改变一切，结果为了修正计算错误而意外地忘记了如何读取数字，或者反之。论文认为，这种模糊性是问题的根源。
解决方案：MoCA（“蒙眼”侦探）
作者引入了一种名为MoCA（模态感知信用分配）的新训练方法。他们将 AI 的大脑视为一条拥有两个独立工位的工厂流水线：
- 工位 A（眼睛）： AI 必须首先使用类似
<recognition>的特殊标签，准确写下它在图像中看到的内容。它就像一名法庭速记员，仅转录事实。 - 工位 B（大脑）： AI 随后利用这些书面笔记，使用类似
<thinking>的标签来解决问题。
“蒙眼推理者”测试
这是巧妙之处。为了检查工位 A（眼睛）是否做得好，作者使用了一位蒙眼推理者。
想象一下，你将 AI“眼睛”写下的笔记交给一位看不到原始照片的超级聪明的人类。
- 如果人类仅凭笔记就能解开谜团： 那么“眼睛”做得很好！它们捕捉到了所有必要的事实。AI 会因“看对了”而获得奖励。
- 如果人类因为笔记中缺少关键细节而失败： 那么“眼睛”失败了。AI 会因“看错了”而受到惩罚。
这使得系统能够专门奖励 AI 正确观察图片的能力，即使最终的答案仍然是错误的。
用于评分的“结构化脚本”
为了检查最终答案，作者意识到询问 AI“这正确吗？”过于模糊且不一致（就像让朋友来批改试卷）。相反，他们为评分 AI 提供了一份严格、分步的脚本（即“结构化语言验证”）。
这就像体育比赛中的裁判。裁判不是猜测某个动作是否“公平”，而是遵循规则手册：第一步：检查脚部。第二步：检查球。第三步：检查哨声。 这使得评分具有一致性和可靠性，防止 AI“欺骗”评分系统。
结果：打破跷跷板
通过将“眼睛”与“大脑”分离并独立评分，AI 停止了跷跷板效应。
- 如果 AI 算错了但看对了图片，它会保留其“看对了”的技能，仅修正其计算。
- 如果它看错了图片，它会修正其视觉能力，而不会搞乱其逻辑。
论文表明，这种方法使得单个 AI 模型在既能看清复杂图像中的细节（如读取图表上的微小文字）又能解决高难度推理问题方面，能力显著提升，其表现优于许多现有模型，且无需昂贵、复杂的外部工具。
简而言之： 这篇论文教导 AI 停止猜测为什么它失败了。相反，它迫使 AI 展示其解题过程，检查过程是否诚实，并奖励大脑中正确完成工作的特定部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。