Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training
本文提出了 VISTA，这是一种视觉感知的自我改进训练框架，通过引入前缀重采样和视觉感知注意力分数，解决了多模态大语言模型中的数据不平衡和语言先验偏差问题，从而显著提升了其在各种任务和模型上的多模态推理性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教导一位非常聪明的学生（多模态大语言模型，或称 MLLM）如何解那些既涉及图片又涉及文字的谜题。通常，为了让这位学生深入思考，你必须聘请一位人类导师为每一个问题写出完美的逐步解答。这既昂贵又缓慢。
为了节省成本，研究人员尝试了一种新方法：自我改进。这就像告诉学生：“你自己去解这些题，写下你的思考过程，如果你答对了，就学习你自己的笔记。”
然而，本文作者 VISTA 发现这种“学习自己笔记”的方法存在两个主要缺陷：
- “简单模式”陷阱（数据不平衡）： 这位学生非常擅长解决简单的谜题。他们能为简单问题生成数十个正确的解答。但当他们遇到难题时，往往会彻底失败，产生零个正确解答。最终，训练数据中 90% 是简单问题，0% 是难题。学生对简单内容过度自信，却从未学会如何应对严峻挑战。
- “白日做梦”问题（语言先验偏差）： 有时，学生虽然得出了正确的最终答案，但其推理过程却是谎言。他们可能会看着一张健康肺部的图片说：“我看到一个肿瘤”，然后神奇地得出结论：“因此，肺部是健康的。”他们忽略了图片，只是根据句子“应该”听起来的样子进行猜测。这被称为视觉幻觉。由于最终答案正确，旧方法会保留这种“白日做梦”的解答，并教导学生更多地撒谎。
VISTA 解决方案：两步升级
作者提出了一种名为 VISTA（视觉感知自我改进训练）的新框架来解决这些问题。这就像给学生提供一份更好的学习指南和一台测谎仪。
1. “保存进度”策略（前缀重采样）
问题所在： 当学生解不开难题时，通常前几步是对的，但后面搞砸了。旧方法会直接丢弃整个失败的尝试。
VISTA 的修正： 想象一个视频游戏，你可以在死亡前保存进度。VISTA 会检查失败的尝试，找出学生开始偏离正轨的点（即“关键令牌”），然后说：“好吧，这部分你答对了。让我们保留这部分，再试一次完成剩下的关卡。”
- 工作原理： 它提取失败答案中正确的开头部分，稍微交换图像和文本的顺序以打破常规，然后要求学生再次尝试完成思考。这将一次失败的尝试转化为多个针对难题的新正确解答，从而平衡训练数据。
2. “看图”评分（视觉感知注意力分数）
问题所在： 如何抓住那些在“白日做梦”却仍然答对答案的学生？
VISTA 的修正： VISTA 不再仅仅检查最终答案，而是检查学生在思考过程中如何观察图片。它使用一种特殊的“分数”（VAS），衡量学生在解决问题时给予视觉部分的注意力有多少， versus 仅仅阅读文本。
- 比喻： 想象一位老师看着学生参加考试。如果学生在书写时眼睛紧紧盯着图片，他们就会得到高分。如果他们在书写时眼睛盯着天花板（忽略图片），即使最终答案正确，他们也会得到低分。
- 结果： VISTA 过滤掉低分的“白日做梦”解答。它确保学生只学习那些真正观察了图像的推理过程。
结果
该论文在多种医疗和数学谜题（如查看 X 光片或解决几何问题）上测试了这种方法。
- 更好的平衡： VISTA 成功为难题生成了更多正确的解答，解决了“简单模式”陷阱。
- 减少撒谎： 通过过滤掉低注意力的解答，模型在真正观察图像内容方面变得更好，减少了幻觉。
- 巨大提升： 与其他的自我改进方法相比，使用 VISTA 训练的模型性能显著提升（在某些任务上高达 +13.66%）。它们在处理新的、未见过的类型问题（泛化能力）方面也表现得更好。
简而言之，VISTA 教导 AI 模型停止依赖运气猜测和文本模式，迫使它们真正去观察图片，并在无需人类代为书写答案的情况下从错误中学习。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。