💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

本文表明，将视觉语言模型的后期训练解耦为视觉感知、视觉推理和文本推理的独立阶段——特别是通过强化学习优先优化感知——在显著改善感知和推理准确性的同时，减少了对过度推理轨迹的需求。

原作者： Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一道复杂的数学题，但题目写在一张纸上，关键数字上有一块污渍。

如果你试图通过“更努力地思考”数学来解决问题，你只会得到一个更自信、却完全错误的答案。你可能会写出一篇长篇大论、细节详尽的文章，解释为什么答案是 50，而实际上那块污渍掩盖的数字意味着答案应该是 5。

这正是论文《从看到思考》（"From Seeing to Thinking"）所论证的：当前的视觉 - 语言模型（Vision-Language Models）在观察图像并试图对其进行推理时，正面临同样的问题。

以下是他们发现与解决方案的拆解，使用简单的类比：

问题：自信却错误的 AI

论文发现，当这些 AI 模型在视觉任务（如几何或图表阅读）中失败时，很少是因为它们无法进行数学计算或逻辑推理。而是因为它们从一开始就没能“看”对。

类比：想象一名侦探试图破案。如果侦探错误地识别了嫌疑人的鞋码（感知错误），那么无论侦探工作多么出色（推理），都无法破案。事实上，侦探越是针对错误的鞋码“深入思考”，就越会写出一份冗长、混乱的报告，最终导致错误的结论。
发现：作者分析了许多 AI 失败的案例，发现**87%**的错误始于一个简单的视觉失误（如读错数字或混淆形状）。一旦 AI 犯了这个错误，“更长时间的思考”并不能修正它；反而会让 AI 在错误的道路上越走越远。

解决方案：三阶段训练营

目前，大多数 AI 训练是将所有内容混合在一起的：它同时教导模型去“看”、去“读”和去“思考”。作者认为，这就像试图在同一个课程中教人开车、修引擎和看地图。这太混乱了。

相反，他们提出了一种**“分阶段训练”**方法，将学习过程分为三个截然不同的阶段：

第一阶段：眼睛（视觉感知）
- 目标：教导 AI 准确描述图片中的内容，而不尝试解决问题。
- 方法：他们使用了一种特殊的训练方法，称为RL（强化学习）。这就像一位严格的教练，只有当 AI 正确识别出一个细节（例如“有 7 盏路灯”）时才给予“点赞”，如果它猜测或产生幻觉，则给予“差评”。他们发现，这种方法比旧方法（仅向 AI 展示带 captions 的图片，即 SFT）要好得多，后者就像只读故事书而不测试细节。
第二阶段：大脑（文本推理）
- 目标：教导 AI 如何使用文字进行逻辑思考，但不涉及任何图像。
- 类比：这就像在给学生看图表之前，先让他们在白板上做数学题。
第三阶段：整合（视觉推理）
- 目标：既然 AI 已经拥有了“好眼睛”和“受过训练的大脑”，现在教导它将两者结合以解决视觉谜题。

为什么顺序至关重要

论文发现，训练的顺序至关重要。

正确的方式：先建立“眼睛”，再建立“大脑”，最后将它们结合起来。
错误的方式：如果你在 AI 学会清晰“看”之前，就试图教它解决复杂的视觉谜题，它会感到困惑。这就像试图在孩子知道棋子如何移动之前，就教他们下国际象棋。论文表明，颠倒这一顺序实际上会让 AI 在“看”和“思考”两方面都变得更差。

结果：更聪明、更快速

当作者使用这种新的“分阶段”方法训练他们的模型时，结果令人印象深刻：

更高的准确率：模型在视觉数学和现实世界感知测试中的表现显著提高。
更短的思考：这是最令人惊讶的部分。因为模型拥有“好眼睛”，它们不需要“思考”那么久就能得到正确答案。
- 类比：眼睛不好的模型会反复重读问题、检查图像并重写思路，因为它不确定。而眼睛好的模型能立即看到答案，并写出简短清晰的解决方案。
- 数据：与采用旧式混合方法训练的模型相比，他们的模型在准确率上提高了1.5%，同时使用的“思考时间”（即更短的文字回复）减少了20%。

大局观：一种新的学习方式

作者还引入了一个名为**“能力课程”**（Capability Curriculum）的新概念。

旧方式：按难度训练 AI，从简单问题到中等难度，再到难题（基于难度）。
新方式：按特定顺序训练 AI 的特定技能（感知 $\to$ 逻辑 $\to$ 推理）。
魔力：他们发现，这两种方法结合使用时效果最佳。这就像一所学校，既按学科组织课程（先数学，后科学），又在这些学科内部将课程从易到难排列。同时做到这两点，为 AI 带来了最佳结果。

总结：为了让 AI 更擅长“思考”图像，我们首先需要确保它能正确地“看”到图像。通过将这两种技能分离并按正确的顺序进行训练，我们可以获得不仅更聪明、而且更高效的模型，从而避免陷入过度思考简单视觉错误的陷阱。

技术摘要：从看到思考：解耦感知与推理提升视觉语言模型的后训练效果

1. 问题陈述

视觉语言模型（VLM）的最新进展高度强调长思维链（CoT）推理，且通常由强化学习（RL）技术驱动。然而，本研究指出了一个关键瓶颈：复杂视觉任务（如视觉数学、几何、图表理解）的性能往往并非受限于推理能力，而是受限于视觉感知。

作者观察到，当 VLM 在感知视觉细节时出现初始错误（例如误判几何角度或物体数量），随后的推理步骤很少能纠正这一错误。相反，模型会基于错误的感知假设加剧错误，导致产生冗长且曲折的推理轨迹，却无法得出正确结论。反之，当感知准确时，推理往往简洁且迅速收敛。本文认为，当前将感知与推理数据合并或优先侧重推理的后训练范式，未能解决这一基础性缺陷。

2. 方法论

提出的解决方案是一个分阶段后训练框架，将 VLM 的能力解耦为三个 distinct 且 sequential 的阶段，每个阶段利用专门的 datasets 和训练策略：

2.1. 能力分解

训练流程分为三个阶段：

视觉感知：专注于识别细粒度的视觉细节和空间关系，无需多步推理。
文本推理：专注于仅使用文本输入进行逻辑推断。
视觉推理：专注于需要准确感知和多步推理的复杂多模态任务。

2.2. 数据合成与整理

感知数据（ $D_{perc}$ ）：源自 DOCCI 数据集（细粒度图像描述）。利用大语言模型（LLM）基于描述生成聚焦感知的问题。通过过滤机制，仅保留那些基础 VLM 仅凭图像无法正确回答、但提供描述后能成功回答的样本。这隔离了纯粹受限于感知的样本。
文本推理数据（ $D_{text}$ ）：源自 ORZ-Math-13k，包含无需视觉输入即可解决的挑战性数学问题。
视觉推理数据（ $D_{vis}$ ）：从多个开源来源（如 CLEVR-Math、GeoQA170K、Math PUMA 等）整理而来，需要同时具备感知和推理能力。

2.3. 训练策略

分阶段训练：模型按顺序（ $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ）使用组相对策略优化（GRPO）进行训练。
- 阶段 1（感知）：作者比较了监督微调（SFT）与带有可验证奖励的强化学习（RLVR）。研究发现 RLVR 在感知方面显著更有效，因为它比 token 级 SFT 更稳健地惩罚幻觉性解释。
- 阶段 2 和 3：利用 GRPO 优化推理能力。
视觉编码器处理：在感知阶段，视觉编码器处于激活状态。在后续阶段，策略有所不同（例如在文本推理阶段冻结编码器），但成功的主要驱动力是分阶段的数据顺序。
课程整合：作者证明，这种基于能力的阶段划分与传统的基于难度的课程是正交的。将两者结合（在每个能力阶段内按难度排序数据）可产生叠加增益。

3. 主要贡献

解耦感知与推理：本文确立了视觉感知是一种 distinct 且 fundamental 的能力，必须在优化视觉推理之前加以巩固。将二者视为合并任务会导致次优性能。
分阶段训练范式：作者提出了一种特定的训练顺序（感知 $\rightarrow$ 文本推理 $\rightarrow$ 视觉推理），该顺序始终优于合并训练。逆转此顺序（在感知之前训练推理）会降低性能。
用于感知的 RLVR：本工作证明，对于训练视觉感知，RLVR 优于基于描述的 SFT，它提供了更强的训练信号，减少了幻觉。
效率提升：采用此方法训练的模型在实现更高准确率的同时，推理轨迹显著缩短（缩短 20.8%），表明准确的感知减少了为纠正初始错误而进行过度“思考”的需求。
新课程维度：本文引入了“能力维度课程学习”作为基于难度课程的补充方法，表明结合这两个维度可带来进一步的改进。

4. 实验结果

实验在 Qwen2.5-VL-7B 和 Qwen3-VL-8B 骨干网络上进行，将分阶段训练与合并训练及 various open-weight baselines（如 OneThinker、GThinker）进行了比较。

性能提升：
- 视觉数学：分阶段训练使 WeMath 准确率在 Qwen2.5-VL-7B 上提高了 5.2%，在 Qwen3-VL-8B 上提高了 1.5%（相较于合并训练）。在 MathVista 上，分阶段训练的 Qwen3-VL-8B 达到了 75.9%。
- 感知：该方法使 RealWorldQA 准确率提高了 3.7%（Qwen3-VL-8B），并在 A-OKVQA 和 POPE 上保持了高性能，避免了仅在推理训练中常见的“感知税”。
- 总体：分阶段训练的 Qwen3-VL-8B 达到了 65.8% 的创纪录总体平均分，超越了基础模型和推理专用的 OneThinker-8B。
效率：分阶段训练的模型产生的推理轨迹比合并训练的模型短 20.8%，同时实现了更高的准确率。
错误分析：使用外部评判器（Claude-Haiku-4.5），作者发现与合并训练相比，分阶段训练将推理轨迹中的感知错误率从 857 次降低到了 781 次（样本总数 3044）。
泛化性：分阶段训练的益处在不同架构中得到了确认，包括 InternVL3-8B 和 InternVL3.5-8B。

5. 意义与主张

本文主张，当前 VLM 中视觉推理的主要限制因素是视觉感知，而非推理能力本身。因此，“更长的思考”无法弥补错误的感知。

本工作的意义在于：

范式转变：从合并训练转向基于能力解耦的分阶段方法。
方法论洞察：证明了训练顺序至关重要；感知必须是推理的脚手架。
训练效率：证明了更好的感知能带来更高效的推理（更短的轨迹），从而降低计算成本。
课程设计：确立了基于能力的阶段划分作为基于难度课程的一个新的、正交的维度，两者结合可产生叠加增益。

作者总结道，将专门的感知数据与分阶段训练范式相结合，对于开发能够可靠解决复杂视觉任务的高级通用 VLM 至关重要。