💻 computer science

On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training

本文识别并解决了训练后瓶颈，即视觉语言模型在推理方面的提升优于感知能力，为此引入了一种诊断框架，揭示了监督微调与强化学习中导致这种不对称性的不同原因，并提出动态损失重加权与感知感知奖励等针对性干预措施，以显著提升端到端性能。

原作者： Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

宏观图景：“聪明但盲目”的学生

想象你有一位才华横溢的学生，正在参加一场非常困难的考试，考试内容包括观察一张图片，然后基于该图片解决一个逻辑谜题。

最近，老师们（研究人员）一直在使用特殊的训练方法，让这些学生在推理（解决逻辑谜题）方面变得更出色。学生们在数学和逻辑部分变得极其聪明。

然而，这篇论文发现了一个奇怪的问题：虽然学生们在“思考”方面变得更聪明了，但他们在“观察”方面却没有进步。事实上，他们开始“产生幻觉”或误读图片。这就像一位侦探在破案方面是天才，却不断在照片中错误地指认嫌疑人。

作者将这种现象称为**“非对称优化”**。训练过程过度偏向大脑的“思考”部分，而忽视了“观察”部分。

实验：受控的课堂环境

为了弄清楚为什么会发生这种情况，研究人员不能仅仅使用现实世界的照片（这些照片杂乱无章且难以完美评分）。相反，他们构建了一个数字沙盒，其中包含两个特定的游戏：

图着色：一张由点和线连接而成的网状图片。任务是为这些点着色，使得任何两个相连的点颜色不同。
数独：一张需要正确填充数字的网格图片。

由于这些是计算机生成的，研究人员确切地知道图片看起来的正确答案是什么（感知），以及解决它的确切逻辑是什么（推理）。这使得他们能够将这两种技能分离开来，并确切地看到学生在哪里失败了。

他们测试了两种训练方法：

SFT（监督微调）：就像老师向学生展示正确答案键并说：“记住这个。”
RL（强化学习）：就像一款电子游戏，学生只有在最终得分正确时才能获得积分，但老师不会告诉他们哪里做错了。

发现：两个不同的罪魁祸首

研究人员发现，这两种训练方法都导致了“观察”问题，但原因各不相同。

1. SFT 问题：“体量”问题

类比：想象一名学生写一篇长文章。老师根据文章的总字数来评分。

学生花费 95% 的文章篇幅来解释逻辑（推理）。
学生仅花费 5% 的文章篇幅来描述图片（感知）。

发生了什么：由于“感知”部分太短，老师的反馈（训练信号）对于该部分来说非常微弱。学生完美地掌握了逻辑，因为它获得了 95% 的关注，但他们几乎没学会如何描述图片，因为它只获得了 5% 的关注。

解决方案：研究人员尝试了损失重加权。这就像告诉老师：“虽然描述部分很短，但要像它占文章 50% 那样来评分。”

结果：当他们强制模型更多地关注“观察”部分时，学生在观察和解决谜题两方面都变得更好了。总分最高提升了18.2 分。

2. RL 问题：“噪声奖励”问题

类比：想象一名学生在玩电子游戏。他们只有在游戏结束时才会看到“游戏结束”或“胜利”的画面。他们不会因为特定的操作而获得积分。

如果学生猜错了图片，但运气好还是解开了谜题，他们仍然会看到“胜利”画面。
如果学生完美地看到了图片，但犯了一个微小的逻辑错误，他们就会看到“游戏结束”。

发生了什么：“胜利”信号（奖励）与逻辑（推理）紧密相关，但与图片描述（感知）的关联非常微弱。模型学到了：“我不需要完美地观察图片；我只需要擅长猜测逻辑即可。”“观察”的信号太嘈杂，无法从中学习。

解决方案：研究人员尝试了奖励增强。他们添加了一个特定的“额外积分”，专门用于正确描述图片，即使最终逻辑是错误的。

结果：这为模型提供了一个清晰的信号来改善其视觉能力。总分最高提升了6.0 分。
额外发现：他们还发现，如果你没有完美的“额外积分”（真实标签），你可以使用“代理”奖励（例如，让一个更智能的 AI 来评分图片描述）。即使是对奖励的粗略猜测，也能帮助提升3.2 分。

权衡：平衡天平

论文还发现了一种微妙的平衡。

如果你强迫模型过度关注观察，它在思考方面就会变差。
如果你让它过度关注思考，它在观察方面就会变差。

最佳平衡点是通过适度地增加“观察”部分的权重来发现的。你不想忽略逻辑，但你也不能让视觉部分成为次要的附庸。

关键要点总结

问题：当前的 AI 训练使模型在推理方面表现出色，但在感知方面表现糟糕，造成了瓶颈，导致模型无法解决问题，因为它无法正确“观察”输入。
原因（SFT）：答案中的“观察”部分太短，因此在标准训练中被忽视。解决：在评分中给予其更多权重。
原因（RL）：最终得分无法告诉模型它是否正确看到了图片，只能告诉它最终答案是否正确。解决：为正确观察图片添加特定的奖励。
结果：通过解决这些特定的不平衡，模型在整个任务（端到端性能）上变得显著更好，证明了不能只训练“思考”而期望“观察”会自动改善。

技术摘要：视觉语言模型后训练中推理与感知的非对称优化

1. 问题陈述

后训练技术，特别是监督微调（SFT）和强化学习（RL），显著增强了前沿视觉语言模型（VLM）的推理能力。然而，这些提升并未按比例转化为感知能力。近期研究表明，后训练可能仅带来有限的感知性能改善，甚至导致感知性能下降，从而成为端到端视觉推理的瓶颈。本研究旨在解决的核心问题是：为何后训练会不成比例地偏向推理而非感知，以及如何缓解这种非对称性？

作者认为，感知错误严重限制了高级推理的有效性。为了探究这一问题，他们引入了一种受控的诊断框架，将感知与推理解耦，从而能够对每个组件进行独立评估和优化。

2. 方法论

2.1 受控诊断框架

作者提出了一种框架，旨在分离模型输出中的感知（ $p$ ）和推理（ $r$ ）。

解耦输出： 输出序列被构建为 $y = [p, r]$ ，其中 $p$ 是视觉信息的文本转录， $r$ 是推理过程，两者由特殊标记分隔。这强制了“先感知后推理”的顺序。
评估指标：
- 感知准确率（ $a_p$ ）： 通过将模型生成的感知 $p$ 与真实基准表示 $p^*$ 进行比较来衡量。
- 反事实推理准确率（ $a_r$ ）： 为了将推理能力与感知错误隔离，模型基于真实感知 $p^*$ 生成推理 $r'$ 。准确率随后测量为 $Acc(r' | p^*)$ 。
- 端到端准确率（ $a$ ）： 完整流程的标准准确率。
合成任务： 为了确保真实标注和程序化评估，作者利用了两种合成任务：
1. 图着色（GC）： 输入图的图像； $p^*$ 是边列表；正确性要求有效的节点着色。
2. 数独： 输入网格的图像； $p^*$ 是部分填充的网格；正确性要求有效的解。
  这些任务从基于文本的问题程序化渲染而成，以维持规范的 $p^*$ 。

2.2 训练范式

本研究评估了两种主流的后训练方法：

监督微调（SFT）： 优化输出序列上的 token 平均交叉熵损失。
强化学习（RL）： 使用组相对策略优化（GRPO），以端到端准确率作为主要奖励信号。

2.3 假设机制与干预措施

作者调查了驱动这种非对称性的两种具体机制：

假设 1：Token 不平衡（SFT）
- 机制： 在思维链（CoT）监督中，感知 token 在总输出中所占比例显著小于推理 token。由于 SFT 使用 token 平均损失，感知接收到的优化信号较弱。
- 干预： 损失重加权。 SFT 损失被修改为 $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$ ，其中 $\lambda$ 增加了感知 token 的权重。他们还测试了 NGDiff，这是一种基于梯度范数的动态多任务平衡方法。
假设 2：奖励耦合（RL）
- 机制： 结果奖励（端到端准确率）与推理正确性的相关性比与感知正确性的相关性更强。感知仅在后继推理也正确时才会影响奖励，导致感知的奖励分配存在噪声或错位。
- 干预： 奖励增强。 奖励函数被修改为 $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$ ，显式地添加了感知信号。他们还评估了代理奖励（CLIP 相似度、自奖励、基于教师的奖励），用于真实感知奖励不可用的场景。

3. 实验结果

3.1 实验设置

实验在 Qwen3-VL-2B 和 InternVL3.5-2B 模型上使用 GC 和数独任务进行。数据集包含每个任务 2,000 个 SFT 训练实例和 16,000 个 RL 训练实例。

3.2 SFT 发现

非对称性确认： 标准 SFT 显著提高了推理准确率，但感知准确率提升甚微。
Token 不平衡验证： 分析显示，在 CoT 轨迹中，感知仅占约 2.5% 的 token，仅贡献了总损失的 1.3% 和梯度范数的 8.5%。
干预有效性：
- 增加感知权重（ $\lambda$ ）提高了感知准确率，但造成了权衡，即过度加权会损害推理。
- 最佳平衡： 端到端准确率在适度增加感知权重时达到峰值。
- 结果： 损失重加权使端到端准确率比标准 SFT 提高了 10.0–13.8 个百分点。动态 NGDiff 方法进一步提升了这一效果，在无需手动超参数调整的情况下实现了高达 18.2 个百分点 的提升。

3.3 RL 发现

非对称性确认： RL 同样对推理的提升大于对感知的提升。
Token 不平衡被否定： 与 SFT 不同，在 RL 目标中重新加权 token 概率并未缓解非对称性，反而经常导致训练不稳定。这表明 token 数量并非 RL 中的主要驱动因素。
奖励耦合验证： 皮尔逊相关性分析显示，结果奖励与推理高度相关（ $r \approx 0.65\text{--}1.00$ ），但与感知的相关性较弱（ $r \approx 0.34\text{--}0.43$ ）。
干预有效性：
- 奖励增强： 添加感知奖励（ $\alpha > 0$ ）提高了感知准确率。与 SFT 类似，存在权衡，但端到端性能在非零 $\alpha$ 处达到峰值。
- 结果： 奖励增强使端到端准确率比标准 RL 提高了高达 6.0 个百分点。
- 代理奖励： 当真实感知奖励不可用时，基于教师的奖励（使用更强的模型生成 $p^*$ ）提供了最可靠的信号，带来了 3.2 个百分点 的提升。基于 CLIP 的相似度提供的信号微乎其微。

4. 主要贡献

诊断框架： 引入了一种利用合成任务的受控框架，以解耦并独立评估 VLM 后训练中的感知和推理。
机制识别： 识别出 SFT 和 RL 中一致的感知 - 推理非对称性，并将原因追溯至不同的机制：SFT 中的token 不平衡和 RL 中的奖励耦合。
针对性干预： 证明了特定的、范式感知的干预措施可以重新平衡这些组件：
- SFT： 损失重加权（静态或通过 NGDiff 动态）。
- RL： 感知感知的奖励增强（使用真实数据或可靠的代理）。
- 这些干预措施将端到端视觉推理性能分别提高了高达 18.2 个百分点（SFT）和 6.0 个百分点（RL）。

5. 意义与主张

该论文声称，观察到的非对称性是默认后训练目标的基本后果，而非特定于模型的伪影。作者认为，仅依赖标准的 SFT 或 RL 目标不足以实现鲁棒的端到端视觉推理，因为感知仍然是主要的瓶颈。

这项工作的意义在于提供了具体、可操作的策略来缓解这种不平衡。通过诊断具体的失败模式（SFT 中的 token 稀缺、RL 中的弱奖励信号），作者指出未来的 VLM 后训练流程必须纳入显式的平衡机制——例如损失重加权或感知感知的奖励——以释放视觉推理的全部潜力。该研究强调，这些干预措施是实用的，并且只要存在感知监督或代理信号，就可以集成到现实世界的流程中。

局限性： 作者指出，该研究依赖于合成任务（图着色和数独）来隔离变量。虽然这种抽象限制了对现实世界多样性的直接基准测试，但对于建立在复杂、模糊的现实世界数据中被掩盖的因果机制是必要的。所提出的机制（token 不平衡和奖励耦合）被论证为后训练目标的通用属性，表明这些干预措施适用于合成环境之外的场景。