技术摘要：多模态大语言模型（MLLMs）在学习多模态推理时学到了什么

问题陈述

当前对多模态大语言模型（MLLMs）的评估通常将性能简化为单一的综合准确率分数。这种方法隐含地将推理视为一种单一能力，从而掩盖了不同的错误来源：感知（从视觉输入中提取信息）、推理（对提取的信息进行操作）以及多模态特定的交互（模态间的协调）。现有的基准测试很少在严格控制的条件下分解这些组件，往往依赖多样化的输入模态，而未能隔离特定技能。因此，不同的训练策略（例如监督微调与强化学习）如何影响特定的多模态推理能力，目前仍不清楚。

方法论：MATHLENS

为了解决这一问题，作者引入了MATHLENS，这是一个基于教科书风格几何问题的受控基准测试，旨在对性能进行操作性分解。

• 数据构建：MATHLENS 建立在FormalGeo-7K的符号语义状态之上。每个问题实例 $k$ 由潜在语义状态 $S_k$（一组原子事实，例如共线性、角度测量值）和查询算子 $\phi_k$ 定义。
• 受控变体：从 $S_k$ 出发，该基准测试生成四种对齐的标注：
  1. 视觉图表（$C^{img}_k$）：根据几何约束渲染而成，用于测试感知能力。
  2. 文本描述（$C^{txt}_k$）：对 $S_k$ 进行明确等价的文本编码，允许在感知简化的情况下评估推理能力。
  3. 多模态问题（$Q_k$）：需要结合两种模态才能解决。
  4. 感知探针（$Q^{perc}_k$）：针对 $S_k$ 中特定原子事实的细粒度问题（例如，“哪些点是共线的？”）。
• 鲁棒性测试：该基准测试包含语义图表修改（例如重新标记、旋转、添加辅助形状），这些修改保持真实答案不变但改变视觉形式，从而测试超越像素级增强的语义不变性。
• 错误分解：模型输出被归类为：
  • 感知错误：在感知探针上失败。
  • 推理错误：在探针上成功但在纯文本推理上失败。
  • 多模态特定（整合）错误：在独立的感知和推理任务上均成功，但在组合的多模态任务上失败。
  • 残差：一个类别，用于捕捉无法由测量的感知和推理组件解释的失败。

该研究评估了 7 个模型家族（7–9B 和 72B 参数）中的 13 个检查点，包括使用直接强化学习、多模态监督微调、文本监督微调及其组合训练的变体。

主要发现

这种分解揭示出，训练策略会诱导系统性地不同的能力分布，而这些分布在综合准确率下是不可见的：

1. 训练策略的差异化影响：

   • 强化学习（RL）：主要改善感知能力以及对图表变化的鲁棒性。当与强大的文本监督微调（SFT）结合时，RL 能带来显著的感知提升。然而，仅靠 RL 在两种模态上仅提供适度的改进。
   • 文本监督微调（SFT）：尽管在训练期间缺乏视觉输入，文本 SFT 却间接增强了感知能力。这归因于反思性推理，即增强的认知策略（例如自我修正）使模型能够重新审视并修正最初的感知判断。
   • 推理提升：在 RL 下，推理的改进主要跟随感知的改进，并未表现出超出这些耦合改进之外的独特额外增益。

2. 多模态特定残差的兴起：
   随着感知和推理能力的提升，剩余错误中超出这些测量组件的比例逐渐增加。这些错误被归类为多模态特定残差（或整合失败）。这表明，多模态推理的表观进步往往反映了各组件之间平衡的转移，而非能力的均匀提升。

3. 鲁棒性的分歧：

   • RL 增强了在结构图表变化下的一致性。
   • 多模态监督微调（SFT） 降低了鲁棒性，导致对特定视觉风格的过拟合，并在修改后的图表上出现性能急剧下降。

4. 特定技能的增益：
   感知增益是不均匀的。训练优先提升由直接几何线索驱动的技能（例如共线性、平行线）。依赖符号标记或长程视觉关联的任务（例如特定角度值、三角形检测）除非结合文本监督，否则显示出有限的增益。

意义与主张

本文主张，MATHLENS 为多模态推理的多轴评估提供了一个必要的框架。通过超越标量准确率，作者证明了：

• MLLMs 的表观进步往往是感知、推理和整合之间平衡的转移，而非能力的均匀提升。
• 不同的训练目标（SFT 与 RL）以不同的方式塑造这些组件，其中 RL 对于感知 grounding 和鲁棒性至关重要，而文本 SFT 则通过反思性推理辅助感知。
• 多模态特定残差的持续存在表明，即使各个组件有所改进，当前的训练范式仍难以应对跨模态协调问题。

作者得出结论，未来的工作必须直接解决跨模态协调和感知能力问题，这一结论的动机在于发现标准综合指标掩盖了这些关键局限性。本文并未声称解决了这些问题，而是提供了识别它们的诊断工具。