VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs

该论文提出了 VisioMath 基准，通过包含 1800 个候选答案均为细微相似图形的 K-12 数学问题，揭示了当前多模态大模型在细粒度视觉推理中因图文对齐不足而导致的性能瓶颈，并验证了多种对齐策略能显著提升模型表现。

要点

这篇论文介绍了一个名为 VisioMath 的新项目，它就像是为大型多模态模型（LMMs，也就是能“看”又能“读”的超级 AI）举办的一场**“找不同”数学大考**。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成以下几个生动的场景：

1. 为什么要办这场考试？（背景与动机）

现在的 AI 很聪明，能看懂图片、能解数学题。但是，它们在面对**“长得特别像的选项”**时，往往会犯迷糊。

• 比喻：想象你在做一道数学选择题，题目问“哪个图形是正确答案”。选项 A、B、C、D 四个图形看起来几乎一模一样，就像四胞胎一样。
  • 人类学生：会仔细观察，发现 A 的角稍微歪了一点，B 的线稍微粗了一点，从而选出正确答案。
  • 现在的 AI：往往“眼拙”，分不清这四胞胎的区别。它们可能只是随便猜一个，或者根据“选项 A 通常在左边”这种位置习惯来蒙答案，而不是真的看懂了图。

VisioMath 就是专门设计来测试 AI 这种“火眼金睛”能力的。它收集了 1800 道 K-12（中小学）的数学题，这些题的选项全是高度相似的图形（比如函数图像、几何展开图），专门用来“折磨”AI 的视觉分辨能力。

2. 考试结果如何？（主要发现）

作者把市面上最厉害的 AI（比如 GPT-4.1, Gemini 2.5 Pro, Qwen 等）都拉来考了这场试，结果发现了一个尴尬的现象：

• 相似度高，分数就低：当四个选项长得越像（相似度越高），AI 的准确率就越低。就像四胞胎长得越像，AI 越容易认错。
• 主要毛病是“张冠李戴”：AI 最大的问题不是不会算，而是**“图文对不上号”**。
  • 比喻：题目问的是“图 A"，AI 脑子里想的却是“图 B"。它把文字描述和具体的图片搞混了，就像你让一个人“指一下穿红衣服的人”，他却指了指穿蓝衣服的人，然后说“我觉得这个更像”。
• 位置依赖症：AI 太依赖“位置”了。如果你把选项的图片顺序打乱，但文字标签（A、B、C、D）不变，AI 的分数会大幅下降。这说明它不是在看图，而是在背“第几个选项是答案”。

3. 怎么给 AI“补课”？（解决方案）

既然发现了 AI 的弱点，作者就尝试了三种方法来帮它“开窍”：

• 方法一：把散落的拼图拼成一张大图（整合布局）

  • 做法：不再让 AI 分别看四张分开的小图，而是把题目图和四个选项图拼成一张长图，让 AI 一次性看完。
  • 效果：就像把散落在桌子上的四张纸拼成一张大海报，AI 更容易看清它们之间的关系，成绩有所提升。

• 方法二：给图片贴上“姓名牌”（显式锚点）

  • 做法：直接在每个选项图片的下面或旁边，用文字标上"A"、"B"、"C"、"D"，强行建立图片和文字的联系。
  • 效果：这就像给四胞胎每个人脖子上挂个名牌。AI 不再需要猜“哪个是 A"，直接看名牌，成绩提升明显。

• 方法三：教 AI 学会“一步步思考”（思维链微调）

  • 做法：这是最厉害的一招。作者给 AI 准备了一套专门的“教材”，教它如何像老师一样，一步步地描述每个图，然后对比差异，最后得出结论。
  • 效果：这就像给 AI 请了个私教，教它怎么“找不同”。即使只用了很少量的数据，AI 的成绩也突飞猛进（有的模型提升了 12.6%），证明只要教它正确的“对齐”方法，它就能学会。

4. 总结与意义

VisioMath 不仅仅是一个测试题，它是一个警示牌和指南针：

• 警示：目前的 AI 虽然看起来很聪明，但在处理精细的、需要对比的视觉任务时，还像个“近视眼”，容易看走眼。
• 指南：未来的 AI 发展，不能只靠堆数据，更需要学会如何精准地把文字和具体的图像细节对应起来（即“图文对齐”）。

一句话总结：
这篇论文告诉我们要想造出真正懂数学、能看懂复杂图表的 AI，就不能只让它们“大概看看”，而要训练它们像人类一样，拿着放大镜去仔细分辨那些长得极像的“四胞胎”选项，并且学会把文字描述和具体的图片严丝合缝地对上号。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 《VISIOMATH: BENCHMARKING FIGURE-BASED MATHEMATICAL REASONING IN LMMS》（VisioMath：基准测试大语言多模态模型中的基于图形的数学推理）。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心问题：现有的大语言多模态模型（LMMs）在整合视觉和语言方面取得了显著进展，但在处理多个视觉相似输入时的细粒度比较推理能力仍显不足。
• 现实痛点：在数学教育和实际应用中，学习者经常需要区分几乎相同的图表（如几何图形、函数图像）以找到正确答案。现有的基准测试大多关注单图理解或文本选项，缺乏对“选项均为图像且高度相似”这一场景的评估。
• 现有局限：
  • 现有基准（如 MathVista, MathVerse）多为单图输入或文本选项。
  • 即使有多图输入，往往缺乏对“视觉相似性”的量化，或者选项并非独立的图形。
  • 模型倾向于使用浅层的位置启发式（positional heuristics）而非真正的图文对齐，导致在区分细微差别时失败。

2. 方法论：VisioMath 基准构建 (Methodology)

作者提出了 VisioMath，这是一个专门针对基于图形的数学推理构建的高质量基准数据集。

• 数据规模与来源：
  • 包含 1,800 道精心筛选的 K-12 数学题。
  • 数据来源于 2002 年至 2023 年的中国高考及大学入学考试真题，确保了真实性和代表性。
  • 涵盖几何、代数可视化、数值比较、函数模式识别等广泛主题。
• 数据特征：
  • 全图形选项：所有答案选项（A, B, C, D）均为独立的图表。
  • 高视觉相似性：选项之间仅在细微的几何结构或函数曲线上存在差异。
  • 视觉相似性量化：使用 Qwen multimodal-embedding-v1 模型提取图像嵌入，定义问题的视觉相似度为所有选项对之间余弦相似度的最小值（$Sim(Q) = \min_{i \neq j} \cos(f(x_i), f(x_j))$），以此构建从低到高的相似性难度梯度。
  • 去偏处理：答案分布均匀（A-D 各约 25%），并经过人工审查去除重复和低质量样本。
• 构建流程：
  1. 从真题中提取题目文本（转为 LaTeX）和图像。
  2. 裁剪选项图像，确保“一选项一图”。
  3. 计算视觉相似度并分层。
  4. 人工交叉验证确保标注准确。

3. 实验设置与评估 (Experiments)

• 评估对象：涵盖了多种类型的 SOTA LMMs，包括：
  • 闭源模型：GPT-4.1, Gemini 2.5 Pro, Seed1.6-Thinking 等。
  • 开源模型：Qwen2.5-VL 系列、InternVL2.5、GLM-4.5V 等。
  • 数学专用模型：MM-Eureka, MM-PRM 等。
• 评估条件：
  • 零样本（Zero-shot） 设置。
  • 区分两种输入模式：题干无图 vs 题干含图。
  • 按视觉相似度四分位数（Q1-Q4）分析性能变化。

4. 关键发现与结果 (Key Results)

• 性能随相似度下降：随着选项间视觉相似度的增加，所有模型的准确率均显著下降。例如，Doubao-1.5-Vision-Pro 在低相似度区间准确率为 74.9%，而在高相似度区间降至 62.0%。
• 题干含图增加难度：当题干本身也包含图像时，模型性能普遍低于纯文本题干，表明多源视觉信息的整合对模型构成更大挑战。
• 主要失败模式：图文错位 (Image-Text Misalignment)：
  • 错误分析显示，36% 的错误源于模型未能正确建立文本选项与对应图像之间的语义对齐。
  • 位置启发式依赖：通过打乱选项顺序（Shuffling）实验发现，模型准确率大幅下降（如 Gemini 2.5 Pro 下降 8.7%），证明模型过度依赖“选项 A 对应第一张图”的固定位置假设，而非真正的理解。
• 人类 vs 模型：人类在相似度高时准确率仅轻微下降，而模型在感知细微差别（如空心点、斜率微小变化）时表现极差，表明模型缺乏细粒度的视觉感知与逻辑推理的结合能力。

5. 提出的改进策略 (Strategies)

为缓解图文错位问题，作者探索了三种策略：

1. 策略一：整合单图布局 (Consolidated single image layout)
   • 将所有选项图和题干图拼接成一张大图。
   • 效果：性能提升（如 Seed1.6-Thinking 提升 +6.4%），表明模型在单一视觉空间内分配注意力更有效。
2. 策略二：显式视觉 - 文本锚点 (Explicit visual–textual anchors)
   • 在图像上直接叠加或嵌入对应的选项标签（A/B/C/D）。
   • 效果：显著提升（如 QwenVL-plus 提升 +9.8%），证明显式的对齐信号能有效减少歧义。
3. 策略三：面向对齐的多图思维链微调 (Alignment-oriented Multi-image CoT Fine-tuning)
   • 构建了一个包含 500 个高质量样本的多图 CoT 数据集。
   • 流程：利用 QwenVL-Max 生成初步描述 -> DeepSeek V3.1 进行推理路径细化 -> 过滤保留正确答案样本。
   • 效果：即使数据量小，微调后模型性能大幅提升。Qwen2.5-VL-3B 准确率从 25.4% 提升至 38.0% (+12.6%)，超越了部分更大的未微调模型。

6. 主要贡献 (Contributions)

1. VisioMath 基准：首个专门针对“图形选项”数学推理的基准，填补了现有评估框架在细粒度比较推理方面的空白。
2. 全面评估与洞察：系统评估了主流 LMMs，揭示了即使最先进的模型在处理高度相似图形选项时也存在严重缺陷，核心瓶颈在于多模态对齐而非单纯的推理深度。
3. 有效策略验证：证明了通过简单的布局优化、显式锚点以及少量的对齐导向 CoT 微调，可以显著改善模型在复杂多图推理任务中的表现。

7. 意义与影响 (Significance)

• 教育应用：VisioMath 直接关联 K-12 教育场景，有助于开发更智能的辅导系统和自动阅卷工具。
• 模型发展：指出了当前 LMMs 在多图推理中的核心短板（图文对齐），为未来的模型架构设计和训练数据构建提供了明确方向。
• 研究推动：该工作鼓励社区关注“视觉相似性”和“细粒度比较”这一被忽视的领域，推动 LMMs 从简单的图像识别向深层的图表理解和逻辑推理迈进。

总结：VisioMath 揭示了当前多模态大模型在面对“长得像但答案不同”的数学图形题时的脆弱性，并通过数据基准和策略验证，强调了细粒度图文对齐在复杂推理任务中的关键作用。