💬 NLP

VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

本文提出了 VisTIRA 框架，通过结合结构化工具调用（将图像问题分解为自然语言推理与可执行代码）以及利用 LaTeX 转换和合成数据构建的训练体系，有效缩小了视觉语言模型在数学推理任务中因图像模态导致的性能差距。

原作者： Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个让 AI 头疼的问题：为什么 AI 看“文字版”数学题很厉害，但一看到“图片版”（比如试卷拍照、手写笔记）的数学题就变笨了？

作者把这个问题称为**“模态鸿沟”**（Modality Gap）。为了填平这道鸿沟，他们发明了一个叫 VisTIRA 的新方法。

我们可以用几个生动的比喻来理解这篇论文的核心内容：

1. 核心问题：AI 的“近视眼”与“算盘”

想象一下，你让一个超级聪明的学生（AI 模型）做数学题。

文字版题目：就像把题目直接打印在纸上，字字清晰。学生读起来很顺畅，逻辑推理能力很强，能算出正确答案。
图片版题目：就像把题目拍了一张照片，照片里可能有歪歪扭扭的字、复杂的公式、图表，甚至有点模糊。
- 问题出在哪？ 学生（AI）在“看”照片时，容易把 $x^2$ 看成 $x^3$ ，把分数线看错，或者把图表里的坐标轴看歪。一旦第一步看错了，后面就算得再努力，答案也是错的。这就叫“一步错，步步错”。

2. 解决方案 A：VisTIRA —— 给 AI 配个“计算器”和“草稿纸”

为了解决这个问题，作者给 AI 装了一套新装备，叫 VisTIRA。

以前的做法：AI 试图用大脑（神经网络）直接“硬算”图片里的所有细节，包括识别符号和做复杂的算术。这就像让一个画家同时兼任数学家，还要在摇晃的船上画画，很容易出错。
VisTIRA 的做法：
1. 先看懂（自然语言）：AI 先像人一样，用语言描述题目：“这道题是求极限，看起来有个分式……"
2. 再动手（写代码）：AI 不自己算数，而是写一段 Python 代码，把题目里的数字和逻辑交给外部的“超级计算器”（Python 解释器）去算。
3. 循环检查：代码算出结果后，AI 再把这个结果拿回来，继续写下一步的推理。

比喻：这就好比一个建筑师（AI）不再亲自搬砖和砌墙（做算术），而是负责画图纸（写代码），然后指挥**专业的施工队（Python 工具）**去干活。如果施工队算错了，建筑师能立刻发现并修正，而不是自己瞎猜。

3. 解决方案 B：OCR 辅助 —— 给 AI 配个“翻译官”

对于图片里的文字，作者还尝试了另一种方法：OCR（光学字符识别）。

做法：先把图片里的文字“翻译”成纯文本，然后让 AI 一边看图，一边看翻译好的文字。
效果：
- 小模型（比如 Qwen-7B）：就像是一个视力不太好但很努力的小学生。给他看纯文字（翻译稿），他就能算对；光看图片，他就晕了。所以 OCR 对小模型是救命稻草。
- 大模型（比如 GPT-5）：就像是一个视力极好的天才。他看图已经很准了，如果再把文字翻译给他看，反而会觉得信息重复、啰嗦，甚至被多余的噪音干扰，导致成绩稍微下降。

4. 实验成果：造了一个“数学试卷生成器”

为了证明他们的方法有效，作者还做了一个很酷的事情：
他们把现有的纯文字数学题库（NuminaMath），通过一个自动化工具，“打印”成了看起来像真实试卷的图片。

这就好比他们自己造了一个**“平行宇宙”**，里面的题目和文字版一模一样，只是变成了图片。
通过对比 AI 在“文字版”和“图片版”的表现，他们量化了那个“模态鸿沟”到底有多大。

总结：这篇论文告诉我们什么？

看图做题确实更难：即使是顶尖的 AI，看图片做题也比看文字做题容易出错，因为“看”的过程容易引入错误。
不要死磕“看图”：与其强迫 AI 把图片里的每个像素都算得完美，不如教它**“看图 -> 写代码 -> 让工具算”。这种“人机协作”**（AI 指挥工具）的模式，能大幅提高准确率。
因材施教：
- 对于小模型，给它加上“文字翻译”（OCR）很有用。
- 对于大模型，教它**“写代码调用工具”**（VisTIRA）才是王道。

一句话总结：
这篇论文教 AI 做数学题时，不要试图用“眼睛”去硬算复杂的公式，而要学会“看图说话”，然后指挥“计算器”去干活。这样，无论是看试卷还是看黑板，AI 都能成为数学满分学霸。

VisTIRA：通过结构化工具集成缩小视觉数学推理中的图像 - 文本模态差距

1. 研究背景与问题定义

核心问题：视觉 - 语言模型（VLM）在数学推理中的“模态差距”（Modality Gap）
尽管 VLM 在通用多模态任务（如文档理解、图表问答）上表现优异，但在处理以图像形式呈现的数学问题时，其表现显著落后于纯文本大语言模型（LLM）。

现象：同一个数学问题，当以纯文本形式输入时，模型准确率较高；但当以包含密集公式、多行方程、图表和混合符号 - 图示上下文的图像形式输入时，准确率大幅下降。
原因：这种差距源于复合性的失败，包括：
1. 视觉解析错误：难以准确识别分数基线、积分上下限、上下标、分段函数大括号及图表标注等布局结构。
2. 符号推理崩溃：微小的解析错误（如指数抄错、积分限颠倒）会导致后续代数推导产生级联错误，最终导致答案完全偏离。
现状：即使是前沿系统（如 GPT-5）在视觉数学任务上也存在性能退化，而中等规模的开源模型则面临巨大的性能跌幅。现有的 VQA 和 OCR 数据集通常缺乏与图像配对的、可执行的逐步推理轨迹（Trajectories）。

2. 方法论：VisTIRA 框架

为了解决上述问题，作者提出了 VisTIRA (Vision and Tool-Integrated Reasoning Agent)，一个将视觉感知与工具集成推理相结合的框架。

2.1 核心机制：迭代式工具集成推理

VisTIRA 不再依赖单一的端到端生成，而是通过**自然语言推理（Rationale）与可执行 Python 代码（Tool）**的交替循环来解决问题：

输入：数学问题图像 $I$ 。
步骤分解：模型生成自然语言推理步骤 $\rho_i$ ，随后生成对应的 Python 代码片段 $A_i$ （用于符号计算或数值求解）。
外部执行：代码在外部环境中执行，产生输出 $O_i$ 。
反馈循环：执行结果 $O_i$ 被反馈给模型，作为生成下一步推理或最终答案的依据。
终止条件：当模型生成包含 \boxed{} 的最终答案时，推理轨迹结束。

这种设计将精确的数学运算委托给符号引擎（如 SymPy），从而减少模型在算术计算上的幻觉，并提供可验证的中间信号。

2.2 数据构建与训练策略

为了监督 VisTIRA 的训练，作者构建了高质量的数据集和评估基准：

训练数据（SnapAsk）：
- 来源：真实世界的家庭作业风格数学图像数据集（约 30 万张）。
- 生成过程：利用强大的教师模型（如 GPT-4o/GPT-5）生成“推理 - 代码 - 执行”轨迹。
- 一致性过滤：仅保留那些模型自身的思维链（CoT）答案与工具执行答案完全一致的轨迹，确保数据质量。最终获得约 14.8 万条高质量训练样本。
评估基准（NuminaMath 渲染版）：
- 为了严格控制变量并量化模态差距，作者开发了一个基于 LaTeX 的文本转图像渲染管道。
- 将现有的纯文本 CoT 数学数据集（NuminaMath）转换为视觉上排版精美的图像，同时保留原始答案。
- 发布了 36 万张清晰图像和 36 万张经过随机退化（模糊、噪声、色调等）的图像，用于模拟真实扫描/拍照场景。

2.3 OCR 接地（Grounding）分析

作为补充策略，作者研究了引入 OCR 文本提取（使用 DeepSeek-OCR）对模型性能的影响：

策略：将提取的文本与原始图像一起输入模型，或仅使用提取的文本。
发现：OCR 对小模型（如 Qwen2.5-VL-7B）有显著提升，能弥补其视觉编码器的不足；但对大模型（如 GPT-5）效果有限，甚至可能因引入冗余信息而略微降低性能。

3. 主要贡献

VisTIRA 框架：提出了一种迭代式工具集成推理框架，将视觉数学问题分解为“推理 - 代码 - 执行”循环，有效解决了视觉解析与符号计算耦合的难题。
大规模轨迹监督数据：构建了基于真实作业图像（SnapAsk）的验证型“推理 - 代码 - 输出”轨迹数据集，填补了视觉数学领域缺乏可执行轨迹监督数据的空白。
受控评估管道与数据发布：
- 开发了 LaTeX 渲染管道，将文本数学问题转化为图像，实现了同一问题在不同模态下的受控对比。
- 开源了 36 万张清晰和 36 万张带噪声的 NuminaMath 渲染图像，以及包含 OCR 转录的测试集。
模态差距的实证分析：
- 量化了图像 - 文本模态差距，发现差距严重程度与模型规模呈反比（小模型差距更大）。
- 证明了工具集成推理和OCR 接地是互补策略：前者通过计算辅助提升推理准确性，后者通过文本提取辅助视觉感知。

4. 实验结果

实验基于 Qwen2.5-VL-7B（小模型）和 GPT-5（大模型）在 NuminaMath（渲染图像）和 SnapAsk（真实图像）上进行。

工具集成推理的有效性：
- 在 SnapAsk 上，经过 VisTIRA 微调的 Qwen2.5-VL-7B 准确率从基线的 32.53% 提升至 37.96%（+5.43%）。
- 相比之下，仅进行 CoT 微调（无工具使用）仅提升了 1.65%，证明工具集成带来的收益并非仅来自领域适应，而是源于计算辅助。
- 在 NuminaMath 上，VisTIRA 模型准确率从 58.77% 提升至 60.97%。
模态差距分析：
- 文本 vs 图像：所有模型在文本模态下的表现均优于图像模态。例如，Qwen2.5-VL-7B 在文本上为 64.19%，图像上为 58.77%（差距 5.42%）；GPT-5 差距为 6.00%。
- 模型规模影响：小模型的模态差距更为显著，表明小模型在视觉解析上存在更大瓶颈。
OCR 接地效果：
- 对于 Qwen2.5-VL-7B，引入 OCR 接地（Image + OCR）将准确率从 58.77% 提升至 63.89%，甚至超过了纯文本模态的表现。
- 对于 GPT-5，OCR 接地带来的提升较小（73.94% -> 76.37%），且纯 OCR 输入（77.49%）甚至略高于图像输入，表明大模型自身视觉能力较强，额外 OCR 可能引入噪声。
- 噪声鲁棒性：在添加随机噪声（模拟真实扫描）的测试中，GPT-5 性能下降明显（差距扩大），而 Qwen2.5 表现相对稳定（受限于其视觉解析上限，噪声未造成额外大幅下降），但模态差距依然存在。

5. 意义与结论

理论意义：该研究首次系统性地量化了视觉数学推理中的模态差距，并揭示了其与模型规模的反比关系。它证明了单纯增加模型参数不足以完全消除视觉解析带来的误差，需要结构化的推理机制。
技术启示：
1. 工具集成是必选项：对于复杂的视觉数学任务，将推理与外部计算工具（Python/SymPy）结合是减少级联错误的关键。
2. 多模态融合策略：对于资源受限的小模型，结合 OCR 文本提取是弥补视觉编码器不足的有效手段；而对于大模型，应更侧重于优化视觉 - 语言对齐和工具调用能力。
未来方向：未来的工作应致力于开发自适应的融合策略（如根据 OCR 置信度动态选择输入），以及构建更多样化、包含真实手写和复杂布局的视觉数学基准。

总结：VisTIRA 通过引入“视觉感知 + 工具推理”的双轨机制，结合高质量的数据构建和受控的模态评估，有效缩小了 VLM 在视觉数学推理中的模态差距，为下一代多模态数学智能体提供了重要的技术路径。