🤖 AI

PyraMathBench: Evaluating and Improving Mathematical Capability in Large Language Models

本文介绍了 PyraMathBench，这是一个旨在评估大语言模型在数值处理与数学推理集成方面的综合性层级基准测试，并提出了 SOLVE 模块和 IRPO 训练方法，通过解决数值计算和抽象推理方面的弱点来显著提升模型性能。

原作者： Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Zetian Ouyang, Linlin Wang, Gerard de Melo, Liang He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）就像是才华横溢、博学多才的学生，他们能写诗，也能完美地总结历史书籍。然而，当你交给他们一道数学应用题时，他们往往会跌跌撞撞。他们可能理解了故事背景，却在实际数字上栽了跟头，或者会产生“幻觉”（凭空捏造）出并不存在的数字。

论文 “PyraMathBench” 引入了一种新的测试这些学生的方法，以及一种帮助他们学习的新方法。以下是简单的解析：

1. 问题所在：“黑盒”式的数学失败

目前，当我们测试 AI 的数学能力时，通常只看最终答案。它们答对了吗？是或否。

缺陷： 如果答案错了，我们并不知道为什么。是 AI 误解了问题？它忘记了某个数学规则？还是它仅仅是算术做错了（就像一个按键损坏的计算器）？
类比： 这就像是通过只看最终成绩来给学生的作文评分。如果他们得了“C”，你并不知道是因为字迹潦草、没理解题目要求，还是因为出现了拼写错误。你需要看到解题步骤才能解决问题。

2. 解决方案：PyraMathBench（“金字塔”测试）

作者构建了一个名为 PyraMathBench 的庞大新基准测试。你可以把它想象成一个数学技能的金字塔。

结构： 他们并没有直接给 AI 一个难题，而是将其拆解。他们将 7,404 个真实的数学故事切分成了 32,505 个更小的部分（子任务）。
层级：
- 底层（数值解析）： AI 能在文本中找到数字吗？它能从图片中读取数字吗？
- 中间层（理解与计算）： 它能将故事转化为数学方程吗？它真的能进行加法或求解方程吗？
- 顶层（复杂推理）： 它能把所有环节整合起来，解决最初的难题吗？
结果： 通过对 AI 的每一个层级进行测试，研究人员发现许多顶尖的 AI 实际上在基础知识方面表现糟糕。即使它们逻辑很强，也经常在识别图像中的数字或处理简单算术时出错。

3. 诊断：问题出在哪里？

在测试了 11 种不同的 AI 模型（包括 GPT-4、Llama 和 DeepSeek 等知名模型）后，他们发现了两个主要弱点：

“阅读”数字的能力差： 这些模型经常遗漏文本中的数字，或者更糟的是，会遗漏图像中的数字。它们可能看到了图片中的时钟，但猜错了时间，或者忽略了应用题中至关重要的一个数字。
幻觉现象： 当它们不知道某个数字时，有时会为了维持故事的连贯性而随口编造一个数字。

4. 修复方案：SOLVE 与 IRPO

为了帮助 AI 变得更好，作者创造了两个新工具，一个像是智能导师，一个像是私人教练。

SOLVE（智能导师）：
- 问题： AI 经常尝试使用外部工具（如计算器或代码解释器），但由于格式化不当而失败（例如，写出了错误的的代码语法）。这就像一个学生试图使用计算器，但按键顺序不对。
- 修复： SOLVE 是一个模块，充当“翻译官”。它允许 AI 以任何凌乱的方式提出请求（甚至是“手写体”风格），然后由 SOLVE 将其清理干净，并向计算器发送完美的请求。它还知道 AI 是否足够聪明到可以独立解决简单问题，从而避免浪费时间调用工具。
IRPO（私人教练）：
- 问题： 标准的训练方法只奖励 AI 最终的答案。它们没有教 AI 在整个过程中如何有效地使用计算器。
- 修复： IRPO 是一种新的训练方法。它观察 AI 的整个思考过程。如果 AI 在正确的时机调用了计算器，它会获得奖励；如果 AI 对一个自己就能解决的问题调用了计算器，它会受到惩罚。它教会 AI 何时该思考，何时该使用工具。

5. 成果

当他们将这些修复方案应用于 Qwen-2.5 模型时：

该模型的数学得分提升了 5.0 分。
它在判断何时使用计算器以及何时自行计算方面变得更加出色。

总结

该论文认为，要让 AI 变得更擅长数学，我们不能只看最终得分。我们需要将数学分解为由微小技能构成的金字塔，以看清 AI 究竟在哪里失败。一旦我们发现了裂痕（比如数字识别能力差），我们就可以构建智能工具 (SOLVE) 和更好的训练方法 (IRPO) 来修复它们，从而将一个困惑的学生变成一个数学达人。

技术摘要：PyraMathBench

问题陈述

尽管数值推理在从科学研究到金融分析的各种应用中发挥着至关重要的作用，但当前的语言大模型（LLMs）在数学任务方面仍面临显著困难。现有的基准测试往往无法将数值处理缺陷（如分词错误、计算错误、幻觉）与数学推理错误（如逻辑理解错误）区分开来。因此，当模型失败时，尚不清楚其错误是源于无法进行计算，还是由于无法理解问题结构。此外，现有框架通常孤立地测试能力，缺乏揭示基础技能如何影响复杂推理的跨任务相关性。此外，虽然多模态大语言模型（MLLMs）被用于评估视觉数学问题，但目前的评估通过未能区分对文本线索的依赖与实际视觉数据提取，从而高估了它们的视觉推理能力。

方法论

1. PyraMathBench (PMB)

作者引入了 PyraMathBench，这是一个综合性的层次化基准，旨在评估数值处理与数学推理之间的协同作用。

规模与结构： 该基准包含源自 7,404 个数学应用题 (MWPs) 和视觉推理问题的 32,505 个问题。
层次化分类法： 受皮亚杰认知理论的启发，任务被分解为 4 个关键认知维度和 14 个不同的子任务：
1. 复杂推理： 数学应用题 (MWP) 和视觉推理问题 (VRP)。
2. 理解： 问题抽象 (QA)、任务分解 (TD) 和数学知识 (MK)。
3. 计算： 算术、方程求解 (ES)、排序和公式应用 (FA)。
4. 数值解析： 数字转换 (NC)、单位转换 (UC)、数字识别 (NR)、视觉数据量化 (VDQ) 和物体计数 (OC)。
数据构建： 数据来源于六个现有数据集（如 GSM8K、MATH、MathVista）及练习集。子任务由六名精通高中数学的专家进行标注，确保了对现实世界问题的严谨分解，而非合成生成。该数据集包含单模态和多模态任务。
评估指标： 对于数值答案，使用基于相对误差（0–100 标度）的自定义评分函数；对于文本答案，则使用 MathBERT 嵌入和余弦相似度。

2. 提出的解决方案：SOLVE 与 IRPO

为了解决数值计算和工具利用中的弱点，作者提出了两种增强方案：

SOLVE (智能优化与基于学习的多功能模块)： 一个旨在提高灵活性和适应性的工具集成模块。
- 模糊调用识别： 不同于僵化的“即插即用”模块，SOLVE 接受各种格式（LaTeX、Python、非正式文本）的工具调用并将其标准化，从而减少解析失败。
- 动态难度评估： 利用项目反应理论 (IRT-2PL)，SOLVE 估计任务难度和模型的当前熟练度 ( $\theta$ )。如果模型正确解决任务的概率超过阈值 (0.95)，SOLVE 将跳过工具调用以优化效率。
IRPO (交互式相对策略优化)： 一种扩展了组相对策略优化 (GRPO) 的新型强化学习 (RL) 框架。
- 双流采样： IRPO 同时从基础策略 ( $\pi_\theta$ ) 和工具增强策略 ( $\pi^\tau_\theta$ ) 中采样输出。
- 奖励函数： 奖励函数是多维度的，它会惩罚在模型具备能力时（基于子任务准确率）进行的冗余工具调用，并在工具使用有助于解决复杂子问题时给予奖励。它结合了动态基准和模拟无工具解法概率的逻辑函数。

关键结果

基准测试评估

对 11 个代表性 LLM（包括 GPT-4o、DeepSeek-R1、Qwen-2.5 和 Llama-3.1）的实验表明：

性能差距： 虽然像 DeepSeek-R1 和 GPT-4o 这样的顶尖模型在复杂推理 (MWP) 方面表现出色，但在问题抽象、方程求解和数值解析方面表现出显著弱点。
数学专用模型： 出人意料的是，数学专业模型（如 DeepSeek-Math、Qwen2.5-Math）在多个子任务上的表现不如 Llama-3.1 等通用模型，这归因于指令遵循能力较差（忽略了抽象问题的提示）以及答案格式的不一致。
多模态局限性： MLLM 在视觉数值解析子任务（NR、VDQ、OC）上的得分极低（平均 < 20）。分析表明，它们主要依赖文本信息而非从图像中提取数据，即使在简单的场景（如数物体或读钟表）中也是如此。
相关性分析： 皮尔逊相关分析显示，问题抽象 (QA)、方程求解 (ES) 和 公式应用 (FA) 的表现与整体 MWP 表现的相关性最强。这些领域构成了当前 LLM 的主要瓶颈。

通过 SOLVE 和 IRPO 实现的提升

将提出的方法应用于 Qwen-2.5 和 Llama-3.1-8B 取得了显著改进：

基线 vs. PPM： 简单的“即插即用”工具调用实际上降低了性能（例如，Qwen-2.5 从 91.1 下降到 82.8），原因是解析错误和上下文膨胀。
SOLVE 的影响： 集成 SOLVE 提高了分数（Qwen-2.5: 95.8; Llama-3.1: 74.8），因为它能够处理模糊的工具调用并跳过不必要的调用。
IRPO 的影响： 使用 IRPO 进行进一步训练达到了最高分（Qwen-2.5: 96.1; Llama-3.1: 76.1），相比于 Qwen-2.5 的原始基线实现了 5.0% 的提升。
对比： IRPO 优于 GRPO，特别是在较弱的模型上，因为它通过在多轮迭代中显式优化工具调用的决策过程。

意义与主张

论文声称 PyraMathBench 实现了从“以答案为中心”的评估向面向过程、层次化评估的必要转变。通过将复杂问题分解为原子认知任务，该基准允许研究人员精准定位特定的失效模式（例如，区分计算错误与推理错误）。

作者断言，他们提出的 SOLVE 和 IRPO 框架有效地缓解了目前阻碍 LLM 的“工具调用解析失败”和“工具使用效率低下”问题。结果表明，增强内部推理与外部工具调用之间的协同作用，对于提升数学能力至关重要。论文总结道，虽然目前的模型在高级推理方面展现出潜力，但在基础数值处理和多模态数据提取方面的熟练程度仍然是解决现实世界数学问题的重大障碍。

局限性

作者承认存在以下几点局限性：

分解歧义性： 任务分解可能存在多种有效的版本，这可能会影响结果，尤其是在“理解”这一维度上。
范围： 该分类法涵盖了 14 个子任务，但并未涵盖所有可能的原子语言能力。
语言： 目前的研究仅限于英语。
领域特定性： SOLVE 和 IRPO 方法针对数学应用题进行了优化，可能无法直接推广到其他数学领域，如形式化证明或纯代数运算。