💬 NLP

MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

本文介绍了 MGSM-Pro，这是一个 GSM-Symbolic 基准的多语言扩展，通过生成多个数字变化的实例来评估九种语言中的数学推理鲁棒性，揭示了低资源语言中显著的绩效下降以及模型对此类扰动的不同韧性。

原作者： Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位老师，正在给来自不同国家的学生班级进行数学考试。你想看看谁真正擅长数学，而谁只是从练习册中死记硬背了答案。

本文介绍了一种新的、更严格的测试大型语言模型（AI）数学能力的方法，称为MGSM-Pro。以下是他们发现的故事，用简单的方式解释。

问题：“练习册”陷阱

长期以来，AI 模型在解决数学应用题方面变得越来越强。但研究人员注意到一个可疑的现象：AI 可能并没有真正在“思考”数学。相反，它可能是在记忆训练期间看到的测试题中的具体细节。

这就像一个学生死记硬背了某道应用题的答案：“如果约翰有 5 个苹果，又买了 3 个……"学生知道答案是 8。但如果你把问题改成“如果莎拉有 5 个橙子，又买了 3 个……"，那个只记住了第一道题的学生可能会感到困惑。

最近，研究人员发现，即使在英语中，如果你稍微改变数学问题中的名字或数字，许多 AI 模型也会失败。他们意识到，旧的测试太容易了，因为它们没有检查 AI 是否能应对这些微小的变化。

解决方案：MGSM-Pro（“洗牌”测试）

作者创建了一个名为MGSM-Pro的新数据集。他们选取了 250 道数学题，并将它们转化为1,240 道题（每道题 5 个版本）。

他们通过“洗牌”来实现这一点：

更改名字：将“约翰”换成“扎伊纳布”或“卡拉”。
更改数字：将"5 个苹果”换成"7 个苹果”。
添加干扰项：添加一句听起来重要但实际上毫无意义的句子（例如“天空是蓝色的，所以约翰买了 5 个苹果”）。

他们在九种不同的语言中进行了这些操作，涵盖了从英语和中文等广泛使用的语言，到斯瓦希里语、约鲁巴语和伊博语等数字资源较少的语言。

重大发现：“低资源”语言的挣扎

当他们运行测试时，发现“高资源”语言（如英语）和“低资源”语言（如特维语或伊博语）之间存在巨大差距。

高资源学生：当你在英语或中文中更改名字或数字时，AI 模型的得分略有下降，但它们基本保持正轨。它们就像真正理解数学概念的学生。
低资源学生：当他们对特维语或伊博语等语言进行同样的“洗牌”时，AI 模型彻底崩溃。它们的得分急剧下降。这就像学生突然因为老师用了不同的水果名称而忘记了如何数数。

类比：想象一个学生在英语数学方面表现出色，但在母语数学方面却一塌糊涂。当老师用英语提出一个带有转折的问题时，学生能解决。但当老师用学生的母语提出完全相同的转折问题时，学生却僵住了。论文发现，AI 模型也在做同样的事情：它们在数据较少的语言中“鲁棒性”（可靠性）要低得多。

谁通过了，谁失败了？

论文测试了许多不同的 AI 模型（有些由大型科技公司制作，有些是开源的）。

鲁棒的模型：更新、更聪明的模型，如Gemini 3.0 Pro和GPT-OSS 120B，很好地处理了这些变化。当数字或名字改变时，它们没有惊慌。
脆弱的模型：较旧的模型或较小的模型（如Gemma 3 4B或Llama 3）则彻底崩溃。它们无法应对这种“转折”。
规模迷思：你可能会认为更大的大脑（更多参数）总是意味着更聪明的学生。但论文发现事实并非如此。有时一个巨大的模型惨败，而一个稍小的模型却成功了。这不仅仅关乎规模，还关乎模型是如何训练的。

教训：不要只测试一次

最大的启示在于我们未来应如何测试 AI。

目前，许多排行榜（最佳 AI 排名）仅用一个版本的问题来测试模型。作者表示，这就像给学生一道练习题，如果答对了就称其为天才。

他们的建议：要真正了解 AI 是否擅长数学，你必须用同一道题的至少五个不同版本（更改名字和数字）来测试它。如果 AI 五个都答对了，那么它才是真正聪明的。如果它只答对了第一个，那它只是在死记硬背。

总结

论文认为，我们不能仅仅因为 AI 通过了简单的测试就认为它是完美的。通过在多种语言的数学问题中“洗牌”名字和数字，他们表明：

AI 在数字数据较少的语言中要弱得多。
许多当前的排行榜具有误导性，因为它们没有测试这种“洗牌”。
要真正了解 AI 的数学能力，我们需要用同一道题的多个变体来测试它，而不仅仅是一个版本。

以下是论文《MGSM-Pro：一种用于鲁棒多语言数学推理评估的简单策略》的详细技术总结。

1. 问题陈述

尽管大语言模型（LLMs）在数学推理方面取得了显著进展，但在多语言环境下的基准测试在难度和时效性方面均落后于英语。现有的多语言基准（如 MGSM）通常依赖于英语问题的静态翻译，使它们容易受到以下问题的影响：

记忆化：模型可能会过拟合特定的测试实例，而不是学习通用的推理能力。
缺乏鲁棒性：当面对同一逻辑问题的微小变体（例如不同的数字或名称）时，模型可能会失败。
资源差异：低资源语言（LRLs）代表性不足，且通常表现较差，但目前尚不清楚这是由于算术能力缺乏还是语言鲁棒性差所致。

近期在英语领域的工作（GSM-Symbolic）表明，当同一问题使用不同的名称和数字进行实例化时，模型表现出高度的方差。然而，这一现象尚未在多语言环境中得到系统性的探索。

2. 方法论：MGSM-Pro 的构建

作者引入了 MGSM-Pro，这是 MGSM 数据集的一个鲁棒扩展，旨在评估不同条件下的多语言数学推理。构建过程涉及两个主要阶段：

A. 模板构建

来源：基于原始英语 MGSM 数据集中的 248 个问题（排除了 2 个不含数字的问题）。
符号模板化：作者采用 GSM-Symbolic 框架创建模板，其中名称和数字被替换为占位符（例如 {name_male}、{num_digit}）。
无关上下文（IC）：遵循 GSM-IC 方法，在问题文本中插入无关句子，以测试模型过滤噪声的能力。
翻译与验证：模板使用大语言模型（Gemini 2.0 Flash）翻译成九种语言，随后由母语者进行严格验证。这确保了文化相关性（例如，将 Swahili 语中的"Carla"替换为"Zainabu"）以及占位符的正确对齐。

B. 数据集变体

该数据集为每个原始问题生成五种不同的实例化，分为两个系列：

符号系列（SYM）：
- SYM_N：仅更改名称。
- SYM_#：仅更改数字。
- SYM_N#：同时更改名称和数字。
无关上下文系列（IC）：
- IC_N、IC_#、IC_N#：与 SYM 变体镜像对应，但包含插入的无关句子。

涵盖语言：九种类型多样的语言，按资源水平（Joshi 分类）分类：

高资源（HRL）：英语、中文、法语、日语。
低资源（LRL）：斯瓦希里语、阿姆哈拉语、伊博语、约鲁巴语、特维语。

3. 实验设置

评估模型：18 个大语言模型，包括专有模型（Gemini 2.5/3.0 Flash、Gemini 3.0 Pro、Claude 4 Sonnet、GPT-4.1、GPT-5）和开源模型（Gemma 3、Qwen 3/3.5、DeepSeek V3、GPT-OSS、Llama 3）。
评估协议：零样本推理。模型被提示使用英语进行思维链（CoT）推理，但也针对部分模型在“母语求解”模式下进行了测试，以检查语言依赖性。
指标：原始数据集上的准确率（DO）与 5 个或 10 个不同实例化后的平均准确率（Avg-5、Avg-10）进行对比。

4. 主要结果

A. 变体上的性能下降

数字变体至关重要：更改名称（SYM_N）导致的性能损失极小。然而，更改数字（SYM_#），特别是与无关上下文结合时（IC_#），会导致所有模型的准确率出现大幅下降。
“低资源”惩罚：低资源语言（LRLs）受到的负面影响远大于高资源语言（HRLs）。
- 示例：在特维语（LRL）上，开源模型的准确率中位数下降了 -13.5%，而中文（HRL）仅下降了 -4.2%。
- 示例：Gemini 2.5 Flash 在评估 5 个实例而非 1 个实例时，排名从第 3 位跌至第 7 位。

B. 模型鲁棒性趋势

专有模型与开源模型：较新的专有模型（Gemini 3.0 Pro）相比旧模型显示出对数字变化更高的鲁棒性。在开源模型中，GPT-OSS 120B 和 DeepSeek V3 表现出优于较小模型（如 Gemma 3 4B）的鲁棒性。
规模并非保证：模型参数量与鲁棒性之间不存在线性相关性。
- 在 Gemma 系列中，随着模型规模增大（4B $\to$ 27B），性能退化加剧。
- 在 GPT-OSS 系列中，较大的模型更具鲁棒性。
语言与算术：错误分析显示，对于低资源语言，主要的失败模式是语言理解错误（例如，无法解析问题结构），进而引发逻辑错误。纯算术错误率在不同语言间保持相对稳定，表明瓶颈在于语言理解而非计算。

C. 排行榜的不稳定性

基于单个实例（标准排行榜做法）的排名极不稳定。当对 5 个实例取平均值时，模型的相对排序会发生剧烈变化，特别是在低资源语言中。

5. 主要贡献

MGSM-Pro 数据集：一个新的基准，将 MGSM 扩展了 5 倍（每种语言从 250 个问题增加到 1,240 个问题），并在 9 种语言中系统地引入了名称、数字和上下文的变体。
多语言脆弱性的实证证据：证明了当面对数字变体时，大语言模型在低资源语言中的鲁棒性显著较差，而这一差距未被标准基准所捕捉。
方法论建议：提出数学推理评估应强制要求每个问题至少包含 5 个数字变体的实例化，以获得对推理能力的现实评估，从而摆脱单实例测试。
关于训练的见解：强调鲁棒性可能是训练配方和数据质量的函数，而不仅仅是模型规模的问题。

6. 意义

本文挑战了当前多语言数学基准的有效性。它指出，静态数据集上的高分可能反映的是记忆化或过度优化，而非真正的推理能力。通过引入 MGSM-Pro，作者提供了一种工具，用于：

识别真正理解数学逻辑的模型与依赖模式匹配的模型。
突出低资源语言模型的特定脆弱性，敦促社区在提升算术能力的同时，重点关注语言鲁棒性的改进。
标准化评估实践，确保排行榜排名反映的是稳定、鲁棒的性能，而非特定数字集合带来的运气。

作者总结道，要使一个模型被认为在多语言数学方面真正具备能力，它必须在问题的表面特征（名称、数字、上下文）发生改变时，仍能保持准确率。