mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR

该论文提出了 mAceReason-Math 数据集，这是一个包含 14 种语言、每种语言超 1 万条样本的高质量多语言数学难题集，旨在填补当前强化学习验证奖励（RLVR）领域缺乏非英语训练数据的空白，以推动多语言 RLVR 研究与基准测试。

要点

这篇论文介绍了一个名为 mAceReason-Math 的新数据集。为了让你轻松理解，我们可以把这项研究想象成是在为全球的“数学天才训练营”准备一套多语言的超级教材。

以下是用通俗语言和生动比喻对这篇论文的解释：

1. 背景：为什么我们需要这个？

想象一下，现在的 AI（大语言模型）就像一个个正在上学的学生。最近，科学家发现了一种叫 RLVR（带可验证奖励的强化学习）的“特训方法”，能让这些学生在数学和逻辑方面突飞猛进。

但是，目前的特训教材（数据集）有个大问题：它们全是英文的。

• 这就好比全世界只有英语国家的学生能参加这个特训，其他语言的学生只能看着别人进步，自己却找不到合适的题目练手。
• 以前的多语言数学题太简单了，就像给大学生发小学一年级的算术题，根本练不出真本事。

2. 解决方案：mAceReason-Math 是什么？

为了解决这个问题，苹果的研究团队（来自 Apple 和 Hasso Plattner 研究所）打造了一个多语言数学题库。

• 素材来源：他们从一本英文的“奥数天书”（AceReason-Math）里挑出了最难的题目。
• 规模：他们把这本天书翻译成了 14 种语言（包括中文、德语、日语、俄语、泰语等），每种语言都有 1 万多道 高质量题目，总共超过 14 万道。
• 核心目标：让不同语言的学生都能用母语进行高强度的数学思维训练。

3. 制作过程：如何保证质量？

把高难度的数学题从英文翻译成其他语言，就像把精密的瑞士手表拆解后，用另一种语言重新组装，稍有不慎，手表就不走了。

他们采用了一套“人机结合”的严格流程：

1. 大扫除（数据清洗）：

   • 先像淘金一样，把英文原题里那些“坏掉”的矿石扔掉。比如：题目里直接泄露了答案、题目依赖缺失的图片、或者题目本身逻辑不通的。
   • 比喻：就像在翻译前，先把书里那些印刷错误、缺页或者没写完的句子都修好。

2. AI 翻译 + 人类专家审核：

   • 他们先用强大的 AI（Claude Sonnet 4）进行翻译。
   • 然后，母语专家（比如以德语为母语的人）来当“阅卷老师”。他们不仅看翻译通不通顺，还要看数学味道对不对。
   • 关键点：数学符号（如 $x^2$）绝对不能乱改，但数字的写法要符合当地习惯（比如德国人写数字用逗号做小数点，美国人用点）。

3. 反复打磨：

   • 如果 AI 翻译得不好，就让它重写，直到人类专家满意为止。
   • 比喻：这就像拍电影，AI 是初剪版，人类专家是导演，不满意就喊"Cut"，让 AI 重拍，直到画面完美。

4. 成果：这个数据集长什么样？

• 平行数据：他们精心整理了一个“平行子集”，里面有 7620 道题，这 7620 道题在 14 种语言里都有对应的版本。这意味着你可以公平地比较：同一个问题，用中文问 AI 和用德语问 AI，谁答得更好？
• 测试集：还有一小部分题目经过了最严格的人工复核，用来当“期末考试”的试卷。

5. 实验结果：AI 学得怎么样？

研究者拿这个数据集去测试了各种 AI 模型：

• 大模型更强：就像学生一样，模型越大，通常数学越好。
• 语言差异：有些模型在英语上表现神勇，但一换成小语种（比如斯瓦希里语或泰卢固语），成绩就断崖式下跌。这说明目前的 AI 在“多语言数学推理”上还有很大的提升空间。
• 意外发现：某些专门经过推理训练的模型（如 Qwen3），即使在非英语环境下也表现惊人，说明数学逻辑是可以跨越语言障碍的。

总结

简单来说，mAceReason-Math 就是给全球 AI 研究社区送了一份**“多语言数学奥林匹克题库”**。

以前，大家只能用英文训练 AI 做数学题，现在，无论 AI 是用中文、法语还是日语思考，都能找到同样高难度的题目来锻炼大脑。这将帮助科学家研究如何更好地让 AI 跨越语言障碍，真正变得“博学多才”。

数据已开源：研究者已经把这套教材免费放到了 GitHub 上，欢迎全世界的开发者来下载和使用。

技术摘要

这是一份关于论文 mAceReason-Math: A Dataset of High-quality Multilingual Math Problems 的详细技术总结。

1. 研究背景与问题 (Problem)

• 现状： 强化学习验证奖励（RLVR, Reinforcement Learning with Verifiable Rewards），特别是结合组相对策略优化（GRPO），已在提升大语言模型（LLM）的数学和逻辑推理能力方面取得了显著成功。
• 痛点：
  1. 英语中心主义： 现有的高质量 RLVR 训练数据集（如 AceReason-Math, DAPO-Math-17k 等）几乎完全局限于英语。
  2. 现有多语言数据的局限性： 过去创建的多语言数据集通常难度较低（如 GSM8K 级别），或者样本量太小（每语言少于 600 个样本），无法为当前最先进的模型提供足够的训练信号，也不足以支持多语言 GRPO 训练研究。
  3. 难度匹配缺失： 为了有效训练 RLVR，问题难度需要与模型当前的策略能力匹配（“金发姑娘区”），而现有的多语言数据往往过于简单。

2. 方法论 (Methodology)

作者提出了 mAceReason-Math 数据集，旨在填补上述空白。其核心构建流程包括以下三个关键阶段：

2.1 数据清洗 (Data Cleaning)

基于原始英语数据集 AceReason-Math，作者设计了一套混合过滤与清洗策略：

• 关键问题过滤 (Critical Issues, ~4%)： 使用正则表达式和 LLM 过滤掉包含外部链接（图片、图表）、答案泄露（问题中直接包含答案）、开放式提问（无具体数值答案）、非英语内容或逻辑不完整的样本。
• 可修复问题处理 (Salvageable Issues, ~11%)： 针对任务标注（如"Task 5.4"）、LaTeX 格式错误、提取残留指令等问题，利用 LLM（Claude Sonnet 4）进行自动修正和清理，确保问题逻辑完整且格式规范。
• 特殊处理： 对于依赖 [asy] 代码绘制图表的题目，虽然保留翻译，但将其单独划分，因为解决它们需要特殊的解析技能。

2.2 翻译与迭代优化 (Translation & Iterative Refinement)

采用 LLM 翻译 + 母语者验证 的混合流水线：

• 初始翻译： 使用 Claude Sonnet 4 进行初步翻译。
• 提示词工程： 强调数学准确性（保留 LaTeX 内容不变）、自然语言流畅性（使用非正式语体）、数字格式本地化（如德语的千分位和逗号小数点）以及术语的学术规范性。
• 迭代改进循环：
  1. 自动评分： 使用 LLM 根据预定义标准（数学准确性、LaTeX 一致性、逻辑连贯性）对翻译进行评分。
  2. 改进提示： 对评分不佳的样本，生成具体的改进建议并重新翻译。
  3. 多轮迭代： 此过程最多进行 5 轮，直到样本被接受或达到最大尝试次数。
• 人工验证： 对随机抽取的样本（特别是测试集）进行母语者（Native Speaker）人工审核，重点检查数学概念和术语的准确性，并过滤掉因缺乏领域知识导致的错误建议。

2.3 数据集构建 (Dataset Compilation)

• 并行训练集 (Parallel Train Split)： 包含所有 14 种语言均通过验证的样本，共 7,620 个样本/语言。用于确保跨语言训练和评估的可比性。
• 全量训练集 (Full Train Split)： 包含每种语言所有可用的翻译样本（非完全并行），每语言样本数在 10,270 至 12,245 之间。
• 人工验证测试集 (Human-validated Test Set)： 包含 190 个样本，所有语言均经过母语者深度审核，用于评估模型性能。

3. 关键贡献 (Key Contributions)

1. 大规模高质量多语言数学数据集： 发布了覆盖 14 种语言（包括德语、法语、中文、日语、俄语、葡萄牙语、泰语、斯瓦希里语等）的 14 万+ 高质量数学问题翻译。
2. RLVR 专用难度： 数据源自 AceReason-Math，保留了高难度挑战，专为当前 SOTA 模型的 RLVR 训练设计，解决了现有多语言数据难度过低的问题。
3. 严谨的构建流水线： 提出了一套结合 LLM 自动化清洗、迭代翻译优化和母语者人工验证的混合流水线，确保了翻译的数学准确性和语言自然度。
4. 并行数据支持： 提供了严格对齐的并行训练集，消除了跨语言研究中的分布偏差，便于公平比较不同语言下的模型表现。

4. 实验结果 (Results)

作者在构建的测试集上评估了多个前沿模型（包括 Open-weight 和 Closed models）：

• 模型规模效应： 在大多数语言中，更大规模的模型表现更好（例如 DeepSeek-R1-Distill-7B 优于 1.5B 版本）。
• 语言差异显著： 即使是同一模型，在不同语言上的表现也存在巨大差异。
  • 英语表现最佳： 所有模型在英语上的准确率普遍最高。
  • 低资源语言挑战： 在斯瓦希里语 (Swahili)、泰卢固语 (Telugu) 和孟加拉语 (Bengali) 上，即使是强模型（如 gpt-oss-20b）表现也显著下降（例如 gpt-oss-20b 在 Swahili 上仅为 64.8%，而在英语上为 79.2%）。
  • 小模型困境： 较小的模型（如 Gemma-3-1B）在非英语语言上的表现极差（平均准确率低至 9.1%），显示出多语言数学推理能力的巨大缺口。
• 闭源模型表现： Gemini 2.5 Flash 和 Claude Sonnet 4.5 在多数语言上表现稳健，但在低资源语言上仍有提升空间。
• Qwen3 系列表现： 实验显示 Qwen3 推理模型在多语言上表现优异，甚至在某些语言上超越了 Claude Sonnet 4.5，暗示其训练数据中可能已包含类似的多语言数学数据。

5. 意义与影响 (Significance)

• 推动多语言 RLVR 研究： 该数据集是首个专为 RLVR 训练设计的大规模、高难度、多语言数学数据集，打破了英语垄断，使得研究者能够探索多语言环境下的强化学习策略。
• 揭示跨语言能力差距： 通过基准测试，量化了当前模型在不同语言数学推理能力上的巨大鸿沟，特别是小模型和低资源语言，为未来的模型优化指明了方向。
• 促进公平评估： 提供的并行测试集为多语言模型评估提供了标准化的基准，有助于更公平地比较不同模型和训练方法。
• 开源生态： 数据集已开源，将加速社区在 multilingual reasoning 领域的创新，特别是针对非英语母语者的 AI 能力发展。

总结： mAceReason-Math 不仅是一个数据集，更是一套解决多语言数学推理数据匮乏问题的完整方案。它通过高质量的数据构建流程，为下一代多语言大模型的训练和评估奠定了坚实基础。