💬 NLP

M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models

本文介绍了 M3Kang，这是第一个源自袋鼠数学竞赛的大规模多语言、多模态数学推理数据集，它通过 108 种语言将最先进的视觉语言模型与人类表现进行基准测试，并揭示了它们在基础数学和基于图表的推理方面的当前局限性。

原作者： Aleix Torres-Camps, Nathaniel Mitrani Hadida, Víctor Conchello Vendrell, Àlex Batlle Casellas, Arnau Padrés Masdemont, Jordi Ros-Giralt

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aleix Torres-Camps, Nathaniel Mitrani Hadida, Víctor Conchello Vendrell, Àlex Batlle Casellas, Arnau Padrés Masdemont, Jordi Ros-Giralt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下一场名为“袋鼠数学竞赛”（Kangaroo Math Competition）的巨型全球数学竞赛。每年，来自 90 多个国家、超过六百万名 18 岁以下的青少年都会参与其中。他们解决各种棘手的数学谜题，有些只是文字描述，但许多题目需要观察图表、形状和图片才能得出答案。

现在，想象一下来自高通 AI 研究院（Qualcomm AI Research）的研究团队决定将这场竞赛变成一场针对人工智能的大规模测试。他们构建了一个名为 M3Kang 的新工具。你可以把 M3Kang 想象成一个集“通用翻译官”和“数学老师”于一身的数据集。

以下是他们所做工作的简单拆解以及他们的发现：

1. 这个宏大项目：构建终极数学测试

研究人员将原始的数学题目（原本主要为加泰罗尼亚语和英语）翻译成了 108 种不同的语言。

规模： 他们不仅仅是翻译了文字；他们还将题目中的图片和图表也保留了下来。这最终形成了超过 111,000 道独特的数学题。
目标： 他们想看看 AI 模型（聊天机器人和图像生成器背后的“大脑”）是否能在非英语环境下解决数学问题，以及它们是否真的能“看到”并理解图表，而不仅仅是阅读文本。

2. 他们是如何构建它的（流水线作业）

创建一个如此大规模的数据集就像建立一条工厂流水线。

第一步： 他们将原始的 PDF 文档转换成干净的文本图像。
第二步： 他们使用 AI 先将问题翻译成英语，并反复检查这种翻译是否破坏了数学逻辑。
第三步： 他们使用了一种聪明的“回译”技巧来检查其他 108 种语言。想象一下，将一个句子从西班牙语翻译成英语，然后立即将其从英语翻译回西班牙语。如果结果与原文不符，说明翻译质量很差。他们利用这种方法自动过滤掉错误的翻译。

3. 结果如何：AI 表现得怎么样？

他们用这个全新的测试题对现有的最智能的 AI 模型（包括免费/开源的和昂贵/闭源的模型）进行了测试。以下是他们的发现：

“英语优势”是真实存在的： 就像一个只在英语环境下学习的学生可能会在法语课堂上感到吃力一样，AI 模型在处理英语数学问题时表现得更好。随着语言变得在互联网上不那么常见（如斯瓦希里语或马耳他语），AI 的表现显著下降。这就像 AI 在更换语言后就“忘记”了如何做数学。
规模很重要（但并非万能）： 更大的 AI 模型通常表现更好。然而，即使是最大的、最聪明的模型，在基础逻辑和图表方面也表现挣扎。
“盲区”问题： 这是最令人惊讶的发现。当人类参加测试时，他们实际上觉得带有图片的题目比纯文字题目更容易；但对于 AI 来说，情况正好相反！当涉及图片时，AI 模型的表现明显变差。这就像一个擅长读文字题的学生，一旦遇到图表就会不知所措。AI 似乎难以将文本与图像中的信息联系起来。
AI 对比人类： 他们将 AI 的得分与 68,000 名真实学生的得分进行了对比。
- 最优秀的 AI（Gemini-2.5-Pro）在英语环境下表现得像一名顶尖学生，但其表现会随着语言切换到低资源语言而降至“平均”或“低于平均”水平。
- 有趣的是，AI 并没有像人类那样随着题目难度增加而表现得越来越好。有时 AI 能搞定最难的题目，却在简单的题目上栽跟头，这表明它可能是在“猜测”或者在使用一种与人类儿童不同的推理方式。

4. 我们能修复它吗？

研究人员尝试了一些“训练技巧”来帮助 AI 更好地使用其他语言。

“翻译官”技巧： 他们发现，如果告诉 AI：“先在脑海中将这个问题翻译成英语，解决它，然后再给出答案”，AI 在处理其他语言的数学问题时表现会好得多。这就像在考试前给学生一本字典。
“引导”技巧： 他们尝试引导 AI 的内部思考过程，使其即便在说其他语言时也更具“英语思维”。这虽然有一定帮助，但“翻译官”技巧效果更佳。

核心结论

论文总结道，尽管 AI 正在变得极其聪明，但它仍然有一个巨大的盲点：它难以在不同语言之间结合阅读、视觉和思考。

研究人员公开了所有的相关数据和代码（开源），以便其他科学家可以使用这个“袋鼠测试”来构建更好的、更具包容性的 AI——这种 AI 不仅仅是会说英语，而是能在任何语言环境下，无论是配合图片还是纯文字，都能真正进行数学运算。他们希望这能帮助创造出真正全球化的、公平的 AI。

技术摘要：M3Kang —— 评估视觉语言模型中的多语言多模态数学推理能力

1. 问题陈述

尽管视觉语言模型（VLMs）取得了飞速进展并展示了其推理能力，但其在多语言数学推理方面的表现仍未得到充分探索。目前的评估严重向高资源语言和纯文本基准倾斜。现有研究表明，模型在处理低资源语言时表现显著下降，并且无法准确解读图表。目前极度缺乏能够同时解决多语言性、多模态性和数学推理交集问题的基准测试。这一差距限制了对模型鲁棒性的理解，并阻碍了更具包容性、全球适用性的 AI 系统的开发。此外，虽然存在针对单项多语言或多模态任务的基准，但很少有基准能同时评估这两者的结合能力，且即便有，也往往侧重于通用知识而非数学，或仅覆盖有限的语言种类。

2. 方法论

2.1 M3Kang 数据集

作者推出了 M3Kang，这是首个面向 VLMs 的大规模多语言、多模态数学推理数据集。该数据集源自袋鼠数学竞赛（Kangaroo Math Competition），这是全球规模最大的数学竞赛，每年吸引来自 90 多个国家、超过 600 万名 18 岁以下的参与者。

素材来源： 基础数据集由 2007–2024 年竞赛中的 1,747 道独特的选择题组成，最初来源于 Societat Catalana de Matemàtiques 组织的 PDF 文档。
规模与多样性： 该数据集包含翻译成 108 种具有文化多样性的语言的版本，涵盖了从高资源语言（如英语、西班牙语）到低资源语言（如 Tsonga、Lingala）的广泛范围。经过质量过滤后，总计包含 111,198 道题目。
多模态结构： 每道题目都以两种格式提供：
1. 纯文本版本。
2. 包含完整题目（问题、选项及任何必要的图表）且文本已翻译为目标语言的图像。
英语子集 (M2Kang)： 同时也独立发布了一个仅限英语的子集，用于评估非多语言、多模态的推理能力。

2.2 数据集构建流水线

作者提出了一个自动化流水线，将多模态题目从源语言（加泰罗尼亚语）翻译成 108 种目标语言。该过程包含三个阶段：

基础数据集创建（加泰罗尼亚语）： 解析 PDF，将其转换为图像并进行分割。手动绘制问题周围的边界框，以排除图像中特定于加泰罗尼亚语的术语。使用 LLM-as-a-judge 标记损坏的样本（例如：错误的边界框、部分图形覆盖），并进行人工修正。通过文本相似度去除重复项。
英语翻译 (M2Kang)： 将加泰罗尼亚语数据集翻译为英语。文本会在原始边界框内进行动态重排，以保持多模态对齐。使用 LLM-as-a-judge 检测翻译损坏情况，随后进行严格的人工审查，其中移除了 42 处误译，以确保语言准确性并消除偏差。
多语言扩展： 将英语数据集扩展到其他语言。为了在没有所有 108 种语言的地面真值（ground-truth）参考的情况下确保质量，作者采用了基于回译的评估策略。
- 质量指标： 他们使用一种无参考指标，即基于源文本与多个回译版本（使用 NLLB 模型）之间的 max chrf++ 分数。
- 阈值设定： 将 max chrf++ 分数低于阈值（ $T = 0.625$ ）的样本视为误译并予以剔除。同时提供了一个使用更严格阈值（ $T = 0.85$ ）的“高质量”拆分版本。

2.3 实验设置

作者对 16 个模型进行了基准测试，包括开源模型（如 Qwen-2.5, Gemma, Phi-4, Kimi-Thinking）和闭源模型（如 GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro）。

语言： 实验重点关注了 16 种语言，这些语言根据互联网存在感被选为代表低、中、高资源语言的平衡组合。
提示词： 使用思维链（CoT）推理对模型进行提示，指令要求模型输出推理轨迹，随后遵循特定的答案格式（A, B, C, D 或 E）。
评估的技术： 研究评估了标准提示词与三种多语言推理策略的对比：
1. 模型母语推理 (Model Tongue Reasoning, MTR)： 将问题翻译成英语，并同时使用原始语言和翻译后的版本进行提示。
2. CLSP： 将 MTR 应用于多种语言（英语、西班牙语、德语、法语），并通过多数投票法聚合输出。
3. 激活转向 (Activation Steering)： 修改模型的内部激活，使其在生成过程中向英语表示对齐。

3. 关键结果

3.1 模型性能

普遍困境： 尽管近期取得了进展，模型在基础数学和基于图表的推理方面仍然表现挣扎。性能通常随模型规模和语言资源可用性而提升，但并不随年级难度而提升。
顶尖表现： Gemini-2.5-Pro 在所有语言和类别中均取得了最佳性能。在开源模型中，Kimi-Thinking-2506 最为强劲，在英语方面优于 GPT-4o，但在低资源语言中表现出显著下降。
资源相关性： 除 Gemini-2.5-Pro 外，所有模型的准确率都与语言的互联网存在感强相关。较小的模型表现出更强的相关性，表明其跨语言泛化能力有限。许多模型的低资源语言表现接近随机猜测。

3.2 纯文本 vs. 基于图形的题目

观察到一个一致且显著的差距：所有具备能力的模型在纯文本题目上的表现都优于基于图形的题目，无论难度如何。

人类与 AI 的对比： 这一趋势与人类的表现相反，人类认为基于图形的题目比纯文本题目更容易。
启示： 当前的 VLMs 难以有效地整合视觉信息进行数学推理。图形模态引入了复杂性（空间关系、图表解读），目前的架构尚未能完全捕捉这些特征。

3.3 多语言技术

研究评估了基于文本的多语言技术是否能迁移到多模态场景：

MTR 的优越性： 模型母语推理 (MTR) 始终取得最强的整体性能，显著缩小了低资源语言与高资源语言之间的性能差距。
CLSP 与转向技术： CLSP 的表现逊于 MTR。激活转向仅在低资源语言中提供了适度的收益，且未能达到 MTR 的性能，即使是在较小的模型上也是如此。
效率： MTR 即使在使用较小的翻译模型时也非常有效，这表明在低预算场景下，可以使用较小的翻译模型而不会造成明显的性能损失。

3.4 人类与模型的比较

利用 2024 年袋鼠数学竞赛中超过 68,000 名学生的性能数据：

非单调难度： 模型并未表现出性能随题目难度增加（基于人类难度评分）而单调下降的趋势。例如，Kimi-Thinking-2506 在第 3–6 级排名高于第 94 百分位数，但在较低等级仅为第 44 百分位数。
推理差异： 分析表明，AI 模型的推理能力与青少年学生的推理能力之间没有显著相关性。模型似乎依赖于不同的解题方法，这可能源于模式匹配或针对奥赛风格几何任务的特定训练，而非人类式的逐步推理。

4. 核心贡献

M3Kang 数据集： 一个多语言、多模态的基准测试，包含来自 108 种语言的 1,747 道独特题目（共 111,198 个实例），源自袋鼠数学竞赛。
翻译流水线： 一个开源框架，用于自动创建从单语言到多语言的多模态数据集，其特点是采用基于回译的质量控制机制，在没有地面真值参考的情况下确保翻译的完整性。
全面评估： 对领先的 VLMs 在不同语言和推理技术下的详尽基准测试，揭示了模型在基础数学和图表理解方面的困难，以及性能高度依赖于语言资源可用性。
人类基准： 与 68,000 多名学生的表现数据进行直接对比，凸显了 AI 与人类在数学语境下推理策略的根本脱节。

5. 重要性与主张

论文声称 M3Kang 通过提供一个高保真的测试平台，填补了 AI 评估中的关键空白，该平台可用于评估模型在需要语言精确度和视觉理解能力的领域中的泛化能力、跨语言一致性和多模态集成能力。

作者断言，其研究结果揭示了：

当前 SOTA 的局限性： 即便是顶尖模型，在基础数学和图表解读方面也会失败，且性能受到高资源语言的严重偏倚。
简单技术的有效性： 多语言技术（如 MTR）可以有效地扩展到多模态设置中，在无需复杂的微调或复杂的投票机制的情况下，提供比基准线显著的提升。
对新基准的需求： 人类与模型性能之间的差异（尤其是视觉 vs. 纯文本任务）表明，未来的基准测试必须包含多步推理任务，并评估中间推理步骤，以更好地捕捉类人化的解题技能。

作者强调，数据集、流水线和代码均已开源，旨在促进类似数据集在不同语言和教育背景下的创建，从而推动开发更具包容性和鲁棒性的 AI 系统。