mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?
本文介绍了 mmPISA-bench，这是一个源自 43 种语言 PISA 测试的多语言推理基准测试，它证明了现代大语言模型在实现与人类相当的推理性能时，受机器翻译的影响极小，尽管同时也揭示了不同语言之间在准确率和推理成本方面的显著差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你有一个超级聪明的学生，他几乎会说任何语言。你想知道：这个学生在用法语参加考试时，是否和用英语参加考试时一样聪明？ 或者，如果你给他们一份他们并不精通的语言编写的测试（但由机器人翻译过），他们是否仍然能得到正确答案？
这篇名为 mmPISA-bench 的论文，就像是一份针对世界上两个最先进的 AI “学生”（具体指 OpenAI 和 Anthropic 的模型）的大规模多语言成绩单。以下是研究结果的拆解，我们使用了许多日常类比。
1. 测试内容：一场全球性的数学与阅读考试
研究人员并没有随意编造问题。他们从 PISA 考试中提取了 25 个真实问题——这是著名的国际测试，全球 15 岁的学生通过它来证明自己能够解决数学问题并理解阅读文章。
- 设置： 他们将这 25 个问题翻译成了 43 种不同的语言。
- 转折点： 对于每种语言，他们都准备了两个版本：
- “官方”版本： 由人类专家（如专业翻译人员）翻译。
- “机器人”版本： 由 Google 翻译（机器翻译）完成。
- 目标： 观察 AI 是否能在所有 43 种语言中解决这些逻辑谜题，以及翻译是由人类完成还是由机器人完成是否会有影响。
2. 结果：AI 学生在任何地方都同样聪明吗？
好消息： 是的，大部分情况下如此。
这些 AI 模型在所有 43 种语言中的表现都非常好。事实上，它们的准确率通常与你预期一个聪明的 15 岁人类学生时的水平相当。它们并不会仅仅因为问题是用冰岛语或泰语提出的，就突然“忘记”如何做数学题。
遗憾之处： 并非完全平等。
- “方言”效应： 就像人类在用母语阅读故事时可能比用第二语言更自在一样，AI 在某些语言下的准确率确实比其他语言略高。
- “机器人”翻译的迷思： 你可能会想：“如果问题是由机器人翻译的，AI 会感到困惑。”论文指出：并非如此。AI 使用“机器人”翻译得到正确答案的频率与使用“人类”翻译时一样高。这意义重大，因为这意味着我们在测试新语言的 AI 时，并不总是需要昂贵的人类翻译；一个优秀的机器翻译就足够了。
3. 隐藏成本：“思考”的价格标签
这正是这篇论文真正有趣的地方。这不仅仅关乎“得到正确答案”；更关乎“为了得到答案需要付出多少代价”。
想象两个学生正在参加考试：
- 学生 A (Claude)： 为每个答案都写下非常长且详细的解释。
- 学生 B (GPT)： 写下的解释较短。
研究人员发现，对于某些语言，AI 为了得到正确答案必须“思考”得更辛苦（写出更多的文本），这使得运行测试的成本更高。
- “昂贵且笨拙”的语言： 对于某些语言（例如对一个模型来说是泰语，或对另一个模型来说是希腊语），AI 为了解决一个简单的问题，必须生成大量的文本。这就像是为了去街角的小卖部而支付了一辆豪华出租车的费用。
- 结果： 在这些“昂贵”的语言中，AI 实际上是准确率降低且成本增加的。这是一个双重打击：你付出的更多，得到的却更差。
4. 秘密语言切换
研究人员还通过“窥探”其内部机制，观察了 AI 是如何思考的。他们发现了一些令人惊讶的事情：
- 有时，当 AI 被问到一个关于哈萨克语的问题时，它并不仅仅是在用哈萨克语或英语思考。它实际上在给出哈萨克语答案之前，先用俄语进行了数学运算和逻辑推理。
- 这就像一个人会说西班牙语和英语，但当遇到一道难题时，会本能地切换到用法语思考，因为那是他的“数学大脑”所在地。AI 也在做类似的事情，利用一种“枢纽语言”（pivot language）来解决问题。
总结：这意味着什么？
- AI 正在精通语言： 现代 AI 可以在 43 种不同的语言中进行逻辑推理，其水平几乎可以媲美人类青少年。
- 机器翻译是可以接受的： 你不需要完美的翻译来测试 AI；机器人翻译完全没问题。
- 语言关乎成本： 某些语言对 AI 来说“更难”处理。它们会让 AI 说更多的话（从而产生更多费用），有时还会让 AI 犯更多错误。
- 我们需要更深入的观察： 要真正了解一个 AI 有多优秀，我们不能只看最终得分。我们必须观察它为了得到那个分数付出了多少“努力”（以及多少钱），以及它在秘密用哪种语言进行思考。
简而言之，这个 AI 是个多语言天才，但它仍然有一些会令它“跌跤”且让它为了完成任务而花费更多零花钱的“方言”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。