GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation
本文介绍了 GAIA-v2-LILT，这是对 GAIA 基准进行严格重新审计的多语言扩展，它采用了一种结合功能对齐、文化适应和难度校准的优化工作流，以证明机器翻译会显著扭曲智能体性能指标，而恰当的本地化能大幅缩小多语言性能差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在测试一款全新的超级智能机器人助手解决复杂谜题的能力。你拥有一套完美的英文谜题。但现在，你想看看这个机器人能否用阿拉伯语、德语或韩语解决同样的谜题。
通常的做法是：将英文谜题输入标准翻译应用，然后将结果交给机器人。本文作者认为，这就像给机器人一张由不懂地形的机器翻译出来的地图。这张地图看起来像地图，但街道名称错误、方向混乱，而且地标根本不存在。
以下是本文实际发现并开展的工作，用简单的方式解释：
问题：“破碎的地图”
当研究人员仅使用机器翻译将英文智能体基准测试（即 AI 的谜题）转换为其他语言时，会出现两个主要问题：
“字面陷阱”（功能错位）：有时翻译应用会被特定指令搞糊涂。
- 类比：假设谜题要求提供古巴的"IOC 代码”，答案是CUB。机器翻译器可能看到"CUB"，心想：“哦，这听起来像'cub'，也就是幼狮！”于是将答案翻译成阿拉伯语中的“幼狮”。
- 结果：机器人试图寻找一只幼狮，失败后答错谜题。这并不是机器人的错，而是指令本身被破坏了。
“翻译丢失”陷阱（文化错位）：有时谜题依赖于仅在美国或英国存在的事物。
- 类比：假设谜题要求在美国跨州公路旅行中，使用“英里”和“美元”来回收水瓶。如果仅仅将文字翻译成韩语，机器人就会被要求从加利福尼亚州开车到缅因州（这些地点在韩语地图上根本找不到），并用韩国不存在的货币计算积分。
- 结果：机器人陷入困境，试图解决一个在其自身世界中毫无意义的谜题。
解决方案：“专家编辑”工作流
作者没有简单地点击“翻译”，而是创建了一个名为GAIA-v2-LILT的特殊工作流。这相当于在把地图交给机器人之前，聘请一支专家编辑团队来修复它。
他们的流程包含三个层级：
- 机器人检查（自动化）：计算机脚本快速检查明显错误，例如“翻译是否不小心将答案保留为英文？”或“是否将答案泄露到了问题中？”
- AI 裁判（大语言模型审查）：他们使用其他 AI 模型检查谜题在逻辑上是否仍然成立，语气是否自然。
- 人类专家（双语语言学家）：这是最重要的一环。真正精通两种语言的人类专家会审查这些谜题。他们修正“幼狮”这类错误，将美国公路旅行改为适合韩国的本地公路旅行，并确保难度与原始英文版本保持一致。
结果：修复地图即修复分数
作者在五种语言（阿拉伯语、德语、印地语、韩语和葡萄牙语）上测试了该方法。
- 修复前：当他们使用未经处理的机器翻译谜题时，机器人得分非常低。这看起来像是机器人在这些语言上表现极差。
- 修复后：一旦人类专家清理了谜题，机器人的得分大幅跃升。在某些情况下，其成功率提高了32.7%。
核心结论：
本文指出，机器人并非真的“不擅长”这些语言。问题出在测试本身被破坏了。机器人在英文与其他语言之间表现差距的巨大部分，并非因为机器人不够聪明，而是因为谜题翻译质量差。
通过这种细致的“人在回路”流程修复谜题后，机器人在其他语言上的表现与其在英文上的表现更加接近（在最佳情况下差距缩小至约 3%）。这证明，如果你想了解 AI 的真实智能水平，就必须确保测试本身公平且符合文化背景，而不仅仅是粗略的翻译。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。