Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets
本文提出了一种名为“Recovered in Translation"的自动化高效框架，通过结合测试时计算扩展策略（如通用自我改进和提出的多轮排名方法 T-RANK），显著提升了基准测试和数据集在八种东欧及南欧语言中的翻译质量，从而解决了现有资源中存在的语义漂移问题并确保了多语言大模型评估的准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲述了一个关于如何把“考试题目”和“数据集”从英语完美翻译成其他语言的故事。
想象一下，你想给乌克兰、罗马尼亚、土耳其等国家的孩子们出一套和英语世界一样难的智力测试题（比如 MMLU、Winogrande 等著名的 AI 考试）。
1. 遇到的问题：糟糕的“翻译机器”
以前，大家直接用谷歌翻译或者旧版的 AI 来翻译这些题目。这就像是用一台老旧的复印机去复印一本复杂的立体书：
- 意思跑偏（语义漂移）： 翻译出来的句子虽然字面是对的，但意思变了。比如把“寿命长”翻译成了“生命周期”，这就把“活得久”变成了“成长阶段”，完全不是同一个概念。
- 上下文丢失： 很多题目是“填空题”，问题和选项是紧密相连的。旧方法把问题和答案分开翻译，就像把拼图的两半拆开，分别找不同的人拼，最后拼在一起时，边缘对不上，甚至因为语法性别（比如俄语、乌克兰语中名词有阴阳性）泄露了正确答案。
- 比喻： 就像你问“谁打破了窗户？”，如果翻译时没注意，答案选项里的动词变位直接暗示了是“他”而不是“她”，这就让考试失去了公平性。
2. 他们的解决方案：一个“智能翻译流水线”
作者们（来自 INSAIT 和苏黎世联邦理工学院）设计了一个全新的自动化框架，叫 Recovered in Translation (RIT)。你可以把它想象成一个由多位“翻译大师”组成的评审团，而不是只有一个翻译员。
他们用了四种不同的策略（就像四种不同的“解题战术”）：
- 策略一：自我检查 (SC)
- 比喻： 翻译完自己读一遍，看看有没有错别字。适合简单的句子。
- 策略二：海选投票 (Best-of-N)
- 比喻： 让 AI 生成 5 个不同的翻译版本，然后让另一个 AI 当评委，给这 5 个版本打分（1-10 分），选最高分的。
- 缺点： AI 评委有时候会“偏心”，倾向于选排在第一个的版本，或者打分不准。
- 策略三：万能自我提升 (USI)
- 比喻： 让 AI 生成 5 个版本，然后让另一个 AI 当“编辑”，把这 5 个版本里最好的部分（比如 A 版本的开头好，B 版本的结尾好）像拼乐高一样拼成一个完美的最终版本。
- 策略四：T-RANK（他们的独门秘籍）
- 比喻： 这是最厉害的一招。它不只是打分，而是让 AI 进行多轮“排位赛”。
- 想象 5 个翻译选手，第一轮按顺序 1-2-3-4-5 排列；第二轮把顺序打乱变成 2-3-4-5-1；第三轮再变……
- 通过这种轮换位置的方式，消除了“评委只喜欢第一个选手”的偏见。最后，评委不仅选出最好的，还会像精修照片一样，把选出的版本里所有的小瑕疵都修掉。
3. 成果：更公平的“全球考场”
他们用这套方法，把著名的 AI 考试（MMLU, Hellaswag 等）翻译成了 8 种东欧和南欧语言（乌克兰语、保加利亚语、土耳其语等）。
- 结果如何？
- 如果用旧翻译，AI 模型在这些语言上的得分可能不准（要么太高，要么太低）。
- 用他们的T-RANK和USI方法翻译后，AI 模型的得分更真实了。
- 比喻： 以前用旧翻译，就像给运动员穿了一双不合脚的鞋，跑不快；现在换了新翻译，就像给运动员穿上了专业的跑鞋，能真正测出他们的实力。
4. 为什么这很重要？
- 公平性： 以前非英语国家的 AI 模型因为题目翻译烂，被误判为“很笨”。现在，我们可以公平地评估它们。
- 自动化： 以前需要大量人工去校对翻译，现在这个流水线可以自动搞定，既省钱又快。
- 开源： 作者把这套“流水线”和翻译好的题目都公开了，让全世界的研究者都能用。
总结
这篇论文的核心就是：别再随便用谷歌翻译去翻考试题了！ 他们发明了一套**“多轮次、多版本、智能拼凑”**的自动化翻译系统，专门解决翻译中的“暗坑”，让非英语国家的 AI 模型也能在公平的赛场上接受考验。这就像是从“手工粗糙的仿制品”升级到了“精密的工业流水线”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。