The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks
本文通过证明分数膨胀并非标量效应，而是由特定效度风险和模型家族交互作用驱动的、依赖于具体条目的复杂现象，从而挑战了英语到中文基准测试中存在统一“翻译税”的观点，并最终提出了一套新的本土化协议和报告清单以应对这些细微问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在参加一场用你不流利的语言进行的考试。考题原本是用英语编写的，但有人将它们翻译成了你的语言（中文）。
在人工智能研究领域，存在一种普遍的担忧，被称为“翻译税”。其核心观点是：当你翻译一份试卷时，翻译并非完美无缺。它会留下原英语文本中的一些“幽灵”或“线索”。人们担心，人工智能模型可能并没有真正理解中文；相反，它们可能是在识别这些英语“幽灵”，并将其作为作弊代码来获取正确答案，从而虚增分数。
这篇论文提出了一个简单的问题：这种“翻译税”是一个可以从每个人分数中扣除的固定数值吗？还是一种混乱且复杂的情况，取决于具体的问题和具体的人工智能模型？
以下是作者发现的内容分解，并辅以一些日常类比：
1. “幽灵”搜寻（回译测试）
研究人员试图捕捉人工智能的作弊行为。他们将中文题目重新翻译回英语，然后再次向人工智能提出相同的问题。
- 类比：想象你将一份食谱从英语翻译成法语，然后再翻译回英语。如果配料表发生了细微变化（例如，“黄油”变成了“人造黄油”），你就知道翻译过程中丢失了一些信息。
- 发现：“幽灵”确实存在，但它们非常微小。当人工智能看到“回译”版本时，其分数仅略有下降。这就像在中文盘子上发现了少许英语碎屑，但不足以证明人工智能存在大规模的作弊行为。
2. “母语与外语”对比
他们将人工智能在这些翻译试卷上的得分，与那些原本就用中文编写（而非从英语翻译而来）的试卷得分进行了对比。
- 类比：想象比较一名学生在一份翻译的历史试卷上的得分，与一份由本地教师编写的试卷上的得分。
- 发现：情况并非如此简单。一些专为中文设计的人工智能模型在翻译试卷上的表现甚至不如在母语试卷上。这表明“翻译税”并非一种通用的红利；有时，翻译反而会让某些模型感到更困难或更困惑。
3. “魔法重写”（压力测试）
这是最巧妙的部分。研究人员选取了特定的中文题目，要求人工智能对其进行“重写”，使其听起来更自然，但不改变含义、答案或选项。
- 类比：想象一名学生正在参加一场题目写得生硬、机械化的考试。你请一位朋友将题目重写，使其听起来像正常的人类对话，但保持答案完全不变。如果学生在重写后突然答对了，那就说明他们之前是被翻译的风格所困扰，而非内容本身。
- 发现：
- 对于“干净”的题目：如果翻译原本就很好，重写并不会改变人工智能的得分。
- 对于“脏”的题目：如果翻译中残留了那些“英语幽灵”（高残留度），重写后人工智能的得分会上升。
- 转折：研究人员在他们自己的计算机代码中发现了一个错误（格式错误），这使得不同的人工智能家族看起来行为差异巨大。一旦修复了这个错误，“家族差异”便消失了。唯一剩下的事实是：糟糕的翻译会损害性能，而修复它们则有助于提升性能。
主要结论
该论文认为，“翻译税”不是一个单一的数值（例如“从每个人的分数中减去 5%"）。
相反，不妨将其想象成道路上的坑洼：
- 有些道路（某些人工智能模型）是完好的。
- 有些车辆（某些人工智能模型）比其他车辆更擅长应对颠簸。
- 有些坑洼（翻译糟糕的题目）很深，会导致翻车。
- 有些坑洼只是微小的颠簸。
你不能在整个道路上只挂一个“征税”的标志。你必须查看每一个具体的坑洼（每一道题目）和每一辆具体的车辆（每一个人工智能模型），才能看清究竟发生了什么。
简而言之：翻译后的试卷并不完美，它们确实包含来自原始英语的线索，但这种影响很小、不一致，并且完全取决于你正在测试的是哪一道题以及哪一个人工智能模型。不存在一个单一的“神奇数字”来解决这个问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。