Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge
本文介绍了 Judge-LS，这是一种元评估协议，它证明了虽然 LLM-as-a-Judge 系统在评估中文或语言切换内容时，与评估英文相比表现出显著的偏好不稳定性和准确率下降，但它们并未系统性地偏好英文而非翻译等效的中文回答。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个非常聪明、自动化的裁判（人工智能），它的工作是观察两个人回答问题，并决定谁做得更好。这正是当今许多现代 AI 系统测试它们的方式：一个 AI 充当其他 AI 的评委。
这篇论文提出了一个简单但棘手的问题：这个裁判是在意回答所使用的语言，还是只在意回答的质量？
你可以把它想象成一场烹饪比赛。如果两位厨师做出了完全一样美味的汤，但一位厨师在一家高级法式餐厅呈现，而另一位在一家普通的平民小馆呈现，评委是否会仅仅因为听起来更“高级”就给那份法式呈现更高的分数？还是说评委能品尝出汤的味道，并意识到它们是完全一样的？
实验：“语言翻译器”测试
研究人员使用了一组标准的 419 个问题和答案（一个名为 LLMBar 的基准测试），并让四个不同的 AI 裁判对其进行评估。他们通过三种不同的“装扮”进行了测试：
- 英语： 原版。
- 中文： 完全相同的题目和答案，但被完美地翻译成了中文。
- 语码转换（Code-Switching）： 英语和中文的混合（比如自然地混合语言，说“请把这个 email 发给那个 manager”）。
他们还进行了一个特殊的“平局决胜”测试。他们拿出一个完美的英文答案及其完美的中文翻译，并要求裁判进行比较。由于内容是完全一致的，裁判应该说：“这是平局！”
他们的发现
结果有些令人惊讶，显示出这些裁判并不像我们希望的那样中立。
- “英语口音”偏见： 每个裁判在处理英文回答时表现得最好。当回答变成中文或混合语言时，裁判犯错的次数增加了。这就像裁判在听到不同的方言时，即使逻辑是一样的，也会变得有些困惑或反应迟钝。
- “反复无常”的问题： 在大约 11% 到 14% 的案例中，裁判仅仅因为语言的变化就改变了主意。
- 类比： 想象裁判 A 说：“厨师 1 胜！”当菜单是英文时。但如果你递给他们一份同样内容的中文菜单，裁判 A 突然说：“事实上，厨师 2 赢了！”尽管食物本身并没有改变。这被称为“偏好翻转（preference flip）”。
- 不仅仅是“英语更好”： 你可能会认为裁判只是盲目喜欢英语而讨厌其他语言。但“平局决胜”测试显示了更复杂的情况。当裁判在英文答案和对应的中文翻译之间做出选择时，他们实际上比选英文更多地选择了中文！
- 结论： 问题不在于裁判盲目偏爱英语，而在于他们是不稳定的。他们很容易受到信息呈现方式的影响，无论是语言、答案出现的顺序，还是两者的混合。
为什么这很重要
如果你正在构建一个旨在帮助中国用户，或处理混合语言对话的 AI 系统，你不能仅仅信任一个经过英语训练的裁判来保持公正。
- “脆弱”的裁判： 一个好的裁判应该像一个稳如磐石的秤。如果你放上同样的重量，无论你用公斤还是磅来描述，它都应该给出相同的读数。这些 AI 裁判更像是一个摇晃的秤；读数会根据你持握它的方式而改变。
- 混乱的代价： 由于裁判经常改变决策（大约每 10 次就有 1 次），他们可能会因为测试是用另一种语言编写的，就误将一个较差的 AI 评为优胜者。
提出的解决方案
作者建议了一种轻量级的“健康检查”，称为 Judge-LS。在你信任一个 AI 裁判在多语言世界中对模型进行排名之前，你应该运行这个简单的测试：
- 将测试翻译成目标语言。
- 再次运行裁判。
- 检查裁判是否改变了主意。
如果裁判改变主意的频率过高，那么它还没有准备好胜任这项工作。这就像雇佣了一个一听到不同口音就会困惑的裁判；你需要的是一个判断比赛本身，而不是判断语言的裁判。
简而言之： 这篇论文证明了目前的 AI 裁判对语言变化非常敏感。他们不仅仅是“英语爱好者”，更是需要通过一致性测试才能被信任的“不稳定观察者”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。