想象一下你是一位大型才艺表演赛的评委，但你评选的不是歌手，而是不同语言之间的故事翻译。多年来，这种评选的标准做法是：递给评委一份翻译稿，要求其在孤立状态下进行评分，然后进入下一个。这就像是在没看到其他苹果的情况下，要求某人评价一个苹果。问题在于：这非常累人、昂贵，而且出奇地混乱。当你单独观察一件事物时，你的大脑会疲劳，情绪会变化，你的评分也会变得飘忽不定。这就是“机器翻译评估”（Machine Translation Evaluation）的世界，该领域致力于研究计算机如何翻译人类语言。目标很简单：找到最好的 AI 翻译器，以便我们可以放心地将其用于现实任务。但要实现这一点，人类必须充当裁判，而旧的裁判规则让这场比赛变得缓慢且评分不可靠。

这时，一群研究人员决定改变游戏规则。他们引入了一种名为**对比误差跨度标注（cESA）**的新协议。与其让评委一次只看一个翻译，不如将三个（或更多）翻译并排显示在同一个屏幕上。这就像是给评委一篮子苹果，而不是一个水果。突然间，发现一个有瑕疵的苹果变得容易多了，因为你可以看到旁边那些光亮、完美的苹果。研究人员发现，这种“组观”方法不仅让评委速度更快，还让他们更一致、更准确。他们发现，同时展示三个翻译是“黄金分割点”，在提高评分质量的同时，节省了约 31% 的时间。他们还检查了看到其他翻译是否会误导评委使其产生不公平的判断，结果发现这种偏差微乎其微，可以忽略不计。简而言之，他们证明了当你让评委一起比较选项时，每个人都能获得更好、更快、更公平的结果。

旧方式：孤独的苹果

长期以来，测试 AI 翻译器的标准方法一直是“逐点评估”（pointwise evaluation）。想象一下你正在批改一叠论文。在旧方法中，你会拿起一篇论文，阅读它，给出分数，放下它，然后拿起下一篇，却从未回头看一眼。你可能会因为第一篇看起来不错而给它 85 分，但随后你可能会给第二篇打 90 分，即便它其实更差，仅仅是因为你累了，或者第一篇实在太烂了。这被称为“标注噪声”（annotation noise）。这就像是在没有温度计的情况下，仅凭触摸一次就试图判断一杯咖啡的温度。论文指出，这种方法存在高“标注者噪声”，并且非常昂贵，因为你需要大量的评委才能得到一个可靠的平均值。

新方式：水果篮

由 Vilém Zouhar 及其同事领导的研究人员提出了一种名为 cESA 的新方法。与其在真空中观察一个翻译，标注者可以同时看到多个翻译。这可以被视为一种“水果篮”方法。如果你看到一个略微有瑕疵的苹果放在一个完美的苹果旁边，你会比单独看那个有瑕疵的苹果更快地注意到瑕疵。

在这个新系统中，评委查看一段源文本（例如故事中的一个句子），并看到三个不同 AI 模型对它的翻译并排显示。然后，评委执行以下操作：

1. 标记特定的“误差跨度”（即错误的具体词汇）。
2. 判断该错误是“重大”（大错）还是“轻微”（小失误）。
3. 根据清晰的量表给出 0% 到 100% 的评分。

论文解释说，这之所以有效，是因为一个被称为“联合评估与独立评估”（joint vs. separate evaluation）的心理学概念。当你把事物放在一起看时，你可以通过与其他翻译进行比较来发现其中的错误。这也有助于你理解“可能翻译的空间”，使你的判断更加客观。此外，你不需要为每一个翻译都反复阅读原始源文本，这节省了大量时间。

实验：测试水果篮

为了验证这种新方法是否真的有效，研究人员使用英译日翻译进行了一场大规模实验。他们测试了 12 种不同的 AI 模型（包括 Gemini、Claude 和 DeepSeek 等知名模型），使用了包含新闻、社交媒体和视频内容的 97 个片段的数据集。

他们将旧方法（一次显示一个翻译）与新方法（一次显示 1、2、3 或 4 个翻译）进行了对比。以下是他们的发现：

• 速度： 新方法明显更快。当同时展示三个模型（即“黄金分割点”）时，每个片段的平均标注时间从 77.8 秒 降至 53.7 秒。这意味着每个项目的处理时间减少了 31%。
• 质量： 分数更加稳定。研究人员测量了“标注者间一致性”（两个不同评委之间的契合度）和“标注者内一致性”（同一名评委在第二次尝试时与自己的契合度）。新方法显示出更高的一致性，意味着评委的表现更加稳定。
• 神奇数字： 他们测试了同时展示 1、2、3 和 4 个模型的情况。他们发现，展示 3 个模型 是最佳平衡点。从 1 个增加到 2 个模型节省了很多时间，但增加到第 4 个模型并没有节省多少额外时间，反而让屏幕显得有些拥挤。三个是保持评委高效且愉悦的完美数量。

回应“如果……怎么办”：评委会有偏见吗？

研究人员担心看到其他翻译可能会误导评委。他们问道：“如果一个很差的翻译坐在一个好的翻译旁边，好的那个会不会显得太好？或者如果一个极好的翻译旁边放着一个坏的，坏的那个会不会显得太坏？”

他们运行了测试来检查两种类型的偏差：

1. 位置偏差： 左边的翻译是否比右边的翻译得分更高？数据显示，基于位置的差异几乎不存在。
2. 环境偏差： 看到一个“诱饵”（一个非常差或非常好的翻译）是否会改变其他翻译的分数？他们发现了一个微小的效应：如果一个模型紧挨着一个强力模型，其得分平均下降了约 0.5 分。然而，作者指出，与模型之间的实际差异（可能达到 10 或 20 分）相比，这个影响微乎其微，因此并不重要。这就像一名选手落后冠军 10 秒，但他因为站在世界冠军旁边而导致成绩看起来慢了 0.5 秒，这完全无关紧要。

结论

论文得出结论，cESA 是评判 AI 翻译器更好的方式。它更快、更便宜，并且能产生更可靠的分数。作者建议，任何进行翻译人工评估的人都应该转向同时展示三个模型的方法。他们甚至开发了一个简单的工具（称为 Pearmut），任何人都可以使用它来运行这一新协议，其中包含了教程和指南。

最后，论文表明，通过让评委在篮子里比较苹果，而不是一个一个地看，我们能更清晰地看出哪一个 AI 才是真正的佼佼者。这是一个改变观察工作方式的简单举动，但它让整个评判机器的过程变得更加聪明，也更符合人类的直觉。