Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse

想象一下，你正试图将一条秘密信息从一种语言翻译成另一种语言。当今大多数翻译工具就像是超快速的复印机：它们非常擅长完美地复制单词、语法和拼写。如果你要求它们翻译“猫坐在垫子上”（The cat sat on the mat），它们会毫无差错地给出另一种语言中完全对等的表达。但如果这条信息不仅仅关乎文字呢？如果说话者是在试图通过“言外之意”来表达某些东西呢？

在语言的世界里，这被称为“含义蕴涵”（implicature）。这是暗示、闪躲和意指的艺术。想想看，这就像是一个政客说：“过去的一些人犯了一些错误”，而不是指名道姓地说：“鲍勃表现得很糟糕。”意思就在那里，但它隐藏在阴影之中，依赖于听者去联想并串联起这些线索。这之所以棘手，是因为不同的文化有不同的隐藏秘密的方式。在英语中，你可能会通过谈论“华盛顿”来暗示某事，而在阿拉伯语中，你可能会使用某种特定的模糊措辞。如果一个翻译工具只是复制了文字却忽略了隐藏的暗示，它可能会不小心将一个委婉的建议变成直接的侮辱，或者反之亦然。这在政治领域是一个巨大的问题，因为领导人们经常利用这些隐藏的暗示来规避责任或向盟友传递秘密信号。

这正是穆罕默德·哈纳塔（Mohammad Hanaqtah）及其来自约旦大学的团队决定解决的谜题。他们意识到，虽然计算机擅长翻译语言的“表面”，但它们仍在学习如何翻译语言的“灵魂”——即那些未被写下来的部分。为了解决这个问题，他们不仅编写了一套理论，还建立了一个特殊的训练场，或者说是一个“基准测试”（benchmark），用来测试人工智能和人类翻译者在处理这种英阿语言切换时，能否应对这些狡猾的政治暗示。

总统演讲中的秘密代码

研究人员首先收集了两位美国总统——巴拉克·奥巴马和乔·拜登在2008年至2024年间发表的演讲中的121个短句片段。他们并没有随机挑选句子，而是专门搜寻了演讲中的“隐藏”部分。这些时刻是总统并非直言不讳的时候。例如，他们不会直接说“前任政府失败了”，而是可能会说“我们等待了几十年，而问题却日益恶化”。

随后，团队为这121个片段创建了一个特殊的“标准答案”。他们将这些片段翻译成正式的阿拉伯语，但遵循一个极其严格的规则：保留秘密。如果英文说话者为了规避责任而表现得含糊其辞，那么阿拉伯语翻译也必须以同样的方式保持含糊。他们不能直接填补空白，加入真实的名字或清晰的解释。他们必须保留那种“间接性”。

他们发现的最有趣的现象之一是他们称之为“名称回避”（name avoidance）的模式。在121个片段中，有24个片段使用了这种聪明的技巧：总统们谈论的是一个角色（如“我的前任”或“上一届政府”）而不是指名道姓。这就像是在说，“坐在我这个位子上的那个人”，而不是直接说“乔治”。研究人员发现，在他们精心构思的阿拉伯语翻译中，他们成功地让这种“名称回避”得以延续。他们没有不小心泄露天机并点出那个人的名字。事实上，他们在整个数据集中仅有一次打破了这个规则，那是由于原始英文演讲本身确实直接提到了那个人的名字。这表明他们的翻译方法足够聪明，知道何时保持模糊，何时保持清晰。

AI 的新“测试”

这篇论文并不仅仅止于构建数据集；它还建立了一套全新的翻译评分方式。想象一下一位老师在批改试卷。通常，老师会检查学生是否拼写正确。而这个新的框架就像是一位检查学生是否理解了“笑话”或“暗示”的老师。

他们创建了一个分为五个等级的评分系统：

1. 完全保留： 读者获得的隐藏含义与原听者获得的一模一样。
2. 基本保留： 暗示依然存在，但力量稍弱。
3. 部分保留： 你必须非常努力地去猜测其中的含义，或者含义发生了一些变化。
4. 极少保留： 暗示几乎消失了；你看到的主要是字面意思。
5. 未保留： 暗示完全丢失，或者含义被扭曲成了其他东西。

他们还定义了翻译出错时会发生什么。有时，翻译者（或机器人）可能会“过度解释”一个暗示，将一个微妙的建议变成一声大喊。这被称为“显性化”（explicitation）。其他时候，他们可能会使暗示变得太弱或太强。研究人员将这些现象称为“偏移”（shifts）。

这对未来意味着什么

理解这篇论文最重要的一点在于它目前“尚未”做到的事情。作者建立了游戏场和规则，但他们还没有开始玩这场游戏。他们还没有实际测试当前的人工智能（如我们今天使用的这类大型语言模型）或人类翻译者在这一特定测试中的表现。他们是在说：“这里是你需要用来衡量这种能力的工具，以及我们将如何衡量它的方法。”

他们认为，当前的人工智能可能会在处理这些隐藏含义时感到吃力，因为 AI 通常被训练得追求流畅和完整。AI 热衷于填补空白并使事情变得清晰。但在政治中，有时你并不希望事情变得清晰。你想要的是那种模棱两可。研究人员怀疑，如果他们运行这项测试，可能会发现 AI 经常会不小心“泄露天机”，将间接的暗示变成直接的陈述，从而彻底改变政治含义。

通过创建这个包含121个复杂句子的特定英阿语言集合以及一套清晰的评分方法，该团队为科学界提供了一把新的尺子。在此之前，我们只能衡量翻译是否听起来通顺；现在，我们终于可以衡量翻译是否“守住了秘密”。这是理解机器如何处理政治暗示这种混乱、微妙且极具人性色彩的艺术的一大进步。下一步，也是作者计划在未来进行的工作，就是实际运行这项测试，看看机器人是否能像人类外交官一样守住秘密。