IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages
本文介绍了 IndicQE-APE，这是一个整合了涵盖九种印地语语言对、共计 126,754 个实例的综合基准测试，通过多维度的标注来评估并比较大语言模型（LLMs）与 COMET 指标在质量估计和自动翻译后编辑任务上的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当计算机将一个句子从一种语言翻译成另一种语言时，我们如何知道结果好不好？几十年来，标准的答案是将机器的输出与人类编写的相同文本进行比较。如果两者匹配紧密，则说明机器做得很好。但这种方法在处理数字资源较少的语言（例如印度次大陆广泛使用的许多语言）时会遇到瓶颈。在这些情况下，通常没有完美的真人翻译可以作为衡量标准。相反，研究人员必须依赖“质量估计”（quality estimation），这是一种仅根据原文和机器的猜测，而不使用参考译文来为翻译评分的方法。更具挑战性的是“自动后期编辑”（automatic post-editing），即计算机尝试修正自身的错误，以使文本更接近人类标准。多年来，这些任务在印地语系语言（Indic languages）方面的数据分散在不同的项目中，使得训练能够全面运作的系统或进行公平比较变得十分困难。
一项新的研究通过创建一个名为 INDICQE-APE 的单一、大规模资源，为这种混乱带来了秩序。研究人员收集并统一了跨越四年的几项主要国际翻译竞赛的数据，并将它们与一个新创建的英译马拉雅姆语数据集相结合。其结果是一个包含近 12.7 万个示例、涵盖九种不同语言对的集合。这种集合的独特之处在于，每一个示例都同时携带了多种类型的反馈：一个关于翻译质量的评分、一个由人类编辑以修复错误后的文本版本，甚至还有解释哪里出错的注释。这使得研究人员可以使用完全相同的句子集，来测试计算机判断质量的能力以及它们修复自身工作的能力。
该团队利用这一新基准测试了各种现代人工智能系统，包括大语言模型和专门的评分工具。他们发现了一个关于当前如何评估这些系统的惊人缺陷。虽然许多模型在单一语言对内表现出色——能够分辨出印地语翻译的好坏——但它们往往无法在不同语言之间进行比较。对于印地语翻译而言，80 分并不意味着对于泰米尔语翻译而言 80 分具有同样的含义。事实上，对于测试的最强力模型中的一些情况，当比较不同语言时，得分实际上会向错误的方向移动，导致无法创建一个能公平排名所有语言对性能的统一排行榜。
研究人员还调查了是什么让翻译对计算机而言特别难以评估。他们将数据分为四种难度类型，例如人类标注者在评分上存在分歧的片段，或者需要大量编辑的片段。他们发现，一旦考虑到语言和文本的一般质量，这些类别中的大多数实际上并不会增加计算机的任务难度。然而，有一种特定的难度类型脱颖而出：即整体印象看起来尚可，但单个词汇明显错误，或者反之亦然的片段。当一段翻译发出矛盾信号时——即乍看之下不错，但在细节上失败——测试中的每一个系统都难以对其进行正确排序。这表明，当前技术的最大挑战不仅在于语言的复杂性，而在于宏观图景与微观细节之间的矛盾。
除了测试现有工具外，研究人员还尝试构建新的轻量化系统，以观察是否能改进结果。他们发现，仅仅读取一个冻结的大语言模型的内部数学状态，预测质量的效果几乎可以与要求该模型直接写出一个分数相媲美。他们还为一个标准的翻译评估器添加了一个小型插件，其表现与那些庞大的预制工具一样出色。这些发现表明，提高质量估计水平的关键不在于构建更大的模型，而在于更好地理解数据中已经存在的信号。
该研究还阐明了自动后期编辑的实践。当研究人员要求计算机修正机器翻译的文本时，结果是违反直觉的。在四种语言对中的三种情况下，原始的、未经编辑的机器翻译实际上比计算机试图修复的版本更接近人类标准。这是因为计算机倾向于做出会让文本远离人类编辑特定风格的改动，即使新版本在语法上是正确的。人类编辑通常进行的改动非常细微，而试图表现得“乐于助人”的计算机则过度纠正了。这揭示了一个关键差距：目前的系统尚未准备好取代人类编辑，因为它们还不理解这些语言中人类编辑那种微妙且保守的特性。
最终，这项工作为印地语系语言的机器翻译领域提供了一张更清晰的蓝图。它表明，尽管技术在理解单一语言方面取得了巨大进步，但在公平判断不同语言间的质量方面仍显不足。这一新基准作为一个严苛的测试场，暴露了这些弱点，特别是翻译中产生的矛盾信号以及匹配人类编辑风格的难度。通过将多年分散的数据整合为一个连贯的资源，研究人员为该领域奠定了坚实的基础，确保未来的进展是基于一个既全面又诚实反映技术现状的标准来进行衡量的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。