English-to-Prakrit Machine Translation via Multilingual Transfer Learning
本文通过将 IndicTrans2 模型进行适配，使之通过印地语语言标签来路由朴利特语，证明了在低资源环境下进行英译朴利特语机器翻译的可行性，尽管面临数据稀缺和方言不匹配的挑战，仍实现了更高的 BLEU 分数。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一位精通 22 种现代印度语言的顶级翻译专家，但他们从未听说过俗言（Prakrit）——一种用于古典文学和宗教文本的古代语言家族。你想让这位翻译专家学习如何将英语翻译成俗言，但你手里只有一个微小的词典（大约 1,500 个句子）来教导他们。
这篇论文描述了一个实验，研究人员通过这种方式教会了这个“顶级翻译专家”（一个被称为 IndicTrans2 的模型）如何使用俗言，而实际上并没有在它的脑海中增加一种新语言。
以下是他们是如何实现的，使用了简单的类比：
问题所在：“缺失的菜单项”
翻译软件的程序就像一家拥有庞大现代印度菜谱（如印地语、马拉地语、古吉拉特语）的餐厅。俗言并不在菜单上。厨房（计算机模型）不知道如何烹饪它，而且工作人员（分词器/词汇表）也没有列出正确的食材。
通常，要添加一道新菜，你需要重建厨房、雇佣新员工并重写食谱。但研究人员想看看是否可以在不进行这些繁重工作的情况下完成任务。
解决方案：“印地语伪装”
研究人员使用了一个聪明的技巧：脚本替换。
印地语和俗言都使用相同的脚本（天城文），看起来像是一个共享的字母表。研究人员告诉翻译专家：“当你看到‘俗言’的请求时，把它当作‘印地语’。”
- 类比： 想象你是一位只知道如何制作意大利面（Pasta）的厨师。你想做一种特定的古罗马面食，但你没有食谱。然而，你知道意大利面和罗马面使用相同类型的面粉和面条。所以，你告诉你的厨房：“把这个订单当作意大利面处理，”然后使用你现有的工具和食材。
- 结果： 模型并没有像传统意义上那样学习一种“新语言”。相反，它利用了它现有的印地语知识（印地语与俗言属于同一语系）以及共享的书写系统，来推测如何构建这些古老的句子。
训练过程：一座微型图书馆
研究人员并没有拥有大量书籍的图书馆来教导模型。他们只有：
- 1,326 个句子用于教学（训练集）。
- 148 个句子用于检查作业（验证集）。
- 20 个句子用于最终考试（测试集）。
为了增加难度，训练是在一种俗言方言（摩诃罗施特里方言，Maharashtri）中进行的，但最终考试是在另一种方言（阿德哈马格迪方言，Ardhamagadhi）中进行的。这就像是在教一个人在安静的小镇上开车，然后立即在另一座城市的繁忙高速公路上测试他。
结果：巨大的飞跃，但并不完美
在此实验之前，模型的表现非常糟糕，得分仅为 1.57（在一个越高越好的量表中，这相当于不及格）。
经过“印地语伪装”训练后，分数跃升至 14.3。
- 这意味着： 模型从几乎无法理解任务，转变为能够生成看起来和听起来都像目标语言的句子。它并不完美，但这是一个巨大的进步。
研究人员观察了一个翻译样本，发现模型可以生成在结构上与正确答案相似的单词，尽管它有时会选错词汇或语法，这很可能是因为它试图在极少的数据量下弥合两种不同方言之间的差距。
核心结论
论文得出结论，你不一定需要从头开始构建一个新的 AI 来处理古代或不受支持的语言。如果这些语言共享书写系统和家族历史，你可以通过一个相关的、受支持的语言（如印地语）来“路由”请求，从而获得令人惊讶的结果。
该论文并未声称：
- 它并未表示这种方法已准备好用于商业用途，或者其翻译结果已完美到足以进行关键性的历史分析。
- 它并未声称解决了所有古代语言的问题，仅针对这个特定的实验证明了这种“兼容脚本”的技巧有效。
- 它承认结果受限于极少量的数据和方言差异，并且他们并未通过人类专家来测试这些翻译对于学者而言是否具有实际意义。
简而言之，他们证明了通过一点创造性的路由处理和共享的字母表，AI 可以在仅使用少量示例的情况下，学会“说”一种它从未被明确教授过的古老语言。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。