Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation
本文介绍了 Arthasetu，一种基于双向 LSTM 的专门用于将古典耆那教哲学梵文翻译为印地语的神经机器翻译模型，证明了领域一致的数据增强和严格的评估协议比 NLLB-200 等大规模多语言系统具有更优越的性能，同时强调了低资源研究中数据泄露的关键风险。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言通常被认为是连接人们的桥梁，但对于世界上最古老的连续文学传统而言，这座桥梁却缺失了关键的一跨。梵语作为古代印度哲学的神圣语言，拥有大量定义了数百万人的精神与智力遗产的文献库。然而，在现代数字时代，这种语言在为我们翻译世界语言的工具面前，很大程度上仍然是隐形的。虽然计算机现在可以日益轻松地翻译日常对话或新闻标题，但在处理古典哲学著作中那种密集、高度结构化且充满复合词的句子时，却显得力不从心。这种差距在耆那教哲学（印度传统中的一个主要学派）中尤为显著，因为在其中，单个词汇的精确含义可能决定了是一次精神上的洞察还是一个误解。挑战不仅在于翻译单词，更在于如何教会机器去理解一种特定的、复杂的思维方式，而这种思维方式被保存在一种极少有现代人能流利阅读的语言之中。
为了解决这一问题，研究人员塔曼娜·贾因（Tamanna Jain）和尼拉杰·拉赫贾（Neeraj Raheja）开发了一个名为 Arthasetu 的专门系统，旨在将古典耆那教哲学文献从梵语翻译成印地语。他们的工作专注于一种被称为神经机器翻译系统的特定人工智能。简单来说，这是一种通过学习成千上万个语言对（即一种语言的句子与其正确翻译的配对）来学习翻译的计算机程序。研究人员构建该系统是为了应对古典梵语的独特困难，这种语言充满了在日常言谈中并不出现的长复合词和技术术术语。他们利用包括《真理经》（Tattvartha Sutra）这一基础耆那教经典及其配套注释在内的文本集对系统进行了测试。其目标是创建一个工具，最终能作为耆那教哲学学生和学者的对话助手，帮助他们更轻松地研读这些古籍。
研究人员首先收集并清洗了大量的句子对。他们从直接取自耆那教哲学来源的近 10,000 个句子核心集开始。为了观察向计算机输入更多数据是否会有所帮助，他们尝试了两种不同的扩展策略。在第一种策略中，他们将哲学文本与来自通用百科全书和当代来源的近 80,000 个句子混合在一起，创造了一个规模接近 90,000 个句子的庞大数据集。在第二种策略中，他们仅添加了约 5,000 个句子，但这些句子经过精心挑选，均出自其他耆那教哲学和虔诚类文本，从而使整个集合保持在同一主题之下。实验结果令人惊讶。那个较大的、混合的数据集实际上反而降低了系统处理特定哲学文本的能力。当在针对耆那教特定句子的测试中时，使用混合数据训练的系统表现不佳。相比之下，使用较小的纯哲学数据集训练的系统表现要显著更好。这一发现表明，对于高度专业化的领域，少量完美相关的资料比海量的通用数据更有价值。
团队还研究了计算机应该如何拆解句子以进行学习。现代翻译系统的一种常用技术是将单词分解成更小的部分，称为“子词”（subwords），以帮助计算机处理罕见或复杂的单词。然而，当研究人员将这种方法应用于其特定数据集时，结果并未得到改善。事实上，当系统学习按其呈现的原样翻译整个单词时，表现反而更好。这表明，对于规模较小的文本集，那些用于大规模通用翻译系统的标准技巧可能并非必要，甚至可能成为阻碍。研究人员还将他们定制的系统与两个现有的公开主流翻译引擎进行了对比。其中一个是广泛使用的商业服务，另一个是经过数百种语言训练的大型开源模型。虽然商业服务整体表现最好，但研究人员的定制系统在翻译这些哲学文本的具体任务上，明显优于那个大型开源模型。这表明，针对特定领域定制的系统可以超越试图包罗万象的大型通用模型。
在研究过程中，研究人员还发现了一个关于翻译系统测试方式的严重缺陷。在早期版本的测试流程中，系统存在一个捷径，允许它在测试期间直接从训练数据中查找答案，而不是真正进行文本翻译。这个错误导致系统看起来近乎完美，得分显示其几乎每次都是正确的。一旦移除这个捷径，得分便降到了更为现实的水平，揭示了系统的真实能力。这一发现凸显了涉及小规模数据集研究时的关键风险：如果测试方法没有得到严格控制，可能会产生误导性的高分，无法反映真实的实际表现。为了确保系统在实践中具有实用性，研究人员提出了一个用于未来部署的混合方案。这种设计会首先检查用户的提问是否与数据库中的已知句子匹配，如果是，则立即返回经过验证的翻译；如果问题是全新的，系统则会利用其生成式翻译技能来构建答案。这种结合了查找已知事实与生成新翻译的方法，旨在为研究这些古籍的用户提供速度与准确性的双重保障。
研究结论认为，虽然梵语机器翻译领域仍处于早期阶段，但专注于像耆那教哲学这样的特定子领域，比尝试应用广泛的通用解决方案效果更好。研究人员已经证明，一个规模较小、高度聚焦的数据集比一个规模较大、混合的数据集更有效；他们也指出，拆解单词的标准方法并不一定适用于规模较小的专业项目。他们还提供了一个清晰、可复现的测试框架，以确保未来的进展能够被准确衡量。通过使数据和方法透明化，他们希望能够鼓励更多关于翻译世界古典语言的研究，确保这些古老的声响能在现代世界中被清晰地听见。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。