A Lemmatized Corpus of the Pali Canon with Critical Apparatus
本文呈现了一个开放获取的、经过词干化处理的 160 万标记量巴利语经藏语料库，该语料库具备涵盖五种文本传统的校勘装置，对连音与格律变体进行了专门处理，并拥有高覆盖率的词干化功能，从而能够实现此前对于这种低资源语言而言难以完成的高级计算语言学任务。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言是一种生命体，但古代文献中的文字往往让人感觉像是被困在玻璃后面。对于研究古代世界古典语言（如梵语、拉丁语和希腊语）的学者来说，计算机已成为解锁这些文献的强大工具。这些工具可以计数单词、追踪意义随时间的变化，甚至能绘制句子中单词之间的语法关系。然而，在这一数字化进程中存在着显著的差距。虽然伟大的古典语言已被计算机完全映射，但作为上座部佛教神圣经典载体的巴利语（Pāli），却在很大程度上被遗忘了。这些文献虽然数量庞大，但由于单词会根据其在句子中的角色而不断改变形态，且经常相互融合从而掩盖了真实含义，使得机器难以阅读。如果没有一种方法将这些单词分解为它们最基本的词典形式，计算机就无法理解其中所包含的故事、哲学或历史。
独立学者丹·齐格蒙德（Dan Zigmond）现在填补了这一鸿沟。他创建了一个大规模的、经过词干提取（lemmatized）的巴利三藏（Pāli Canon）语料库。简单来说，“词干提取”是将文本中的每一个单词都找到其原始、不变的根源形式的过程。想象一下，在一个图书馆里，每本书都是用一种代码编写的，其中的单词“run”可能会以“running”、“ran”、“runs”或“runner”的形式出现，而计算机会将这四种形式视为完全不同的单词。词干提取的作用就是告诉计算机，所有这些变体实际上都只是单词“run”。齐格蒙德的工作正是针对整个巴利三藏进行的，这是一个包含约160万个单词的集合。通过这样做，他将一片混乱的古代文本变成了一个结构化、可搜索的数据库，使计算机终于能够对其进行学习和分析。
处理巴利语的挑战在于这种语言极其复杂。一个名词根据它是句子的主语、宾语还是表示所属关系，会出现数十种不同的形式。此外，该语言使用一种被称为“连音”（sandhi）的过程，即一个短语末尾的词会与下一个短语开头的词无缝融合，通常会改变拼写以使句子流动得更顺畅。对于人类读者来说，这是自然的；但对于计算机来说，这看起来就像是一个无法识别的单一字符串。齐格蒙德的项目必须为每一个单词解决这些难题。他并没有仅仅依赖于一个版本的文本，而是收集了五个不同的历史版本，代表了来自斯里兰卡、缅甸、泰国和欧洲学术界的传统。通过将这五个版本并排对比，他可以发现差异、纠正错误，并创建一个“校勘系统”（critical apparatus）——一个详细记录古代手稿分歧之处以及哪种读法最可能正确的系统。
这项巨大努力的结果是一个数据集，其中99.78%的每个单词出现都被成功识别并链接到了其词典根源。对于一种此前从未有过此类资源的语言来说，这是一个惊人的覆盖率。剩下的极少数无法被计算机解决的单词，大多是出现在文本诗歌部分的罕见诗意术语，或者是现有的词典尚未完全描述的复杂复合词。研究者发现，大约一半的未解决单词很可能是合法的巴利语单词，只是需要添加到词典中，而其余的则是由于诗歌韵律或不同地区拼写差异导致的变体。这种区分至关重要，因为它告诉了我们工作需要继续的方向。该项目还揭示了，通过将单词的数千种不同表面形式还原为单一根源，整个三藏的总词汇量缩减了三倍以上。这种缩减使得利用现代统计方法来寻找文本中此前不可见的模式成为可能。
有了这个新资源，研究人员现在可以执行以前无法完成的任务。他们可以根据词汇对文本进行分组，以观察三藏的不同部分如何相互关联。他们可以训练计算机理解巴利语的语法，这最终可能导致机器能够解析句子，并展示单词如何连接在一起，就像一张句子的结构图一样。这项工作还允许与巴利语演化而来的梵语进行直接比较，帮助学者们追踪佛教思想和词汇是如何随着文化迁移而变化的。整个系统，包括用于构建它的代码和数据本身，都已向公众发布，邀请其他学者对其进行改进。虽然该项目目前尚未包含每一种可能的语法标签或对每一个单词进行人工验证，但它提供了一个基础，所有的未来数字工作都将建立在此之上。它将巴利三藏从一个静态的古书收藏，转变为一个现代世界终于可以探索的动态、活性的数据集。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。