Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

语言不仅仅是词流的汇聚；它是一个结构化的系统，其中每个词都承担着特定的职责，承载着其形式变化的演变史，并与其他词建立起网络化的关系。为了让计算机理解一种语言，它们需要一张反映这种结构的地图。这张地图被称为词典（lexicon），它是一个数字化的字典，不仅列出单词及其含义，还记录了语法细节，例如一个名词是阳性还是阴性，或者一个动词在描述对他人的动作与描述独自进行的动作时如何变化。对于世界上许多语言而言，这些地图已经非常庞大且详尽，使得计算机能够高精度地进行翻译、搜索和文本分析。然而，对于在非洲之角及海外侨民中广泛使用的索马里语而言，这些数字地图一直是不完整的。尽管索马里语拥有丰富的印刷词典传统，但其中的信息仍被锁定在一种专为人类视觉设计的格式中，导致机器难以对其进行系统化处理。

Ogaal Labs 的一个研究小组现在打开了那把锁。他们创建了一个名为 Qaamuuska-NLP 的新数字资源，这是一个从 2、012 年出版的一部主要印刷版索马里语词典中直接提取的、包含 46,314 条条目的结构化集合。研究人员并非简单地扫描页面并将图像转换为文本（这一过程经常会引入错误），而是利用了该 PDF 文件中已存在的数字文本层。他们构建了一套精确的、基于规则的指令来读取书籍的布局，识别一个词条在哪里结束以及下一个词条在哪里开始，并提取隐藏在格式中的特定语法线索。其结果是一个干净的、机器可读的数据库，它在保留原始词典组织结构的同时，增加了一层计算机可以立即查询的结构。这项工作并非取代原书，而是将其深层的语言学知识转化为一种软件可以理解的新语言。

该新资源的来源是《Qaamuuska Af-Soomaaliga》，这是一部由 Annarita Puglielli 和 Cabdalla Cumar Mansuur 编辑的全面单语词典。与简单的词表不同，这本书包含了理解索马里语运作方式所必需的丰富语法信息。它告诉读者名词的性别、动词的类别，以及动词是否需要直接宾语。它还包括同义词、与其他词的交叉引用，以及指示单词是否属于医学或法律等特定领域的标签。研究人员面临的挑战在于，这些信息并非以整齐的数据列形式存储，而是嵌入在页面的视觉设计中。该词典使用两栏文本、特定的缩写以及微小的上标数字来区分那些外观相同但含义不同的词。为了构建其数字版本，研究人员编写了一个能够导航此类布局而无需进行猜测或通过示例学习的计算机程序。该程序读取一页的左栏，然后是右栏，并扫描指示新词条开始的重复模式。

一旦程序识别出一个词条，它就会将其分解为组成部分。它将主词与其定义、语法标签以及对其他词的引用分离开来。团队发现，该词典包含 46,314 条独立的记录。其中，约有 25,000 条提供了实际定义，而剩余的 21,000 条则是指向另一个条目的交叉引用。提取过程在捕捉使词典具有实用性的语法细节方面非常成功。对于 34,726 个名词条目，系统成功识别了几乎所有名词的性别，将其标记为阳性、阴性或中性。对于 11,445 个动词条目，系统几乎捕捉到了每一个动词的变位类别以及它是及物还是不及物的。研究人员还将每个条目的原始文本与新的结构化数据一同保留了下来。这确保了任何使用该数据库的人都可以随时检查原始来源以验证信息，保持了数字地图与实体书之间的联系。

研究人员通过观察词典中的语法标签与单词实际形态的匹配程度，测试了其工作的质量。他们提出了一个简单的问题：如果你只看一个索马里语单词的结尾，能否预测其语法类别？他们使用了一种直接的方法，通过观察单词的最后几个字母来猜测其性别或动词类别。结果显示，词典的标签并非随机生成的。对于动词类别，该方法的正确率为 93.5%，远高于仅仅猜测最常见的类别。对于名词性别，该方法的正确率为 86.4%。这些数字表明，词典中的语法信息与单词的物理形式有着深刻的联系，证实了提取出的数据反映的是真实的语言模式，而非任意的选择。然而，研究人员指出，这项测试是一种用于检查资源内部一致性的诊断工具，而非对计算机在现实世界中分析索马里语能力的全面测试。

这一新资源填补了索马里语言技术领域的一个特定空白。虽然其他项目可能结合了多个词典或专注于生成词形列表，但这项工作侧重于保留单一权威来源的结构。它捕捉了原作者的编辑决策以及他们组织语言的具体方式。该数据库包含 11,415 个同义词链接和 21,032 个交叉引用，建立了一个展示词汇在词典自身逻辑内如何相互关联的网络。它还识别了 1,945 个属于医学、物理学和法律等专业领域的条目，为构建索马里语的技术词汇提供了起点。研究人员谨慎地指出，该资源是对那本特定 2012 年词典的呈现，而非对现今使用的所有索马里词汇的完整普查。其覆盖范围和具体的定义反映了原编辑者的选择。

作者公开承认该方法存在局限性。由于提取规则是专门针对这一本书的布局设计的，因此在不进行修改的情况下无法直接应用于另一本词典。团队还注意到，原始 PDF 在撇号的输入方式上存在一些不一致之处，这可能会影响单词的精确匹配，尽管他们保留了原始文本以便未来进行修正。此外，虽然提取代码和数据的统计摘要正在准备公开发布，但完整的 46,314 个单词及其定义目前还不能自由分享。这是因为原词典受版权保护，研究人员仍在努力获取重新分发完整内容的必要许可。在获得许可之前，完整的数据库仍是一个私有的研究产物，尽管用于创建它的方法是可供他人学习和借鉴的。

这项工作的价值在于其将静态书籍转化为动态工具的能力。通过将词典转换为结构化格式，研究人员使得计算机能够根据语法属性搜索单词，追踪同义词和交叉引用的网络，并分析专业术语的分布。这并不能解决索马里语处理中的所有问题，但它提供了一个高质量、经过策划的数据基础。它证明了有价值的语言学知识往往沉睡在印刷书籍中，等待着一种解锁它的方法。Qaamuuska-NLP 项目表明，通过细致的、基于规则的方法，完全可以在不丢失原始来源的细微差别和结构的情况下恢复这些知识，从而为致力于将索马里语带入数字时代的研究人员、教育工作者和开发者提供一个新的资源。