SiDiaC-v.2.0: Sinhala Diachronic Corpus Version 2.0

SiDiaC-v.2.0 是迄今为止规模最大的斯里兰卡语历时语料库，收录了涵盖 1800 至 1955 年出版日期的 185 部文学作品（共 24.4 万词），经过严格的筛选、预处理、版权合规检查及后处理，并借鉴了其他语料库的构建实践，为低资源语言的自然语言处理提供了宝贵的分层分类资源。

要点

这篇论文介绍了一个名为 SiDiaC-v.2.0 的项目，你可以把它想象成是斯里兰卡僧伽罗语（Sinhala）的“时间机器”数据库。

简单来说，研究人员收集、整理并数字化了从 1800 年到 1955 年（甚至追溯到更早的公元 5 世纪）的僧伽罗语文学作品。他们把这些古老的书籍变成了计算机可以读懂、分析的数字文本，从而让语言学家和人工智能能够研究这门语言是如何随着时间演变的。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文的核心内容：

1. 为什么要建这个“图书馆”？（背景与动机）

想象一下，如果你想研究英语是怎么从莎士比亚时代变成今天的样子的，你可以去查《牛津英语词典》或者巨大的历史语料库。但是，对于僧伽罗语（斯里兰卡的主要语言），以前就像是一个没有地图的迷宫。

• 旧版本（v.1.0）的局限：之前的版本（SiDiaC-v.1.0）就像是一个只有 46 本书的小书架，而且书里有很多“灰尘”（错误）。比如，OCR（光学字符识别，把图片变文字的技术）把字认错了，或者把不同语言（如巴利语、梵语）混在一起了，甚至把诗歌里为了押韵而故意拆开的字连错了。
• 新版本（v.2.0）的升级：这次，研究人员把书架扩大到了185 本书，总共有24 万多个单词。他们不仅清理了灰尘，还修补了破损的页面，确保每一本书都干干净净，方便计算机阅读。

2. 他们是怎么“清洗”这些古书的？（核心工作）

这就好比是在做考古修复和图书整理，过程非常繁琐：

• 挑选书籍（过滤）：
  他们从斯里兰卡国家图书馆的数字化档案里挑书。就像在淘金，他们要排除掉那些版权还没过期的书（不能随便用），也要排除掉那些全是巴利语或梵语、没有僧伽罗语内容的书。最后，他们留下了最纯净的 185 本僧伽罗语作品。

• OCR 扫描与“整容”（数字化与纠错）：
  他们用 Google 的 AI 技术把旧书扫描成文字。但这就像让一个不懂古文的机器人去读手写体，它经常会看错。

  • 例子：诗歌里为了押韵，作者会把一个词拆开写（比如把“大象”拆成“大”和“象”中间加空格）。机器人可能会以为这是两个词。研究人员手动加了一个特殊的标记 <psi>，告诉计算机：“嘿，这两个部分其实是一个词，只是被拆开了。”
  • 清理“混血”：很多古书里夹杂着巴利语或梵语。研究人员像挑拣混入沙子的珍珠一样，把这些非僧伽罗语的内容剔除，只保留纯粹的僧伽罗语。

• 给书“贴标签”（元数据）：
  每本书都被贴上了详细的标签：作者是谁？什么时候写的？属于什么类型（是宗教书、历史书、还是诗歌）？这就像给图书馆的每一本书都建了一个详细的档案卡，方便以后按类别查找。

3. 这个数据库能用来做什么？（应用与发现）

有了这个巨大的“时间胶囊”，研究人员可以做以前做不到的事情：

• 观察语言的“进化”：
  他们分析了像“四”（සතර）和“大/伟大”（මහ）这样的词。

  • 比喻：想象你在看一部延时摄影电影。你发现“四”这个词，在 13 世纪的时候，经常和“智慧”、“地狱”这些宗教词汇连在一起（因为佛教里有“四谛”、“四地狱”的概念）；到了 19 世纪，它偶尔会和“小偷”连在一起。这就像语言在说话，告诉我们那个时代的人最关心什么。
  • 对于“大”这个词，早期它更多指“神圣、伟大”（形容佛陀或国王），后来在 20 世纪，它开始更多地指“强壮”或“巨大”（形容现代事物）。

• 填补空白：
  僧伽罗语以前被归类为“低资源语言”（就像是一个被遗忘的角落，缺乏数字资料）。SiDiaC-v.2.0 就像是在这个角落里点亮了一盏大灯，让全球的 AI 模型和语言学家都能更好地理解和处理这种语言。

4. 遇到的挑战（困难）

这个过程并不轻松，就像在暴风雨中修补一艘古船：

• 日期难定：很多书只写了出版年份，但内容可能是几百年前写的。研究人员得像侦探一样，通过作者的生平或历史事件来推断真正的写作时间。
• 注释书难办：有些书是“原文 + 注释”的混合体，原文是 5 世纪的，注释是 13 世纪的。怎么给这种“穿越时空”的书定时间？这是一个巨大的难题。
• 缺乏工具：因为僧伽罗语是低资源语言，没有现成的完美工具来自动给词性打标（比如区分名词、动词），很多工作只能靠人工一点点核对。

总结

SiDiaC-v.2.0 不仅仅是一个数据库，它是僧伽罗语文化的数字方舟。
它把散落在历史尘埃中的 185 本古籍，经过精心的清洗、修复和整理，变成了一座数字博物馆。这不仅让后人能更清晰地看到僧伽罗语是如何从古代演变到现代的，也为未来的 AI 技术（比如翻译、聊天机器人）提供了宝贵的“燃料”，让机器也能听懂这门古老语言的故事。

一句话概括：这是一次对僧伽罗语历史的“大扫除”和“数字化重建”，让古老的文字在数字时代重新焕发生机，并告诉我们语言是如何随时间“生长”的。

技术摘要

SiDiaC-v.2.0: 锡兰语历时语料库第二版技术总结

本文介绍了 SiDiaC-v.2.0（Sinhala Diachronic Corpus Version 2.0），这是迄今为止规模最大、最全面的锡兰语（Sinhala）历时语料库。该语料库旨在解决低资源语言在历史语言学研究和自然语言处理（NLP）领域的数据匮乏问题，通过系统化的数据收集、清洗和标注，为锡兰语的语言演变研究提供了宝贵资源。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 低资源语言困境： 锡兰语被归类为低资源语言（Category 02），缺乏大规模、高质量的历史文本数据，限制了计算语言学和历时语言学的发展。
• 前代版本局限性 (SiDiaC-v.1.0)： 现有的 SiDiaC-v.1.0 语料库存在显著缺陷：
  • 数据量小且筛选过严： 仅包含 46 部作品，且因过度严格的“写作日期”筛选标准导致大量文献被排除。
  • OCR 错误未修正： 未充分处理光学字符识别（OCR）带来的拼写错误、字符插入/删除/替换等噪声。
  • 混合语言问题： 包含大量巴利语（Pali）、梵语（Sanskrit）和英语内容，未进行有效分离，影响纯锡兰语分析。
  • 格式与结构问题： 未处理多栏文本渲染错误、诗歌韵脚分割（Elisamaya/Eliveta）导致的单词断裂、页眉页脚干扰以及注释类书籍（Sanna）中原文与注释的时间混淆问题。
  • 元数据缺失： 缺乏对“写作日期”的精细标注，且缺乏句法层面的特殊标记（如句子结束符）。

2. 方法论 (Methodology)

SiDiaC-v.2.0 的构建遵循了严格的数据处理流程，参考了 FarPaHC、COHA 和 CCOHA 等成熟语料库的构建策略。

2.1 数据收集与筛选 (Data Filtration)

• 来源： 从斯里兰卡国家图书馆（Natlib）的数字馆藏中提取，初始列表包含 233 本书籍。
• 筛选流程：
  • 去重与格式检查： 移除重复项，修正文件名不一致问题。
  • 版权合规： 依据斯里兰卡知识产权法（2003 年第 36 号法案），仅保留作者去世超过 70 年或出版于 1955 年之前的作品。
  • 语言过滤： 人工剔除完全非锡兰语（如纯巴利语、纯梵语）及仅含表格的书籍。
  • 最终规模： 从 233 本筛选至 185 本 文学作品。

2.2 日期标注策略 (Date Annotation)

• 策略调整： 放弃了 v1.0 中仅依赖“写作日期”的严格标准，转而采用类似 COHA 的混合策略，结合出版日期、作者生平以及文献考证（参考 Sannasgala, 2015 和 Soratha Thera, 2011）来确定写作时间。
• 覆盖范围：
  • 出版日期： 1800 CE - 1955 CE。
  • 写作日期： 5 世纪 CE - 20 世纪 CE。
  • 标注子集： 其中 59 本书（约 6.7 万词）完成了详细的写作日期标注。

2.3 文本提取与 OCR (Text Extraction)

• 工具选择： 选用 Google Document AI 作为 OCR 引擎，因其在历史锡兰语文本现代化和词素分割方面表现优于 Surya 等其他工具。
• 处理限制： 考虑到 API 限制，对开放获取书籍仅提取前 15 页以避免数据偏差。

2.4 后处理与清洗 (Post-processing)

这是 v2.0 的核心改进部分，包括：

• 代码混合处理： 人工剔除巴利语、梵语和英语内容，确保语料库的纯净度。
• 特殊标记插入：
  • <eos> (End of Sentence)： 手动在句子末尾插入，解决锡兰语传统标点（෴）仅表示段落结束而非句子结束的问题。
  • <psi> (Poetry Suffix Indicator)： 针对诗歌中为押韵而人为分割的单词（如 සා<psi>රා），插入标记以保留原始结构，同时允许后续研究通过替换标记恢复完整单词。
• 错误修正： 逐字符检查并修正 OCR 产生的拼写错误、字符丢失/插入、多栏文本错乱（将多栏合并为单列流）、页眉页脚及目录干扰。
• 注释书籍处理： 针对包含"Sanna"（注释）的书籍，根据注释语言（锡兰语或巴利语）调整写作日期标注，区分原文与注释的时间跨度。

2.5 元数据构建

• 为每本书生成 JSON 格式的元数据，包含：标题（锡兰语/罗马化）、作者、流派（一级：虚构/非虚构；二级：宗教、历史、诗歌、语言、医学等）、出版日期、写作日期及 OCR 置信度。

3. 主要贡献与结果 (Key Contributions & Results)

3.1 语料库规模与统计

• 总词数： 241,491 个锡兰语词元（Tokens）。
• 作品数量： 185 部文学作品。
• 标注子集： 59 部作品（67,005 词）包含精确的写作日期。
• 词汇多样性： 包含 58,173 个唯一词元（Unique Tokens），占总词数的 24.09%。
• 流派分布：
  • 一级分类： 非虚构 (135 部) vs 虚构 (50 部)。
  • 二级分类： 宗教 (86 部) 和诗歌 (54 部) 占比最高，反映了佛教文化与梵语文学传统对锡兰文学的深远影响。

3.2 评估与分析

• Bag-of-Words (BoW) 分析： 对 13-20 世纪的子集进行了跨世纪词频分析。
  • 多义词演变研究： 选取了多义词 "සතර" (sathara) 和 "මහ" (maha) 进行案例研究。
  • 发现：
    • "සතර"（意为四、技能、小偷）：在 13-20 世纪中，与“学习/智慧”相关的语境最为普遍，且与佛教“四智”和“四地狱”概念紧密相关；“小偷”含义仅在 19 世纪低频出现。
    • "මහ"（意为伟大、强大、巨大）：13-14 世纪多用于“神圣/伟大”语境；15-19 世纪“强大/力量”含义消失；20 世纪“强大”含义显著回升，“巨大”含义则在 20 世纪重新出现。
• 对比 v1.0： 在应用相同的后处理标准后，v1.0 的实际有效词数从宣称的 58,027 降至 45,571（因剔除非锡兰语内容），而 v2.0 提供了更高质量、更大规模的数据。

4. 意义与影响 (Significance)

• 资源突破： SiDiaC-v.2.0 是目前最大的锡兰语历时语料库，显著提升了锡兰语在低资源语言分类中的可用数据量。
• 方法论创新： 提出了一套针对低资源语言历史文本的标准化处理流程，特别是针对 OCR 噪声、诗歌特殊格式（韵脚分割）以及多语言混合内容的清洗策略，为其他南亚或低资源语言语料库建设提供了参考。
• 研究赋能： 支持了从词汇语义演变、句法变化到社会语言学视角的广泛研究。详细的元数据（特别是写作日期和流派分类）使得研究者能够精确地追踪语言随时间的变化轨迹。
• 开源共享： 语料库及相关代码已开源（GitHub），促进了锡兰语 NLP 社区的协作与发展。

5. 局限性 (Limitations)

• 写作日期标注： 受限于历史文献的稀缺性，仅能对 60/186 本书进行精确的写作日期标注。
• 注释书籍处理： 对于包含原文和多层注释的复杂文本，尚未实现完全自动化的时间分层标注。
• 词法标注缺失： 由于缺乏高精度的锡兰语词性标注器（POS Tagger），语料库目前未包含词性标注（POS tags），这限制了某些句法分析任务的开展。

综上所述，SiDiaC-v.2.0 不仅是一个数据集合，更是一次对低资源语言历时语料库构建方法的系统性实践，为理解锡兰语的历史演变奠定了坚实基础。