Building a Functional Machine Translation Corpus for Kpelle

技术摘要：构建功能性 Kpelle 机器翻译语料库

问题陈述
尽管在利比里亚和几内亚拥有超过一百万的使用者，Kpelle 语言在自然语言处理（NLP）研究中仍严重代表性不足。作为一种低资源语言，Kpelle 面临着数据稀缺、缺乏标准化正字法以及方言差异（特别是利比里亚 Kpelle 与几内亚 Kpelle 之间）的问题。虽然像 Masakhane、Lacuna Fund 和 Meta 的“无语言不留”（NLLB）项目等倡议已经推进了其他非洲语言的资源建设，但 Kpelle 在很大程度上被排除在外，导致其使用者无法使用诸如机器翻译（MT）或语音识别等数字工具。

方法论
为了填补这一空白，作者构建了首个公开可用的英-Kpelle 双语语料库。该方法涉及一个多阶段过程：

1. 数据收集： 数据集从三个主要来源进行编译：
   • 旅游与观光： 源自既有语言学习网站的常用短语。
   • 宗教文本： 摘自公开可用的翻译宗教文献。
   • 教育材料： 包括教科书和词典在内的内容，如《Kpelle 学习者导向法》和《英-Kpelle 词典》。
2. 处理与对齐：
   • 翻译： 由具有语言学专业知识的 Kpelle 母语使用者对缺乏对应 Kpelle 文本的英文段落进行翻译。
   • 切分： 将段落切分为句子对，以增加用于机器翻译任务的粒度。
   • 清洗与规范化： 对原始数据进行拼写检查、重复项删除以及基于拉丁字母的正字法标准化。特别关注了声调符号的处理，以准确表示 Kpelle 的声调系统（高、中、低及变调）。
   • 验证： 所有翻译均由语言专家进行审核，以确保语法正确性和上下文适用性。
3. 实验设置：
   • 作者使用 Meta 的 NLLB-200 模型作为基准。
   • 创建了两个版本的数据集：版本 1 (V1) 包含 1,518 个翻译对（1,667 个 Kpelle 句子/1,638 个英语句子），以及通过数据增强得到的版本 2 (V2)，包含 2,005 个翻译对（2,202 个 Kpelle 句子/2,167 个英语句子）。
   • 数据集按 9:1 的比例进行训练集和测试集划分。
   • 使用 Adafactor 优化器在 Quadro RTX 6000 GPU 上进行 10k、30k 和 60k 步的微调。
   • 训练了一个自定义的 Kpelle 特定 SentencePiece 分词器，以处理词表外（out-of-vocabulary）标记。
   • 使用 sacreBLEU、chrF2++ 和精确度指标进行评估。

核心贡献
论文概述了三项主要贡献：

1. 数据集创建： 发布了一个包含总计 3,234 个独特翻译对（跨越不同数据集版本）、涵盖超过 30,000 个单词的双语英-Kpelle 语料库。这是目前公开可用的最大 Kpelle 资源。
2. 方法论框架： 作者提供了一个专门针对书写传统有限且正字法不一致的低资源语言设计的、可复制的数据收集、清洗和对齐框架。
3. 基准测试： 将该数据集与 NLLB 模型进行基准测试，建立了 Kpelle 机器翻译的性能基准。

结果
微调实验得出以下结果：

• Kpelle 到英语 (kpe_Latn → eng_Latn)： 在使用版本 2 数据集进行 60k 步训练时达到最佳性能，BLEU 得分为 30.28（chrF2++ 为 44.28）。
• 英语到 Kpelle (eng_Latn → kpe_Latn)： 最佳结果为 BLEU 得分 24.46，由使用版本 1 在 30k 步时实现。虽然版本 2 在更高步数下显示出改进（在 60k 步时达到 20.79），但并未超过版本 1 在该方向上的峰值性能。
• 数据增强的影响： 将语料库从 V1 扩展到 V2 通常会提高性能，特别是在高训练步数的 Kpelle 到英语方向上。然而，对于英语到 Kpelle 的翻译，论文指出增益是适度的，V1 在 30k 步时表现优于 V2。
• 对比分析： 实现的 BLEU 分数（大致在 20–30 之间）与 NLLB-200 在其他低资源非洲语言（如 Wolof、Luo、Yoruba）上的表现一致，但仍低于高性能语言（如 Swahili）。

意义与主张
作者声称，这项工作为 Kpelle 及其他低资源利比里亚语言的深入研究奠定了基础。通过证明尽管处于低资源状态，仍能实现具有竞争力的机器翻译性能，本文强调了开发包容性语言技术的潜力。

该工作的意义围绕以下方面展开：

• 赋能 NLP 应用： 该数据集作为开发不仅限于机器翻译，还包括语音识别和语言模型工具的必要资源。
• 社区与包容性： 该项目有助于促进非洲语言的语言多样性和包容性，特别解决了 Mande 语族在 NLP 中被边缘化的问题。
• 未来路线图： 作者强调，虽然目前的成果令人鼓舞，但未来的工作必须专注于正字法的连贯性、扩大领域覆盖范围（特别是医疗、教育和宗教领域）以及社区驱动的验证，以进一步提升模型性能。

论文最后呼吁研究人员和语言学家开展合作，共同完善数据集并开发新型 NLP 技术，以弥合 Kpelle 使用者的数字鸿沟。