Automatically Detecting Code-Switching Between Nigerian Pidgin English and English
本研究通过引入一个多领域标注语料库，针对尼日利亚皮钦英语（NPE）资源匮乏的问题，证明了基于压缩的PPM模型在自动检测NPE与标准英语之间的代码转换方面，是相比于传统监督学习方法的一种计算高效且具有竞争力的替代方案。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在尼日利亚繁忙且多语言并存的景观中，语言很少是单一、静态的流向。相反，它是一种动态的电流，两种语言经常在同一个句子中交织流动。这种被称为“语码转换”（code-switching）的现象，发生在说话者在标准英语和尼日利亚皮钦英语（Nigerian Pidgin English）之间流畅切换时，后者是一种被数千万人作为跨越不同族群桥梁使用的充满活力的克里奥尔语。对于依赖于严格规则和清晰类别来理解文本的计算机而言，这种流动性呈现出了一个重大的难题。传统的工具往往难以分辨一种语言在哪里结束，另一种语言在哪里开始，尤其是在第二种语言——皮钦英语——缺乏统一的标准拼写且因地域而异的情况下。如果无法准确识别这些转换，计算机就无法有效地处理那些定义了数百万人日常生活的、丰富的混合语言对话，从而导致大量的人类交流在数字技术面前变得“隐形”。
为了解决这个问题，班戈大学（Bangca University）的研究人员着手为这些混合语言文本构建一种新型的地图。他们首先收集了大量的现实世界写作材料，整合了来自三十本书籍的故事、来自在线论坛的数千条评论以及数百篇新闻文章。这种多样化的组合确保他们捕捉到了人们实际说话和写作的全貌，从新闻报道的正式结构到互联网用户的随性、快速交流。随后，研究团队创建了一个“地面真值”（ground truth）数据集，这是一个经过人工仔细验证的参考指南，专家们手动标记了每一个从英语切换到皮钦英语或反之亦然的点。这个经由人类验证的地图，成为了测试所有计算机模型的“金标准”。
研究人员随后训练了数种不同类型的计算机程序，让它们学习如何自主识别这些转换。他们尝试了人工智能领域中常见的选手，例如试图模仿人类大脑处理单词序列方式的深度学习模型。他们还测试了寻找字母组合模式的传统统计分类器。然而，最令人惊喜且最有效的工具竟然是完全不同的东西：一种基于压缩的模型。简单来说，这类程序通过学习特定语言中字母如何相互跟随的统计模式来工作，就像一个人读过一本书很多遍，以至于无需思考就能预测下一个词一样。研究人员使用了一种称为“部分匹配预测”（Prediction by Partial Matching）的特定方法，这使得计算机可以逐个字符地分析文本，根据紧接的上下文构建下一个字符出现的概率图。
当研究团队将这些不同的程序与他们的人类验证地图进行对比测试时，结果是具有启发性的。那些通常需要海量数据才能发挥作用的深度学习模型表现得有些力不从心，其准确率得分低于预期。传统的统计模型表现得更好，其中一种特定的随机森林分类器达到了89%的准确率。然而，那些不需要大规模数据集进行学习的压缩模型，表现得与最好的传统模型一样出色，同样达到了89%的准确率。使这些压缩模型显得尤为出众的是它们的速度和效率。当其他模型需要更长的训练和处理时间时，压缩模型可以在短短几秒钟内学习语言模式并分析新文本，且所需的计算能力极低。
这项研究还揭示了语言本身的有趣细节。通过分析文本，研究人员发现尼日利亚皮钦英语倾向于使用更压缩的词汇量，即高度依赖于一组较小的、高频的词汇，而标准英语的词汇则更为广泛和多样。这种结构的差异有助于计算机模型区分两者，因为即使没有庞大的词典，皮钦英语中字母序列的统计模式也足够独特，足以被识别出来。混淆矩阵（显示模型出错具体位置的图表）显示，压缩模型在识别皮钦英语方面表现尤为出色，能够正确标记近93%的皮钦英语片段，尽管它们偶尔会将一些英语误认为皮钦英语。
最终，这项研究证明了你并不总是需要最复杂、最耗数据的人工智能来解决困难的语言问题。对于像尼日利亚皮钦英语这样缺乏像主要世界语言那样拥有海量数字档案的低资源语言，简单的统计方法可以像先进的神经网络一样有效。基于压缩的模型被证明是一种强大、快速且高效的替代方案，能够高精度地分割混合语言文本。通过提供一个新的、经过人工验证的数据集，并证明这些轻量级模型的可行性，研究人员为未来的工具开启了一扇大门，这些工具终将能够理解并处理数百万人的丰富、语码转换式的对话，使数字技术对使用多样化且不断演变的语言的人群更具包容性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。