SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark
本文介绍了 SomaliWeb v1，这是一个公开发布的、经过质量过滤的、包含约 3.03 亿个词元的索马里语语料库，并配有匹配的 BPE-16K 分词器以及首个公开的语言识别基准测试，该基准测试同时也揭示了现有多种语言索马里语数据分布中存在显著的质量缺陷。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象互联网是一座庞大而混乱的图书馆，里面收藏着数百种不同语言的书籍。长期以来，这座图书馆中的“索马里语”专区一直是一团糟。它并非一个有清晰标识的专用房间；相反，索马里语书籍被随意散落在巨大的多语言书架堆中，常常与垃圾、破损书页或重复副本混杂在一起。
SomaliWeb v1 是首次有人进入这座混乱的图书馆，专门建造了一个索马里语房间，并对其进行妥善整理。以下是作者们如何做到的简单说明：
1. 问题：“嘈杂”的图书馆
在此项目之前，如果你想教计算机理解索马里语，就必须从互联网上抓取一大袋混合语言的文本。
- 混合内容：其中包含索马里语，但也混杂了英语、法语和其他语言。
- 噪声：即使是这些文本包的“清洗”版本也充满了错误。作者发现，一个流行的文本包（称为 HPLT v2）存在以下问题：
- 17% 的重复：就像将同一本书打印了 17 次并订在一起。
- 56% 的“乱码”：这是指文本看起来像胡言乱语（例如
é而不是é），因为计算机错误地读取了字母。这就像一本书上的墨水晕染成了无意义的符号。 - 近重复：内容 90% 相同，仅修改了几个词的书籍。
2. 解决方案：六阶段“筛分”
作者们构建了一个六步流程（管道），将原始互联网文本过滤为仅保留优质内容。这可以想象为淘金过程：
- 第一步：重复检测器。他们扫描每份文档并剔除完全相同的副本。结果：他们移除了约 14% 的堆积物。
- 第二步：修复站。他们使用工具修复“乱码”文本，并剔除任何过短（少于 50 个词）的内容。结果：他们修复了剩余文本的一半，并移除了短小无用的片段。
- 第三步：语言警察。他们运行测试以确保文本确实是索马里语。如果一份文档主要是英语，就会被剔除。结果：移除了极少部分的“英语泄漏”。
- 第四步：“近似克隆”猎手。他们使用一种聪明的数学技巧（MinHash）来查找彼此相似度达 80% 的文档，并仅保留最佳版本。结果：他们又移除了堆积物中的 10%。
- 第五步：质量检查。他们将文本与“黄金标准”（索马里语维基百科）进行对比，以查看词汇和模式是否像流利、自然的索马里语。如果文档看起来怪异或破损，就会被丢弃。结果：他们移除了质量最低的 15% 的文本。
- 第六步：最终润色。他们打乱剩余文档的顺序，将其分为“训练”集和“测试”集，并创建了一个自定义的分词器。
3. 新工具：自定义词典
当计算机阅读文本时，会将单词拆分为更小的部分，称为“词元”（tokens）。
- 旧方法：使用通用词典（如 GPT-4 的词典）意味着索马里语单词会被切碎成微小且低效的片段。这就像试图用一把小勺子吃大披萨；你需要许多许多勺（词元）才能吃完这顿饭。
- 新方法：作者们专门为索马里语构建了一个自定义词典。
- 结果：他们的词典效率提高了40%。阅读相同数量的文本所需的“勺数”（词元）减少了 40%。这为日后使用此数据的任何人节省了资金和计算能力。
4. 基准测试：语言检测器的“驾照考试”
作者们还创建了一项测试，以查看哪个计算机程序最擅长识别索马里语文本。他们测试了三种流行工具：
- 意外获胜者：最古老的工具
langdetect在识别索马里语方面表现最佳。 - 失败者：一种更新、更复杂的工具（
fastText）彻底失败，经常将索马里语误认为是完全不同的语言。 - 启示：仅仅因为一个工具是新的，并不意味着它更适合特定语言。
发布内容总结
作者们不仅撰写了一篇论文，还向公众发布了三个实际工具：
- 语料库：一个干净、高质量的819,000 份索马里语文档集合（约 3.03 亿个单词）。
- 分词器：一个自定义“词典”，其阅读索马里语的效率远高于通用词典。
- 基准测试：一份公开的测试成绩单，显示哪些语言检测器实际上适用于索马里语。
他们尚未完成的工作（根据论文）：
他们尚未使用这些数据训练新的 AI 聊天机器人或语言模型。他们仅构建了“原料”（干净的数据和工具），并证明了这些原料的高质量。他们将“烹饪”（训练模型并测试其智能程度）留待未来版本（v2）进行。
简而言之：SomaliWeb v1 是首次有人将互联网上混乱、破损的索马里语文本进行清理、整理，并连同一套自定义工具交给研究人员，使他们能够最终为索马里语使用者构建更好的 AI，而无需亲自进行所有清理工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。