Goldfish: Monolingual Language Models for 350 Languages

该论文指出大型多语言模型在许多低资源语言上存在基础语法生成缺陷，并为此发布了包含 350 种语言、超过 1000 个小型单语模型的 Goldfish 套件，证明这些仅用少量数据训练的小模型在困惑度和语法性基准测试上均优于大型多语言模型。

要点

这是一篇关于如何让计算机听懂“小众语言”的论文。为了让你轻松理解，我们可以把这篇论文想象成一场“语言界的金鱼计划”。

🐟 核心故事：为什么我们需要“金鱼”？

想象一下，现在的 AI 语言模型（比如 ChatGPT 或 BLOOM）就像是一群超级学霸。它们读过全世界所有的书，能流利地用英语、中文、西班牙语等几十种“大语言”进行复杂的推理和写作。

但是，世界上还有350 种“小语言”（比如某些非洲部落语言、南美原住民语言或小众方言）。对于这些语言，超级学霸们就像是一个刚学会走路的孩子：

• 它们虽然读过很多书，但关于这些“小语言”的书太少太少了。
• 结果就是，当让学霸用这些语言写句子时，它们经常语无伦次，甚至不如一个只会说“单词 + 单词”的简单程序（双词模型）说得通顺。

这就好比： 你让一个精通多国语言的博士去讲一个只有 100 个人会说的方言，他可能因为资料太少，讲得还不如一个只背过几句顺口溜的本地老农（双词模型）准确。

🌊 金鱼的诞生：小而美

为了解决这个问题，作者们（来自加州大学圣地亚哥分校）没有选择继续训练那个“超级学霸”，而是决定培养一群“金鱼”。

• 为什么叫“金鱼”（Goldfish）？
  • 小： 它们个头小（只有 1.25 亿参数，比那些几百亿参数的巨头小得多）。
  • 多： 它们数量巨大（为 350 种语言各训练了一个）。
  • 记性： 就像传说中金鱼只有 7 秒记忆一样，这些模型只“记得”很少的数据（每种语言最多只有 1GB 的文本，相当于几本书的厚度）。
  • 寓意： 虽然它们记不住复杂的逻辑推理（像金鱼记不住路），但它们非常擅长说“人话”（语法正确、通顺）。

🏆 惊人的发现：小模型赢了大模型

作者们做了一个实验，把这群“小金鱼”和那些“超级学霸”（大模型）以及“顺口溜机器”（双词模型）放在一起比试：

1. 比谁说话更顺口（困惑度测试）：

   • 在 350 种语言中的绝大多数里，“小金鱼”说得比“超级学霸”更通顺、更自然。
   • 甚至，在某些语言上，连“顺口溜机器”都比“超级学霸”说得好。
   • 比喻： 就像让一个博学的教授和一个只读过几本本地故事书的邻居去讲方言，邻居反而讲得更地道，因为教授脑子里全是其他语言的干扰。

2. 比谁更懂语法（语法性测试）：

   • 在检查句子是否符合语法规则时，“小金鱼”的表现也完胜那些大模型。

3. 比谁更会做逻辑题（推理测试）：

   • 这里有个反转：在需要复杂逻辑推理（比如做数学题、理解故事深层含义）时，“小金鱼”和“超级学霸”都表现得很差，基本靠猜。
   • 结论： 小模型擅长**“说话”（生成文本），但还学不会“思考”**（复杂推理）。

🛠️ 他们做了什么？

作者们不仅发现了这个问题，还免费公开了所有成果：

• 他们为 350 种语言，每种语言训练了不同大小的“小金鱼”模型（从只有 5MB 数据的小鱼，到 1GB 数据的大鱼）。
• 总共发布了超过 1000 个模型。
• 对于其中 215 种语言，这是人类历史上第一次有了专门针对该语言的单语生成模型。

💡 这对我们意味着什么？

1. 公平性： 以前，AI 只服务于说大语言的人。现在，说小众语言的人也能拥有自己“听得懂、说得好”的 AI 助手了。
2. 性价比： 训练这些“小金鱼”不需要超级计算机，普通实验室甚至个人开发者都能跑得起。
3. 未来方向： 这告诉科学家，对于资源匮乏的语言，不要盲目追求“大模型”。有时候，**“小而专”**的模型反而比“大而全”的模型更有效。

📝 一句话总结

这篇论文告诉我们：对于世界上那些被遗忘的小众语言，与其让一个读过万卷书但不懂方言的“大博士”来硬撑，不如培养一群只读了几本书但精通方言的“小金鱼”。它们虽然不会做高数题，但它们能把话说得漂亮、地道。

作者们把这群“小金鱼”（Goldfish 模型）全部开源了，让全世界都能使用，让每一种语言的声音都能被 AI 听见。

技术摘要

这是一篇关于Goldfish项目的技术论文总结，该项目旨在解决低资源语言（Low-Resource Languages）在自然语言处理（NLP）领域的模型缺失和性能不足问题。

1. 研究背景与问题 (Problem)

• 现状： 目前，对于许多低资源语言，唯一可用的语言模型是大型多语言模型（如 XGLM, BLOOM, MaLA-500 等），这些模型是在海量多语言数据上同时训练的。
• 核心痛点：
  1. 性能瓶颈： 尽管大型多语言模型在推理任务上表现优异，但在低资源语言的基础文本生成（即下一个 token 的预测）方面表现不佳。研究发现，对于许多语言，这些大模型的性能甚至不如简单的双词模型（Bigrams）。例如，在 XGLM 4.5B 中，24% 的语言表现不如双词模型；在 BLOOM 7.1B 中，这一比例高达 43%。
  2. 数据不平衡： 大型多语言模型的训练数据严重偏向高资源语言。例如，BLOOM 模型中阿坎语（Akan）的数据量仅占总数据的 4e-6%。
  3. 缺乏专用模型： 在 Goldfish 发布之前，350 种目标语言中有 215 种没有专用的单语文本生成模型，47 种甚至没有任何文本生成模型。这阻碍了跨语言和跨模型的可比性研究，并加剧了 NLP 领域的不平等。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Goldfish，一套包含超过 1000 个小型单语语言模型的集合，覆盖 350 种语言。

• 模型架构：
  • 基于 GPT-2 Transformer 架构从头训练。
  • 参数规模： 针对数据量较小的情况（5MB-10MB），使用 39M 参数的小模型；针对数据量较大的情况（100MB-1GB），使用 125M 参数（相当于 GPT-1 或 BERT-base 规模）的模型。
  • Tokenizer： 为每种语言及其对应的数据集大小训练了自定义的单语 Unigram Tokenizer（词表大小 50K）。
• 数据集构建与处理：
  • 数据源： 合并了 Chang et al. (2024a)、Glot500 和 MADLAD-400 等多个大规模多语言语料库。
  • 去重与清洗： 移除了重复的 100 UTF-8 字节序列，并剔除了仅包含《圣经》数据的语言。
  • 字节溢价（Byte Premium）调整： 为了公平比较不同语言的数据量，使用“字节溢价”工具将数据量标准化为“等效英语字节数”。例如，某些语言编码相同内容所需的 UTF-8 字节数是英语的 3-4 倍，因此需要调整采样量。
  • 数据规模： 训练数据分为五个层级：5MB, 10MB, 100MB, 1GB，以及“全量”（当数据不足 1GB 时使用全部可用数据）。
  • 防污染： 严格从训练集中排除了 FLORES-200 和 AmericasNLI 基准测试数据，并进行了污染分析（98% 的语言中 FLORES 序列出现次数少于 10 次）。
• 训练策略：
  • 每个模型训练 10 个 Epoch。
  • 总计算量约为 $1.65 \times 10^{20}$ FLOPs，仅为 GPT-3 训练计算量的 1/1900，适合计算资源有限的实验室。

3. 关键贡献 (Key Contributions)

1. 揭示大模型的局限性： 证明了在低资源语言中，大型多语言模型在基础文本生成任务（Next Token Prediction）上表现糟糕，甚至不如简单的统计模型（双词模型）。
2. 小模型的优势： 展示了在数据受限场景下，小型单语模型（125M 参数，1GB 数据以内）在困惑度（Perplexity）和语法性（Grammaticality）上往往优于大型多语言模型。
3. Goldfish 模型库发布： 发布了 350 种语言的 1000+ 个可复现的单语模型，其中 215 种语言是首次公开的单语生成模型。
4. 开源资源： 公开了模型、训练数据（"Fish Food"）和训练代码，促进了低资源语言建模的公平研究。

4. 实验结果 (Results)

• 困惑度（Perplexity）表现：
  • 在 204 种 FLORES 语言中，Goldfish 在 98 种语言上取得了比 XGLM 4.5B、BLOOM 7.1B 和 MaLA-500 更低的困惑度。
  • 平均而言，Goldfish 的困惑度比 XGLM 4.5B 低 13%，比 MaLA-500 低 11%。
  • 即使在数据量极小（10MB）的情况下，Goldfish 依然优于大型多语言模型。
  • 有趣的是，即使是简单的双词模型，在 43% 的 BLOOM 语言上也优于 BLOOM 7.1B。
• 语法性基准（MultiBLiMP）：
  • 在涵盖 74 种语言的 MultiBLiMP 语法性基准测试中，Goldfish 的平均准确率高于所有对比的多语言模型（包括 BLOOM 560M, XGLM, Gemma 3, Llama 3.2 等）。
  • 在 74 种语言中，Goldfish 在 25 种语言上取得了最高准确率。
• 推理任务（Reasoning）：
  • 在 Belebele, XCOPA, XStoryCloze 等推理基准测试中，Goldfish 的表现接近随机猜测（Chance level），与同规模的多语言模型表现一致。
  • 结论： 这表明小模型能很好地捕捉特定语言的语言知识（语法、词汇），但在抽象推理能力上，受限于模型规模和预训练数据量，尚未展现出超越随机水平的能力。

5. 意义与影响 (Significance)

• 重新定义低资源语言建模策略： 论文挑战了“模型越大、数据越多越好”的直觉，指出在低资源场景下，“小数据 + 单语专用模型” 往往比“大数据 + 多语言混合模型”更有效。
• 促进公平性： Goldfish 为计算资源有限的实验室提供了研究低资源语言的机会，减少了因缺乏专用模型而导致的研究不平等。
• 基准建立： 为低资源语言的基础文本生成提供了可比较的基准（Baseline），有助于未来更精准地评估模型在特定语言上的能力。
• 局限性说明： 作者诚实地指出，Goldfish 模型在复杂推理任务上能力有限，且由于数据源和清洗标准的差异，不同语言间的模型并非完美可比。未来的工作可能集中在探索多语言预训练何时对低资源语言有益（例如在抽象推理方面），以及如何进一步提升小模型的推理能力。

总结： Goldfish 项目通过大规模构建和发布 350 种语言的小型单语模型，有力地证明了在低资源语言领域，专用的小模型在基础语言建模任务上优于当前的巨型多语言模型，为低资源 NLP 研究开辟了一条务实且高效的新路径。