💬 NLP

MUTANT: A Recipe for Multilingual Tokenizer Design

该论文提出了名为 MUTANT 的多语言分词器构建方案，通过精心设计词汇与训练数据、语言感知预分词及子词与多词感知训练，成功推出了针对印度多语言场景的 MUTANT-Indic 分词器，在显著降低推理成本并提升吞吐量的同时，实现了优于 LLaMA4 和 Sutra 等现有最佳方案的性能。

原作者： Souvik Rana, Arul Menezes, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Souvik Rana, Arul Menezes, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 MUTANT 的新方法，旨在解决大型语言模型（LLM）在处理多种语言（特别是印度语言）时遇到的“翻译”难题。

为了让你轻松理解，我们可以把语言模型想象成一个超级大厨，而分词器（Tokenizer）就是这位大厨的切菜刀。

1. 核心问题：切菜刀太钝了

想象一下，这位大厨（语言模型）非常聪明，但他手里只有一把为“切英语”设计的刀。

英语就像切土豆，块头大且规则，一刀下去刚好。
印度语言（如印地语、泰米尔语等）就像复杂的蔬菜沙拉，里面有各种形状、纹理和粘在一起的食材。

当这把“英语刀”去切“印度蔬菜”时，会发生什么？

切得太碎：一个完整的单词被切成了七八个小碎片。
浪费空间：原本一句话只需要 10 个词，现在被切成了 50 个碎片。
后果：
1. 做饭慢（推理延迟高）：大厨要处理更多的碎片，速度变慢。
2. 费钱（计算成本高）：需要更多的算力来处理这些多余的碎片。
3. 味道怪（语义丢失）：原本是一个完整的成语或短语，被切开后，大厨就不知道它们原本是一起的意思了。

2. MUTANT 的解决方案：定制一把“万能切菜刀”

作者们设计了一套名为 MUTANT 的“切菜食谱”，专门用来打造一把能完美处理多语言（特别是印度语言）的智能切菜刀。

他们的秘诀分为三步：

第一步：精选食材（数据清洗与预处理）

在切菜之前，先要把菜洗干净、分类好。

比喻：他们不只是把菜扔进搅拌机，而是先根据蔬菜的种类（语言脚本）进行清洗，去掉烂叶子（噪音数据），并把长得像但名字不同的菜（比如不同写法但发音一样的字）统一标准。
效果：确保切出来的每一块都是干净的、标准的。

第二步：两阶段切菜法（核心创新）

这是 MUTANT 最厉害的地方。普通的刀是一次性切完，而 MUTANT 采用**“先切块，再切组合”**的两步走策略：

阶段一：切基础块（子词学习）
- 做法：先把单词切成最小的有意义的“根”或“词根”。比如把“跑得快”切成“跑”和“快”。
- 比喻：就像先把整棵白菜切成一片片的叶子，保证每一片叶子都完整，不会把叶子切碎成渣。这解决了“切太碎”的问题。
阶段二：切组合菜（多词学习）
- 做法：在基础块切好之后，允许刀把经常一起出现的词“粘”在一起切。比如把“在早上”直接作为一个整体切下来，而不是切成“在”、“早”、“上”。
- 比喻：就像大厨发现“番茄炒蛋”这道菜经常一起出现，于是直接切出一整块“番茄炒蛋”，而不是把番茄和鸡蛋分开切。
- 效果：大大减少了切出来的碎片数量，让大厨处理起来更快。

第三步：公平分配（词汇表设计）

问题：以前的刀，给英语留了很多位置，给印度语言留的位置很少，导致印度语言不够切。
MUTANT 的做法：像分配厨房空间一样，根据每种语言在数据中的实际比例，公平地分配“切菜位”。
比喻：如果厨房里 30% 是土豆，70% 是蔬菜，那就给蔬菜留 70% 的案板空间，而不是只留一点点。

3. 成果：快、省、准

经过这套“食谱”训练出来的 MUTANT-Indic 分词器，效果惊人：

碎片更少（Fertility Score 降低）：
- 相比之前的顶级模型（如 LLaMA-4），处理印度语言时，碎片减少了 39.5%。
- 比喻：以前切一盘菜要切 100 刀，现在只要切 60 刀。
速度更快（吞吐量提升）：
- 推理速度提升了 44%。
- 比喻：以前大厨做一道菜要 10 分钟，现在只要 5 分半钟。
质量没变：
- 虽然切得少了，但做出来的菜（模型回答问题的能力）并没有变差，甚至在某些印度语言任务上更好了。

4. 总结

这篇论文告诉我们：不要试图用一把通用的刀去切所有东西。

对于多语言大模型，我们需要一把懂语言、懂文化、会灵活变通的切菜刀。MUTANT 通过先切基础、再切组合的两步走策略，以及公平分配资源的设计，成功让 AI 在处理印度语言时，既省资源又跑得快，还能理解得更深。

这就好比给一位只会切土豆的大厨，换上了一套专业的“印度料理刀具组”，让他瞬间变成了处理复杂食材的顶级大厨。

MUTANT: 多语言 Tokenizer 设计配方技术总结

这篇论文由 Krutrim AI 的研究团队提出，旨在解决大型语言模型（LLM）在多语言场景下，特别是针对印度语言（Indic languages）时，分词器（Tokenizer）效率低下、碎片化严重的问题。作者提出了名为 MUTANT（Multilingual Tokenizer optimization ANd Training）的系统化设计配方，并据此训练了针对印度语言的 MUTANT-Indic 分词器，实现了当前最先进（SOTA）的性能。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

多语言分词的挑战：现有的主流分词方法（如 BPE、Unigram）大多为英语设计。在应用于具有丰富形态变化（morphological variation）和多种书写系统（scripts）的语言（如印度宪法规定的 22 种官方语言）时，表现不佳。
生育率（Fertility Score）过高：这是衡量分词效率的关键指标（词到 Token 的比率）。现有模型（如 LLaMA-4）在处理印度语言时，生育率极高（例如 Oriya 语高达 10.5），意味着一个单词被切分成过多的子词。
负面影响：高生育率导致：
- 推理延迟增加：序列长度变长，计算开销增大。
- 成本上升：训练和推理成本显著增加。
- 语义碎片化：破坏了语言单位的完整性，影响模型对形态和语义的理解。
- 公平性问题：低资源语言相对于高资源语言（英语）处于劣势。

2. 方法论 (Methodology: MUTANT Recipe)

作者提出了一套名为 MUTANT 的端到端分词器训练配方，包含以下核心设计选择：

A. 训练数据与词汇表设计 (Training Data & Vocabulary)

数据质量与多样性：整合了高质量的多语言语料（Web、维基百科、代码、数学等），并经过严格的过滤（语言/脚本混合检测、归一化、短文本过滤）。
词汇表分配策略：
- 摒弃了传统的“显式合并”（分别训练各语言分词器再合并词表），因为会导致跨脚本的干扰和分割不一致。
- 采用 语料库驱动的联合训练（Corpus-driven Alignment）：在一个多语言语料库上训练单一分词器，通过调整数据比例来自然对齐不同脚本的词汇表预算，从而平衡碎片化与覆盖率。

B. 预分词策略 (Pre-tokenization)

语言感知正则表达式：在子词学习之前，使用基于正则的预分词策略。
Unicode 归一化：采用 NFKC 归一化，统一视觉上相同的字符，减少正交稀疏性。
脚本无关分割：使用类似 LLaMA-4 的正则规则，减少跨脚本的 Token 碎片化。

C. 两阶段课程学习 (Two-Stage Curriculum Training)

这是 MUTANT 的核心创新，旨在同时捕捉细粒度的子词和常见的多词表达：

阶段 1（子词学习）：
- 在预分词（保留空格边界）后应用标准的 BPE。
- 目标：学习根词、词缀和常见形态单元，确保对形态丰富语言的细粒度覆盖。
- 持续直到词汇表达到预设的过渡点 $t$ （例如总词表的 90%）。
阶段 2（多词学习）：
- 移除空格约束，允许 BPE 跨越单词边界进行合并。
- 目标：学习高频的多词表达（Collocations，如 "in the morning"）和惯用语，提高压缩率。
- 边界约束：在阶段 2 的正则中强制保留句子边界，防止生成跨越句子的不稳定 Token。

3. 关键贡献 (Key Contributions)

MUTANT 配方：提出了一套可复现的、原则性的多语言分词器训练指南，系统研究了词汇表大小、数据分布、预分词策略和多阶段训练的影响。
MUTANT-Indic 分词器：针对印度语言训练了 SOTA 分词器，在 22 种印度语言、英语和代码数据上均表现优异。
全面基准测试：首次对分词器进行了涵盖内在指标（生育率、熵等）和下游任务性能（从头预训练及持续预训练）的综合基准测试，并开源了评估框架。
实证发现：证明了通过两阶段课程学习，可以在保持子词覆盖的同时有效捕获语义单元，显著优于单阶段方法（如 BoundlessBPE）和现有的开源分词器。

4. 实验结果 (Results)

在 22 种印度语言、英语和代码数据上的评估显示：

内在指标提升：
- 生育率（Fertility Score）：相比 LLaMA-4 分词器，平均降低了 39.5%；相比当前最佳分词器 Sutra，降低了 18%。
- 推理吞吐量：在保持性能相当的情况下，推理吞吐量提升了 44%。
- 压缩效率：归一化序列长度（NSL）更短，Bytes-per-token 更高，表明每个 Token 携带的信息量更大。
- 词汇利用率：Rényi 效率更高，减少了“未训练 Token"（Glitch tokens）的数量，表明词汇表分配更合理。
下游任务性能：
- 使用 MUTANT-Indic 分词器从头预训练的 1B 参数模型，在英语和印度语言的基准测试（如 MMLU, ARC, Indic COPA 等）上，性能与使用 LLaMA-4 分词器的模型相当或略优。
- 在持续预训练（Continual Pretraining）设置下，替换开源模型的分词器也能带来显著的吞吐量提升，且性能不降。
消融实验：
- 两阶段 vs 单阶段：两阶段方法在保持形态覆盖的同时，比单阶段方法（如 BoundlessBPE）获得了更低的生育率。
- 过渡点（Transition Point）：在词汇表大小的 85%-90% 处进行阶段切换效果最佳。
- 数据规模：训练数据在达到 10GB 后，性能提升趋于平缓。

5. 意义与影响 (Significance)

降低多语言 AI 成本：通过显著减少 Token 数量，直接降低了多语言 LLM 的训练和推理成本，使得在资源受限环境下部署高质量多语言模型成为可能。
提升公平性：解决了低资源语言（特别是形态丰富的印度语言）在分词效率上被边缘化的问题，促进了多语言模型的公平发展。
方法论指导：MUTANT 配方为未来的多语言分词器设计提供了明确的工程指南，特别是“两阶段课程学习”和“语料库驱动的词汇表分配”策略，具有广泛的推广价值。
开源贡献：作者承诺公开评估框架和分词器，促进社区在印度语言及多语言分词领域的复现与进一步研究。

总结：MUTANT 论文通过精细化的数据设计、语言感知的预分词以及创新的两阶段训练策略，成功解决了多语言 LLM 分词效率低下的痛点，为构建更高效、更公平的多语言大模型奠定了坚实基础。