💬 NLP

LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers

本文介绍了 LiteToken，一种通过识别并移除 BPE 词表中的低频“残留”标记（residue tokens）来减少模型参数并提高对噪声输入鲁棒性的方法，且通常无需对预训练模型进行额外的微调。

原作者： Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人阅读和书写人类语言。为了做到这一点，你首先必须将句子分解成被称为“标记”（tokens）的小块（比如单词或单词的一部分），这样机器人才能理解。目前最流行的方法叫做 BPE（字节对编码）。

你可以把 BPE 的过程想象成一个从零开始构建词汇表的施工队。他们从单个字母开始。然后，他们观察大量的书籍库并说：“嘿，‘t’和‘h’这两个字母经常出现在一起。让我们把它们粘在一起，组成一个新的块，叫作‘th’。”随后，他们看到‘th’和‘e’经常在一起，于是又把它们粘在一起，做成了‘the’。他们就这样不断重复，构建出越来越大的块。

问题所在：“脚手架”遗留问题

这篇论文指出，这个构建过程中产生了一个混乱的副作用。有时，施工队会建立一个临时的块（比如“includ”），因为在构建阶段的某个时刻它非常常见。但稍后，他们会建立一个更大的块（比如“include”或“including”）。

在一个完美的世界里，施工队应该拆掉临时的“includ”块并将其丢弃。但在目前的 BPE 方法中，他们依然让这个块留在词汇表中。

作者称这些遗留的块为 “中间合并残余” (Intermediate Merge Residues)。

类比： 想象你正在盖房子。你使用临时脚手架来够到二楼。一旦屋顶盖好了，你就把脚手架撤掉。但在这种情况下，施工队忘记拆除脚手架了。现在，你的房子里到处都是无用的木杆，它们占据空间、看起来很丑，并且会让试图走进房间的人感到困惑。

这些“脚手架标记”（如“includ”、“delet”、“framewor”）在现实生活中很少被使用，因为完整的单词（“include”、“delete”、“framework”）更受欢迎。然而，它们仍然占据着机器人的字典，消耗着内存和处理能力。更糟糕的是，由于机器人几乎从未见过它们，当它真的遇到它们时（比如有人拼错单词，或者黑客试图欺骗系统时），它会感到困惑。

解决方案：LiteToken

作者创建了一个名为 LiteToken 的工具来清理这种混乱。它就像是机器人字典的“大扫除”服务。

它是这样一步步工作的：

侦探工作： 该工具扫描字典并寻找那些“脚手架”标记。它会提出两个问题：
- 这个标记在单独使用时是否很少见？（低频）
- 这个标记是否只出现在非常特定、可预测的情况下？（低“熵”或多样性）
- 示例： 如果标记“includ”只出现在“e”或“ing”之前，那么它很可能只是一个遗留的碎片。但如果一个标记像“re”一样出现在“rewrite”、“recover”和“refund”中，那么它就是一个有用的构建块，所以它应该保留。
移除： 一旦识别出来，这些无用的标记就会被标记为待删除。
重新组装： 如果机器人遇到一个原本由这些无用标记拆分的单词，该工具会将单词分解回其基础字母，然后仅使用那些好的、有用的块来重新构建它。这就像拆掉脚手架，并用一面干净、坚固的墙来替换它。

结果：更轻量、更强大的机器人

论文在几个著名的 AI 模型（如 Qwen、Llama 和 GPT）上测试了这一点。以下是他们的发现：

它是“即插即用”的： 你不需要重新训练机器人或教它任何新东西。你只需将旧字典更换为新的、清理后的字典，机器人就能表现得一样好。
节省空间： 通过移除约 5% 到 10% 的无用标记，机器人需要的内存更少，计算速度也更快。这就像从背包里取出沉重且无用的砖头，以便你能跑得更快。
更好地处理错误： 当人们出现拼写错误或尝试用奇怪的输入来欺骗机器人时，旧的机器人往往会感到困惑，因为它试图强行让这些“脚手架”标记变得有意义。新的“Lite”机器人能更好地处理这些错误，因为它不再依赖于那些脆弱的、半成品的块。
没有智力损失： 尽管移除了这些标记，机器人的回答问题或写故事的能力并没有变差。它依然一样聪明。

总结

简而言之，这篇论文认为许多 AI 模型都携带了很多“数字垃圾”——即在训练过程中遗留下来的无用的、半成品单词片段。LiteToken 是一个简单的工具，它可以清扫掉这些垃圾，使 AI 模型变得更轻量、更快，并且在面对错误时更加稳健，而无需重新训练它们。

技术摘要：LiteToken：移除 BPE 分词器中的中间合并残余

1. 问题陈述

尽管大语言模型（LLMs）在参数量和训练数据方面经历了剧烈增长，但其分词器（特别是广泛使用的字节对编码，即 BPE）的设计却相对缺乏关注。本文识别了标准 BPE 词表中的一种特定低效现象，称之为**“中间合并残余”**（也称为“脚手架标记”/scaffold tokens）。

在 BPE 训练过程中，算法迭代地合并最频繁的相邻标记对。在此过程中创建的许多标记在创建瞬间非常频繁，但随后会被进一步的合并所吸收。因此，这些标记在最终的分词语料库中出现频率极低，但它们仍然保留在词表中。作者识别出由这些残余引起的三个主要问题：

标记浪费： 这些标记占据了标记嵌入（token embeddings）和解码层的容量，却未能得到有效利用，导致了参数和 FLOPs 的浪费（估计对于 $\le$ 8B 参数的模型而言为 1–3%）。
性能退化： 由于这些标记在最终语料库中很罕见，它们处于欠训练状态。模型在处理触发这些标记的输入时，会出现更高的错误率，特别是在非典型或分布外（out-of-distribution）场景下。
脆弱性： 低频性以及与噪声文本模式的关联，使得这些标记成为对抗性攻击的向量，并降低了模型针对拼写错误或越狱式扰动的鲁棒性。

2. 方法论：LiteToken

作者提出了 LiteToken，这是一种轻量级、即插即用的算法，旨在不重新训练分词器或模型的情况下，从现有的 BPE 分词器中识别并移除中间合并残余。该过程包含三个阶段：

A. 识别算法

该方法使用语料库驱动的统计分析来区分真正的残余与具有语言学意义的低频标记（如词根、前缀或后缀）。它采用了两个指标：

最终/中间（FI）比例： 这衡量了一个标记在最终语料库中的频率（ $F_1$ ）相对于其在合并过程中的总出现次数（ $F_1 + F_2$ ）的比率。较低的比率表明该标记大多已被合并入更大的单元。
$R = \frac{F_1}{F_1 + F_2}$
邻居熵过滤： 为了避免移除有效的形态单位（例如 “rewrite” 中的 “re” 或作为独立单词的 “import”），算法计算了左侧和右侧邻居标记的熵。中间残余通常具有固定的、低熵的上下文（例如 “includ” 几乎总是后接 “e”、“ing” 等），而有效的词根或独立单词则表现出更高的邻居多样性。
$S(t) = \min \{S_{left}(t), S_{right}(t)\}$
如果一个标记的 FI 比率低于阈值（ $r$ ）且熵得分低于阈值（ $s$ ），则将其归类为残余。

B. 移除与重合并

一旦识别出残余，通过**拆分（Split）和重合并（Re-Merge）**过程来修改分词器：

拆分： 当遇到属于残余集的标记时，算法会递归地逆转创建该标记的合并操作，将其拆回其前驱标记，直到只剩下非残余（或基础）标记。这确保了不会产生未知标记。
重合并： 为了防止过度序列碎片化，算法应用一个重合并步骤，利用“未掩码”的学习到的合并规则。这会将拆分的标记重新组合成更紧凑、符合语言学对齐的单元（例如，将拆分的部分重新组合成 “corruption”），而不会重新引入被移除的残余标记。

C. 输出层掩码

为了防止模型在自回归解码过程中生成残余标记，输出投影矩阵（ $O \in \mathbb{R}^{d_h \times N_{vocab}}$ ）中对应的列将被掩码处理。作者指出，在生成过程中不应用重合并，以保持与 KV 缓存（KV caches）的兼容性。

D. 与 Tiktoken 的兼容性

该方法已适配于 tiktoken（用于 Llama-3、GPT 和 Gemma 系列）。由于 tiktoken 缺乏严格的合并树，算法会考虑产生特定标记的所有许可合并路径，并基于编码过程中实际使用的合并表进行频率统计。

3. 核心贡献

系统性特征化： 本文通过实证分析揭示了包括 Qwen、DeepSeek、Llama-3 和 GPT 系列在内的广泛使用的 LLM 分词器中，约有 5% 到 10% 的标记属于中间合并残余。
LiteToken 算法： 一种新型的、无需训练的方法来剪枝这些残余，从而减少词表大小和模型参数，同时提高标记效率。
即插即用部署： 该方法允许预训练模型立即使用修改后的分词器，而无需进行微调，从而保持整体性能。

4. 实验结果

作者在 0.6B 到 70B 参数规模的模型（Qwen、Llama-3、DeepSeek 等）上，使用 C4-en、RedPajama 和 SQuAD 数据集对 LiteToken 进行了评估。

参数与计算量减少： 移除残余减少了 5–10% 的词表大小，从而导致嵌入层和输出层参数的比例减少（对于 0.6B 模型约为 2.6%）。
语言建模性能： 修改后的分词器（“Lite”）对困惑度（PPL）的影响可以忽略不计。例如，在 C4-en 上，Qwen-3-8B 和 Llama-3.1-70B 的原始分词器与 Lite 分词器之间的 PPL 差异小于 0.5。
鲁棒性： 最显著的收益体现在鲁棒性方面。在扰动测试（拼写错误和对抗性标记边界）下，LiteToken 模型表现出比原始模型更高的纠错和问答准确率。例如，Qwen-3-8B 在扰动下的性能下降从 1.78% 降至 0.82%。
通用性能： 在 SQuAD 等标准基准测试中，移除残余对 F1 分数的影响极小（例如，Qwen-3-8B 为 0.833 vs. 0.829），证实了剪枝不会损害通用的 NLP 能力。

5. 重要性与主张

论文认为，分词器设计是 LLM 架构中一个关键但常被忽视的组成部分。作者主张，中间合并残余代表了一种切实的低效，它浪费了计算资源并制造了针对噪声输入的脆弱性。

通过引入 LiteToken，作者证明了：

现代 BPE 分词器中的大部分词表是冗余的。
移除这些残余可以在不进行重新训练的成本下，提高模型针对拼写错误和对抗性扰动的鲁棒性。
该方法的“即插即用”特性使其能够实现内存节省和推理效率方面的即时部署收益。

作者总结道，虽然目前的工作侧重于英语和拉丁语系，但中间合并残余的现象在其他语言中也可能普遍存在，这表明需要对跨不同语言结构的分词器优化进行进一步研究。他们强调，其工作范围较为适度，专注于分词层，并将模型重训练的交互作用留作未来的研究方向。