💬 NLP

AdaptBPE: From General Purpose to Specialized Tokenizers

本文提出了 AdaptBPE，一种轻量级的训练后策略，通过将低效词元选择性地替换为来自适配语料库中更频繁的词元，从而优化针对特定领域或语言的通用子词分词器，以此在不重新训练整个模型的情况下提高压缩率和性能。

原作者： Vijini Liyanage, François Yvon

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Vijini Liyanage, François Yvon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一本巨大的、通用的字典，旨在帮助一个超级聪明的机器人（大型语言模型）理解并说出地球上的每一种语言。这本字典非常庞大，包含了数十万个单词和词片段。

问题在于？当你要求这个机器人写一个特定主题的故事，比如“医学研究”或“法国诗歌”时，它会尝试使用它那本巨大的通用字典。这就像是用一把挖游泳池的大铲子去建造一座精巧的小沙堡。虽然能行得通，但效率极低。机器人会浪费能量去处理那些它并不真正需要的单词，而且它构建的“句子”也会因为将单词拆解成太多微小且无用的碎片而变得冗长。

迎来“AdaptBPE”：字典修补匠

本文作者 Vijini Liyanage 和 François Yvon 提出了一种巧妙的方法来解决这个问题，而无需重建机器人的大脑。他们将这种方法称为 AdaptBole。

以下是它的工作原理，使用一个简单的类比：

“合并”游戏

不要只把机器人的字典看作是一份单词列表，而要把它看作是一套 乐高说明书。

原始计划： 机器人从微小的乐高积木（字母）开始。它有一份很长的指令列表，告诉它如何将两个积木拼在一起组成一个更大的部件，以及如何将两个更大的部件拼在一起组成一个单词。
问题所在： 原始的指令列表是为大众读者编写的。它包含了制作“超复杂”单词（这些单词在医学文本中很少出现）或“奇怪”组合（不符合法国诗歌风格）的指令。
AdaptBPE 的解决方案： 与其扔掉机器人的大脑（这既昂贵又冒险），作者提取了我们关心的特定文本（例如一份医学期刊），并观察其中的乐高指令。
- 他们询问：“这些‘拼合在一起’的规则中，哪些在医学文本中实际上是被使用的？”
- 他们找到那些很少被使用的规则（低效用性）并将其删除。
- 他们找到那些使用频率很高但尚未进入顶层列表的规则，并将它们提升。

“更换”机制

想象你有一个固定的工具箱插槽（假设有 15,000 件工具）。原有的工具箱里混合了锤子、螺丝刀和外星奇特的小玩意。

旧方法： 你只是抓取工厂给你的前 15,000 件工具。
AdaptBPE 方法： 你观察你需要完成的工作（修理汽车）。你意识到你不需要那些外星小玩意。你把它们换成了对修车真正有用的扳手和棘轮。

AdaptBPE 的魔力在于，它是在机器人已经训练之后完成的。它不需要重新教机器人如何思考；它只是给了机器人一套经过优化的指令集（一个新的“合并列表”），使其更适合特定的工作。

为什么这很重要？

论文表明，通过进行这种简单的更换：

更短的文本： 机器人可以用更少的“Token”（文本块）来描述同一篇医学文章。这就像是在不丢失意义的前提下，将一个长句子总结成一个更短、更有力的句子。
更快、更便宜： 因为机器人需要处理的块更少，所以它的工作速度更快，消耗的计算资源也更少。
更好的性能： 在涉及医学文本和特定语言（如法语或低资源语言）的测试中，机器人的表现与使用巨大的通用字典相比，表现持平甚至有时更好。

它不是什么

它不是一种新型的机器人大脑。机器人的“智能”（其权重）保持完全不变。
它不是一种从头开始教机器人新语言的方法。它是关于为机器人已经掌握的语言调整字典。
它不是解决所有问题的万灵药。作者承认，它在拥有特定文本进行观察时效果最好，并且它不会自动算出保留多少工具是最完美的（这仍然需要由人类来设定）。

底线

AdaptBBE 就像是给一把通用的瑞士军刀配上一套定制的刀片，以应对特定的露营旅行。你不需要买一把新刀，只需要把那些无用、钝掉的工具换成你实际需要的锋利工具即可。这让工具变得更轻便、使用更快，并且完美契合手头的任务，而无需改变手柄或机械结构。

技术摘要：AdaptBPE：从通用型到专业化分词器

问题陈述

子词分词方法，特别是字节对编码（BPE），是现代大语言模型（LLMs）的基础。然而，标准分词器是作为通用工具在海量、多样化的语料库上训练的，并且在模型的整个生命周期内保持静态。这种静态特性在模型应用于特定领域或受限语言集时会产生效率低下的问题。通用的词表通常包含许多对于特定目标语料库而言稀有或无用的 token，导致次优的分词长度、不必要的参数加载以及增加的推理成本。虽然存在领域特定的分词器，但它们通常需要从头开始重新训练，或需要复杂的动态机制。因此，需要一种轻量级的、后训练的适配策略，能够在不改变底层模型权重的情况下，针对特定上下文优化分词。

方法论：AdaptBPE

作者提出了 AdaptBPE，这是一种后验算法，通过根据适配语料库中的频率统计信息，有选择地将低效合并替换为更相关的合并，从而优化预训练的 BPE 分词器。该方法在固定的“合并预算”（ $N$ ）下运行，确保最终词表大小保持不变。

核心算法

初始化： 算法从一个包含 $M$ 个合并项的预训练 BPE 分词器开始。它最初选择前 $N$ 个合并项（标准前缀）构成候选实际合并集（ $\mu_A$ ），并将剩余的合并项视为储备集（ $\mu_R$ ）。
迭代优化： 算法通过以下方式迭代改进适配语料库的分词效果：
- 识别当前实际集合 $\mu_A$ 中频率最低（效用最低）的 token。
- 识别储备集 $\mu_R$ 中可以通过潜在新合并的父项形成的频率最高的二元语法（bigram）。
- 交换： 如果候选二元语法在 $\mu_R$ 中的频率超过了 $\mu_A$ 中最低效 token 的频率，算法则执行交换。低效的合并被转换为“虚拟”合并（实际上从活跃 token 集中移除），而来自储备集的高频合并被提升为“实际”合并。
约束： 该过程保持合并序列的适当性（properness），确保复合 token 仅在它们的父 token 存在后才被创建。它完全依赖于适配语料库的统计数据，不需要访问原始预训练数据或模型权重。
输出： 结果是一个新的、经过优化的合并列表，与原有的 LLM 兼容，允许直接部署而无需重新训练模型。

核心贡献

优化算法： 引入了一种直接作用于 BPE 合并列表的贪心算法，旨在固定词表大小的约束下，优化特定测试领域的压缩效用。
后训练适配： 一种类似于词表微调的轻量级机制，无需更改模型参数，为下游部署提供了一种“即插即用”的解决方案。
实证验证： 在多种语言（包括曼尼普尔语和奥克西塔尼亚语等低资源语言）、领域（通用维基百科对比专业医学 PubMed/EMEA）以及任务（生成、分类和机器翻译）上进行了广泛实验，证明了其优于基准方法的性能。

实验结果

作者使用 BLOOM、Llama-3 和 GPT-2 模型，针对三个基准方法评估了 AdaptBPE：

Firstk： 仅使用原始分词器中的前 $N$ 个合并项。
Firstk>0： 使用数据集中出现的前 $N$ 个合并项。
Topk： 应用所有合并项，并递归地进行取消合并（unmerging），直到保留前 $N$ 个高频 token。

主要发现：

压缩效用： 在所有语言和模型中，AdaptB之一的 AdaptBPE 始终比所有基准方法实现了更高的压缩效用（更短的分词序列），其表现往往接近全量词表分词器的水平。
困惑度（Perplexity）： 在领域特定任务（如 PubMed、EMEA）中，AdaptBPE 的困惑度得分通常能达到甚至超过全量词表的水平，而基准方法表现不佳。
机器翻译： 在双语设置（英-法、英-奥克西塔尼亚）中，AdaptBPE 相比基准方法提高了 BLEU 分数，在显著减少词表（1.5万–3万个合并项）的同时，达到了与全量分词器相当的性能。
零样本分类： 虽然在使用缩减词表时，由于训练与推理分词器之间的不匹配，英语的性能有所下降，但该方法在跨语言迁移方面表现出了鲁棒性，通过微调可以恢复性能。
低资源语言： 该方法对于形态复杂或低资源语言（如奥克西塔尼亚语、曼尼普尔语）特别有效，在这些语言中，标准剪枝技术无法捕捉到必要的子词结构。

重要性与主张

论文声称，AdaptBPE 提供了一种切实且具有成本效益的解决方案，用于将 LLM 适配到特定领域或语言，而无需承担重新训练的计算开销。通过减少活跃 token 数量及相关的嵌入参数，该方法降低了内存占用和推理延迟。

作者将他们的工作定位为一种正则化形式，使模型偏向于针对目标领域更具泛化性的子词表示。他们强调，其方法不同于以往从头训练新分词器或在运行时使用动态分词的工作；相反，AdaptBPE 提供了一个静态的、优化的词表，与现有的预训练模型完全兼容。论文总结道，尽管该方法非常有效，但未来的工作应侧重于动态优化合并预算 $N$ ，并更好地处理频率估计中的不确定性，以防止对适配语料库的过拟合。