🤖 machine learning

Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

本文介绍了一种精确的标记映射算法，该算法使在具有不同分词器的不同模型族之间进行在策略蒸馏（On-Policy Distillation）成为可能，克服了以往的局限性，并证明了与现有的跨分词器方法相比，其在计算效率方面有显著提升。

原作者： Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：说不同语言的两位专家

想象一下，你有一位非常出色的老师（一个大型 AI 模型），他是解决数学问题的专家。你还有一个学生（一个较小的 AI 模型），想要向老师学习。

在过去，为了让学生有效地向老师学习，他们必须说完全相同的“语言”。在 AI 术um中，这意味着他们必须使用完全相同的分词器（Tokenizer）。

什么是分词器？ 把分词器想象成一本字典，它将句子拆分成小的块（即 token）。
- 老师的字典： 可能会把单词 "running" 拆分为两个部分：run + ning。
- 学生的字典： 可能会把 "running" 作为一个完整的块保留下来：running。

如果老师说：“你在 run 这部分做得很好。” 而学生（只把 running 看作一个整体）就会感到困惑。它不知道老师是在表扬这个单一块中的哪一部分。这种不匹配意味着，强大的“在策略蒸馏”（On-Policy Distillation，一种让学生在练习过程中进行学习的高科技教学方式）只能发生在那些拥有相同字典的“家族成员”模型之间。

解决方案：一个聪明的翻译官

这篇论文介绍了一种名为**跨分词器在策略蒸馏（Cross-Tokenizer On-Policy Distillation）**的新方法。作者构建了一个“聪明的翻译官”，即使老师和学生使用完全不同的字典，也能让他们互相学习。

以下是他们的系统是如何运作的，分步骤说明：

1. “双指针”之舞（寻找匹配）

想象老师和学生都在读同一个故事，但老师是用短语来读，而学生是用长句来读。

作者创建了一种算法（称为双指针块对齐/Dual-Pointer Chunk Alignment），它就像两个并肩行走的人。
一个人在老师的块上指点，另一个人在学生的块上指点。
他们同时向前移动手指，直到找到一个文本含义完美匹配的点，即使单词的数量不同也没关系。
结果： 他们识别出了“同步块（Synchronized Chunks）”。例如，他们意识到老师的三个微小单词（1, 2, 0）正好等于学生的一个大单词（120）。

2. “信用分配”（分享赞赏）

一旦找到了匹配的块，他们就需要决定如何分配老师的反馈。

问题： 老师为三个小单词给出了评分。但学生只有一个大单词。我们该如何拆分这个分数？
解决方案： 论文使用了“语义先验（Semantic Prior）”（一种高级说法，指的是“学生原本的想法”）。
- 如果学生对单词 120 已经很有信心了，它获得的老师赞赏份额就会较少。
- 如果学生对 120 感到困惑或惊讶，它获得的赞赏份额就会更多，以帮助它学得更快。
这确保了学生能够学到“正确的教训”，而不会丢失自己独特的思考方式。

为什么这意义重大（实验结果）

作者通过用一个“Qwen”模型（老师）来教一个“Llama”模型（学生）进行了测试。这是两个非常不同的 AI 家族，拥有不同的字典。

效果更好： 与仅仅尝试死记硬背老师答案的方法（旧方法）相比，学生学习得更快，并且在数学和编程方面变得更聪明了。
节省巨大能量： 这是最令人惊讶的部分。
- 旧方法 (SFT)： 为了达到同样的智能水平，学生需要阅读额外的 480,000 个例子。
- 新方法 (OPD)： 学生只需要 20,000 个例子就能达到同样的水平。
- 类比： 这就像是试图通过读 10 遍字典来学习一门语言，与通过与母语人士进行对话并由其实时纠正错误之间的区别。对话（OPD）要高效得多。

总结

这篇论文打破了一道让 AI 模型彼此孤立的“墙”。以前，你只能在学生和老师使用完全相同的“分词语言”时才能进行教学。现在， thanks 于这个新的“聪明翻译官”，我们可以将任何强大的 AI 与任何较小的 AI 配对，无论它们如何拆分单词，都能高效地进行知识迁移。

作者发现，这种方法不仅是可能的，而且比以往的方法更便宜、更快速，这为更广泛的 AI 模型相互学习打开了大门。

技术总结：打破分词器壁垒：跨模型家族的在策略蒸馏

1. 问题陈述

在策略蒸馏（On-Policy Distillation, OPD）已成为大语言模型（LLM）后训练阶段一种高效的技术，它通过利用学生模型自身生成的轨迹上的密集、标记级监督信号（对数概率），实现从专家“教师”模型向“学生”模型的知识迁移。然而，现有的 OPD 方法严格局限于同族蒸馏（same-family distillation），即教师和学生必须共享相同的分词器（tokenizer）。

当尝试进行跨分词器蒸馏（例如在 Qwen 和 Llama 等不同模型家族之间）时，一个根本性的障碍出现了：词表的不对齐。词表大小、编码偏好以及对特殊字符处理方式的差异，意味着教师模型的原始对数概率无法直接映射到学生模型的标记（tokens）上。目前主流的跨分词器场景实践转向了基于教师生成响应的监督微调（SFT）。这种方法未能捕捉到教师概率分布中蕴含的丰富、密集的知识，仅仅将教师的输出视为静态文本，而非概率信号。此外，现有的跨分属于离线（off-policy）蒸馏设计，无法有效解决 OPD 中固有的标记级信号传播问题。

2. 方法论

作者提出了一个跨分词器在策略蒸馏框架，该框架可以在不需要共享分词器或修改模型内部架构的情况下弥合词表差距。该方法由两个核心组件组成：

A. 自适应块对齐（双指针块对齐 - DPCA）

为了对齐由不同分词器生成的序列，作者引入了一种确定性算法来识别最小同步块（minimal synchronized chunks）。

机制： 该算法利用了反分词函数（detokenization function, $D$ ）的确定性和单调性。它采用双指针策略（学生指针 $p_S$ 和教师指针 $p_T$ ）来寻找最小的标记增量，使得解码后的文本前缀匹配： $D(y^S_{1:i}) = D(y^T_{1:j})$ 。
贪心策略： 指针根据解码字符串的长度进行推进。如果学生的解码片段较短，则学生指针前进，反之亦然。
理论保证： 该算法确保了完备性（识别所有同步点）和最小性（确保块无法进一步细分）。这保证了密集的监督信号被定位在尽可能小的标记簇中，避免了在大规模聚合块上的信号歧义。

B. 基于语义先验的块级信用分配

一旦序列被划分为同步块，教师的监督信号必须投影到学生的标记上。

联合概率匹配： 该方法假设生成一个同步块（代表相同的底层文本）的联合概率在两种分布下应该是等价的。这意味着块内的对数概率之和必须相等。
基于语义先验的优化： 为了在保持学生内部语义结构的同时，将教师的目标对数似然（ $L^{(c)}_T$ ）分配到学生的标记（ $s_c$ ）上，作者解决了一个约束优化问题。他们寻求一个能够与学生先验分布（ $p$ ）保持最大方向一致性的目标分布。
闭式解： 生成的目标对数概率（ $\log q_i$ ）是学生先验对数概率（ $\log p_i$ ）的线性缩放版本，缩放比例为块级对数似厘的比值：
$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$
这确保了学生最初认为“令人惊讶”（概率较低）的标记能够获得比例更大的优势信号，从而保留了块内的相对语义结构。

C. 训练目标

计算出的逐标记优势被集成到一个标准的 OPD 框架中，使用强化学习重要性采样损失函数（逆 KL 散度），允许学生根据自身的采样过程更新策略，同时遵循教师的指导。

3. 核心贡献

首个高保真跨分词器 OPD： 本研究首次实现了在具有不同分词器的异构模型家族之间进行高保真、逐标记的在策略蒸馏。
自适应对齐算法： 提出了双指针块对齐（DPCA）算法，该算法在数学上保证了在异构分词方案之间识别最小同步块。
基于语义先验的信用分配： 一种将教师对数概率投影到学生标记上的新颖机制，该机制能够保留学生的内部语义结构，避免了相对标记概率的失真。
计算效率： 证明了跨分词器 OPD 比传统的 SFT 或离线蒸馏基准具有更高的计算效率。

4. 实验结果

作者在推理基准测试（AIME, MATH, GPQA-Diamond, LiveCodeBench）上评估了其方法，使用了两组不同的教师-学生配对：

设置 1： Qwen3-8B (教师) $\to$ Llama-3.1-8B-SFT (学生)。
设置 2： DeepSeek-R1 (教师) $\to$ DeepSeek-R1-Distill-Qwen-7B (学生)。

性能表现：

在 Qwen $\to$ Llama 设置中，OPD 达到了平均 40.7 分，显著超过了 SFT (35.1)、ALM (35.7) 和 CDM (35.9)（提升幅度高达 +5.6 分）。
在 DeepSeek-R1 设置中，OPD 达到了 52.0 分，平均超过基准测试 2.4–2.7 分。
增益在数学、科学和代码基准测试中表现一致，特别是在 AIME25 (+11.6 分) 和 GPQA-Diamond (+6.1 分) 上有显著提升。

计算效率：

为了在从 SFT 初始化模型开始的情况下达到相同的 AIME24 准确率 (44.4%)，作者估计扩展 SFT 需要额外的 482K 个训练样本以及大约 1.17 $\times$ 10 $^{21}$ FLOPs 的计算量。
相比之下，OPD 方法仅需 20K 个额外样本和约 4.8 $\times$ 10 $^{19}$ FLOPs 的计算量即可达到相同性能。
这代表其训练数据使用量减少至 SFT 外推方案的 ~4.1%，总计算成本降至 ~4%。

与同分词器 OPD 的比较：

论文指出，跨分词器 OPD 的性能增益（平均 +5.6）与同分词器 OPD（平均 +5.5）相当，表明投影机制不会显著降低监督信号的质量。

5. 意义与主张

本文声称这项工作解锁了更广泛的教师-学生配对用于在策略蒸馏。通过消除对共享分词器的要求，该方法允许在多样化的模型家族之间进行更灵活的知识迁移。作者认为，只要教师的反馈能以保持对数概率一致的方式投影到学生标记上，共享词表就不是有效 OPD 的先决条件。

这项工作为 LLM 之间的交互适配与增强开辟了新的途径，表明“密集监督”范式可以扩展到单一模型系列之外的后训练阶段。作者承认在测试的模型规模方面存在局限性（由于计算限制，测试的模型参数均在 8B 以下），并将在大规模模型（如 70B）上的验证列为未来的工作方向。