技术摘要：SimCT——恢复跨 Tokenizer 在线策略蒸馏中的丢失监督信号

1. 问题陈述

在线策略蒸馏（OPD）是将大型教师模型的行为迁移到小型学生模型的标准范式。与离线蒸馏不同，OPD 基于学生当前策略生成的前缀向教师查询，从而使训练分布与推理分布对齐，并缓解误差累积问题。

然而，标准 OPD 隐含地假设教师和学生模型共享同一个 Tokenizer，从而能够逐 Token 比较它们的下一 Token 预测。在现实的部署场景中，教师和学生模型通常属于不同的模型族，拥有异构的 Tokenizer。这种不匹配造成了两个根本性障碍：

1. 词汇表不匹配：Token 集合（$\mathcal{V}_T$ 和 $\mathcal{V}_S$）仅部分重叠。将监督限制在共享 Token 上，会丢弃教师输出分布中的很大一部分。
2. 序列不匹配：即使底层文本相同，不同的 Tokenizer 也会将其分割成不同的 Token 序列（例如，"happy"与"hap" + "py"，或"ha" + "pp" + "y"）。因此，教师在特定前缀下的下一 Token 分布可能不对应于与学生分布相同的文本单元，导致标准的 Token 级 KL 散度无法定义。

现有的跨 Tokenizer 解决方案试图通过最优传输（计算昂贵）、学习投影层（需要额外参数）或粗粒度块匹配（丢失细粒度信号）来弥合这一差距。这些方法往往无法恢复完整的教师信号，或引入显著的开销。

2. 方法论：简单跨 Tokenizer OPD（SimCT）

作者提出了SimCT，该方法通过扩展监督空间而非修改 OPD 目标函数本身，来恢复丢失的监督信号。

核心概念：最小对齐单元

SimCT 不强制预测仅在相同 Token 上匹配，而是识别最小对齐单元（MAUs）。MAU 被定义为两种 Tokenizer 都能实现的 finest（最细粒度）文本延续，即使它们将其分解为不同的 Token 序列。

• 共享 Token：同时存在于两个词汇表中的 Token（$\mathcal{V}_T \cap \mathcal{V}_S$）被视为 1:1 对齐单元。
• MAUs：对于 Tokenizer 存在分歧的文本区域，该方法构建最细粒度的边界一致划分，使得每个单元既能表示为教师 Token 序列，也能表示为学生 Token 序列。

监督空间构建

SimCT 定义了一个公共监督空间 $\mathcal{U}_{SimCT}$：
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
其中 $\mathcal{A}$ 是所有最小对齐单元的集合。

评分与损失

为了比较该空间上的分布，SimCT 引入了评分映射 $\Pi_T$ 和 $\Pi_S$：

1. 共享 Token：得分为原始对数概率。
2. MAUs（多 Token）：得分为组成 Token 的长度归一化平均对数似然。对于由模型 $M$ 实现为 $k$ 个 Token $(v_1, \dots, v_k)$ 的单元 $u$：
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   这种归一化防止了对在特定 Tokenizer 下需要更多 Token 的单元进行惩罚。

$\mathcal{U}_{SimCT}$ 上的最终分布 $q_T$ 和 $q_S$ 是通过对这些评分进行归一化获得的。蒸馏损失保持为标准反向 KL 散度：
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

理论性质

• 定理 1：MAUs 构成了两种 Tokenizer 共同表达的最细粒度边界一致接口。不存在更细的分解能保持联合可 Token 化性。
• 命题 1：将这些单元粗化（将 MAUs 合并为更大的跨度）会严格减小教师和学生分布之间的 KL 散度，从而有效地抹除跨度内有用的区分信息。因此，保留最小粒度在理论上对于保留信号是最优的。

3. 主要贡献

1. 信号丢失的识别：论文证明，由于词汇表和序列的不匹配，标准跨 Tokenizer OPD 会静默地丢弃大量教师信号。
2. 监督空间扩展：SimCT 引入了一种新颖的监督接口，无需额外可训练参数或复杂的传输计算，即可从非共享词汇和非 1:1 对齐的文本段中恢复信号。
3. 理论依据：作者证明了 MAUs 代表了最细粒度的可能监督粒度，且粗化它们不可避免地会移除有用的教师 - 学生区分信息。
4. 实证验证：大量实验表明，SimCT 在数学推理和代码生成任务中，始终优于共享词汇表基线及其他跨 Tokenizer 方法。

4. 实验结果

作者在三个异构教师 - 学生对（Qwen2.5、Phi-4、Gemma-2）上评估了 SimCT，测试了四个基准：GSM8K、MATH-500、MBPP 和 LiveCodeBench-v6。

• 性能提升：SimCT 在 SFT 暖启动和所有基线（SimpleOPD、DSKD、ALM、GOLD）上均取得了持续改进。与 SFT 相比，其平均相对增益为6.0%，并显著优于最佳跨 Tokenizer 基线。
• 信号恢复分析：消融实验证实，增益源于恢复了两类被丢弃的信号：
  • 共享词汇表外（OoSV）：共享词汇表之外的高概率教师预测。
  • 未对齐单元：无法 1:1 对齐的文本段。
    通过统一的 MAU 空间恢复这两类来源，获得了最佳性能。
• 粒度消融：将 MAUs 合并为更粗的单元会导致性能下降，这与理论预测相符，即粗化会移除代表细粒度教师 - 学生偏好的 KL 信号。
• 效率：与 SimpleOPD 相比，SimCT 仅增加了微小的计算开销（在 8 张 H20 GPU 上每次运行约 0.16 小时），且显著快于需要学习投影或最优传输的方法。

5. 意义与主张

论文认为，跨 Tokenizer OPD 的主要瓶颈不在于训练范式本身，而在于监督空间的构建。通过将焦点从“匹配 Token"转移到“匹配文本延续”，SimCT 恢复了以前无法获取的监督信号。

作者声称，SimCT 为不同 Tokenizer 模型间的蒸馏提供了一种简单、无参数且鲁棒的解决方案。结果表明，保留最细粒度的联合可 Token 化单元对于维持在线策略学习信号的质量至关重要。该工作确立了一个观点：将监督空间扩展以包含最小对齐单元，比修改损失函数或添加复杂的对齐机制更为有效。

作者指出的局限性：

• 目前的评估仅限于数学和代码领域。
• 该方法依赖于标准的 BPE 风格 Tokenizer；对于具有根本不同分割行为的 Tokenizer，可能需要进行适配。
• 当前实现假设可以白盒访问教师的下一 Token 分布；扩展到黑盒设置留待未来工作。