💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

本文提出了X-Token，一种投影引导的跨标记知识蒸馏框架，该框架利用稀疏投影矩阵克服基于对数it的蒸馏中词汇不兼容和标记匹配的限制，从而使学生在词汇不匹配的情况下也能从教师模型有效学习“暗知识”并实现最先进性能。

原作者： Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名年轻学生（学生模型）如何解数学题和写故事。你拥有一位无所不知的杰出教师（教师模型），但有一个棘手的问题：他们说着不同的语言。

学生说"Llama"语，其中数字201是一个单独的单词。教师说"Qwen"语，其中201被拆分为三个独立的单词：2、0和1。

在过去，试图用这位教师来教导学生，就像试图从两个尺码不匹配的抽屉里配对袜子。如果你强行配对，学生会感到困惑，或者更糟的是，教师宝贵的建议会被完全忽略。

本文介绍了一种名为X-Token的新方法来解决这种不匹配问题。其工作原理分解为以下简单概念：

1. 问题：“袜子抽屉”式的不匹配

以往的方法试图通过将词汇表分为两组来解决这个问题：

“通用”组：在两种语言中看起来完全相同的单词（例如，"the"、"cat"）。
“非通用”组：不匹配的单词（例如，"201"与"2-0-1"）。

旧方法（称为GOLD）对这两组采取了不同的处理方式。它为“通用”单词提供了完美的建议，但为“非通用”单词提供了混乱、随机的建议。

失败之处：如果学生需要学习一个关键的数学数字如201，而该数字落入“非通用”组，旧方法实际上会损害学生的学习。这就像一位教师告诉学生：“别担心数字 201；随便猜一个就行。”论文表明，这导致学生的数学成绩从尚可的 12.89 暴跌至糟糕的 2.56。

2. 解决方案：“通用翻译器”（投影矩阵）

X-Token 引入了一种名为投影矩阵（ $W$ ）的特殊工具。将其想象为位于学生与教师之间的通用翻译器或罗塞塔石碑。

这种方法不再强迫学生只学习看起来完全相同的单词，而是这位翻译器会说：

“好的，当教师说'2'、'0'和'1'时，这就等同于学生的'201'。”
它搭建了一座桥梁，使学生能够理解教师的完整逻辑，即使他们拆分单词的方式不同。

3. 两种不同的教学风格（损失函数）

论文认识到，有时“通用翻译器”需要根据具体情况以两种不同的方式工作。因此创建了两种模式：

模式 A：“完全合并”（P-KL）

何时使用：当教师将关键单词（如数学数字）拆分为学生完全无法识别的微小片段时。
如何运作：它彻底抛弃了“通用”与“非通用”单词的概念。它利用翻译器将教师的整个大脑映射到学生的大脑上。
结果：它挽救了数学成绩！通过使用此模式配合 Qwen 教师，学生的数学成绩从旧方法的 2.56 一路飙升至15.54。它甚至击败了与学生使用相同语言教师的表现。

模式 B：“宽松匹配”（H-KL）

何时使用：当教师和学生大体一致，但存在一些细微差异时（例如，教师说"Hund" + "reds"对应学生的"Hundreds"）。
如何运作：它保留了“通用”与“非通用”的划分，但放宽了规则。它不再要求完全精确的匹配，而是表示：“如果翻译器认为这两个是最接近的匹配，我们就将它们视为匹配。”
结果：当教师是 Phi-4-mini 模型（它拆分数字的方式不那么激进）时，这带来了小幅但稳定的提升（约 +0.5 分）。

4. “专家小组”（多教师蒸馏）

论文还表明，你可以同时使用多位教师。

想象你有一位数学天才教师和一位故事讲述教师。
X-Token 允许学生同时聆听两者的教导。
结果：当他们结合了一位专注于数学的教师（Phi-4-mini）和一位通识知识教师（Llama-3）时，学生的学习效果优于仅使用一位教师。这就像一名学生既有一位数学私教，又有一位历史私教，然后将这些课程融合成一位超级学生。

结果总结

旧方法：如果词汇表不完全匹配，学生会感到困惑且表现不佳。
X-Token 方法：通过使用智能翻译器并选择合适的教学风格（完全合并 vs. 宽松匹配），学生能够有效地从说着不同“语言”的教师那里学习。
证据：在标准数学测试（GSM8k）中，使用特定教师时，X-Token 将学生的成绩比之前的最佳方法提高了6 倍。

简而言之，X-Token是一个智能系统，它不再试图强行让两种不同的语言看起来一样，而是搭建一座桥梁，使学生能够学习教师的思想，无论教师选择如何表达这些思想。

技术摘要：X-Token：投影引导的跨分词器知识蒸馏

问题陈述

知识蒸馏（KD）通常要求教师模型和学生模型共享相同的分词器，这实际上将从业者锁定在特定的模型家族中。这一限制阻碍了利用具有不兼容词汇表的更强或更专业的教师模型（例如，将 Qwen 或 Phi 模型蒸馏到 Llama 学生模型中），并妨碍了跨不同分词器家族的多教师蒸馏。

现有的跨分词器 KD 方法分为两类：基于表示的方法（对齐隐藏状态）和基于 logits 分布的方法（操作输出概率）。后者因无需架构更改而更受持续预训练青睐。然而，当前最先进（SOTA）的基于 logits 的方法 GOLD 在处理不兼容分词器时存在两个关键的结构局限性：

罕见令牌失效：当分词器以不同方式分割文本时（例如，教师将多位数字符拆分为多个令牌，而学生将其打包为一个），关键令牌落入“未匹配”子集。这些令牌因基于排名的匹配引入的与身份无关的噪声而退化，并被来自公共 KL 项的梯度抑制，导致性能严重下降（例如，GSM8k 准确率从 12.89 降至 2.56）。
过度保守的匹配：严格的 1 对 1 字符串相等性排除了表面形式不同但语义对齐有效的情况（例如，学生令牌"Hundreds"对应教师令牌"Hund" + "reds"），导致有用的监督信号未被利用。

方法论：X-Token

X-Token 通过一个三组件框架解决这些问题：跨度对齐、投影矩阵（ $W$ ） 和 互补损失公式。

1. 序列对齐

为处理不同的序列长度和位置不对齐，X-Token 采用 跨度对齐。令牌被分组为解码后对应相同底层文本的块。在每个块内应用链式法则合并，将每个令牌的概率合并为单个块级分布，从而创建用于蒸馏的对齐单元。

2. 投影矩阵（ $W$ ）

一个稀疏投影矩阵 $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ 将学生令牌概率映射到教师的词汇空间。它通过两次传递确定性构建：

精确匹配传递：对于具有规范化字符串匹配的令牌，设置 $W[s, t] = 1$ 。
多令牌规则传递：对于未匹配的学生令牌，使用教师重新对解码后的文本进行分词。学生令牌被映射到生成的教师令牌序列，并赋予衰减权重（例如， $\beta=0.9, \gamma=0.1$ ）。
该矩阵从分词器规则初始化，并可在训练期间选择性地微调。

3. 互补损失公式

X-Token 引入了两种损失模式，根据学生词汇表中关键令牌（例如数字）的覆盖审计进行选择：

P-KL（投影-KL）：适用于关键令牌落入“罕见”集合的场景（例如 Qwen 教师）。它完全移除了分区。学生分布通过 $W$ 投影到教师词汇空间，并在教师分布与投影后的学生分布之间直接计算 KL 散度。这消除了错误的基于排名的梯度和抑制效应。
H-KL（混合-KL）：适用于分区结构健全的场景（例如 Phi-4-mini 教师）。它保留混合结构，但放宽了“公共”集合的定义。它不再依赖严格的字符串相等性，而是包含满足以下条件的对 $(s, t^*)$ ：其中 $t^*$ 是在 $W$ 下学生令牌 $s$ 对应的排名最高的教师令牌。这捕捉了近等价的对齐，同时保留了对身份对齐对直接 KL 的更锐利监督。

4. 多教师蒸馏

X-Token 通过聚合每个教师的损失自然地扩展到多个教师。它采用 静态加权（在实验中优于自适应方案）来组合来自异构教师的信号，利用其互补优势（例如，推理能力与常识）。

5. 动态缩放

为稳定训练，蒸馏损失在每一步动态重新缩放，以匹配交叉熵损失的量级，防止因损失尺度变化引起的优化不稳定。

主要贡献

确定性跨令牌对齐：引入通过字符串规则和多令牌解码构建的稀疏投影矩阵 $W$ ，无需辅助可训练组件即可实现直接词汇对齐。
双重损失公式：提出 P-KL 和 H-KL，以适应不同的分词器不匹配机制。P-KL 恢复关键未匹配令牌的信号，而 H-KL 优化已对齐令牌的匹配。
多教师能力：证明 X-Token 能够实现从异构教师的有效蒸馏，结果显示互补的教师组合优于单教师或同构配对。
鲁棒的序列对齐：一种可扩展的基于动态规划（DP）的跨度对齐方法，确保用于蒸馏的文本一致性单元。

实验结果

实验使用 Llama-3.2-1B 作为学生模型，Qwen3-4B、Phi-4-mini-Instruct 和 Llama-3.2-3B 作为教师模型。

性能与 SOTA 对比：使用 Qwen3-4B 教师时，X-Token 比当前最先进方法（GOLD）高出 +3.82 个平均点（GSM8k 提升 6 倍，从 2.56 提升至 15.54）；使用 Phi-4-mini 教师时，高出 +0.5 个点。
跨家族优势：在 Qwen 机制下，X-Token（P-KL）超越了来自较弱 Llama-3.2-3B 教师的同分词器 KD，表明当损失公式正确时，跨分词器蒸馏可以超越同家族限制。
多教师增益：双教师设置（Phi-4-mini + Llama-3.2-3B）比单教师蒸馏提高了 +1.3 个点，突显了结合多样化教师优势的价值。
消融研究结果：
- 损失选择至关重要：P-KL 在 Phi-4-mini 上失效，H-KL 在 Qwen3-4B 上失效。
- 联合学习投影矩阵 $W$ 比冻结的基于规则的初始化带来适度但一致的增益。
- 静态教师加权优于基于熵或置信度的自适应方案。

意义

该论文声称，X-Token 证明了 在序列和词汇层面的仔细对齐，结合自适应损失设计，是释放跨分词器知识蒸馏全部潜力的关键。通过解决基于分区方法的特定失效模式，X-Token 使从业者能够利用更强、更专业或更多样的教师，而无需受限于分词器兼容性，从而有效打破了目前限制模型扩展和专业化的“分词器锁定”局面。