💬 NLP

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models

本文介绍了 TIDE，这是首个用于扩散大语言模型跨架构蒸馏的框架，它采用三个新颖组件，成功将异构的 8B 和 16B 教师模型的知识迁移至 0.6B 学生模型，并在代码生成等基准测试中显著优于自回归基线。

原作者： Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Gongbo Zhang, Wen Wang, Ye Tian, Li Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、世界级的厨师（教师），他能烹制出令人惊叹的佳肴，但需要配备价值数十亿美元设备的巨大工业厨房才能做到。你希望教导一位年轻有为的学徒（学生）烹制同样的菜肴，但这位学徒只有一台小巧的便携式露营炉和一个小型背包。

问题出在哪里？厨师和学徒说着不同的语言，使用不同的食谱，而且当厨房太暗或太杂乱时，厨师有时会感到困惑。

本文介绍了TIDE，一种旨在弥合这一差距的全新教学框架。它是首个能够成功将知识从庞大复杂的 AI 模型转移到微小简单模型的系统，即使两者构建方式不同且说着不同的“语言”。

以下是 TIDE 如何利用简单的类比解决这场“烹饪课”中的三个主要问题：

1. 时机问题（TIDAL）

挑战： 在扩散模型（本文所使用的 AI 类型）的世界里，教师模型就像一位仅在厨房光线充足时才可靠的厨师。

过程早期（低噪声）： 厨房明亮；厨师能清晰看到整个食谱，并给出完美的指导。
过程后期（高噪声）： 厨房一片漆黑；厨师只是在胡乱猜测。

如果你让学徒在黑暗中听从厨师的猜测，学徒就会养成坏习惯。

TIDE 的解决方案（TIDAL）：
TIDAL 就像一个智能调光开关。当厨房黑暗（高噪声）时，它自动调低教师的声音音量；当厨房明亮（低噪声）时，它调高音量。它还会根据课程进行的时长调整音量。这确保了学徒只在教师真正确信答案时才会聆听。

2. 上下文缺失问题（COMPDEMO）

挑战： 有时，厨师被要求烹饪一道菜，但只被展示了部分食材，因为另一半被雾气（掩码）遮盖了。当雾气浓重时，厨师无法看清足够的信息来做出良好的猜测。

TIDE 的解决方案（COMPDEMO）：
TIDE 不是向厨师展示同一张雾蒙蒙的图片两次，而是将雾气分开。

第一遍： 厨师清晰地看到左半部分食材，并猜测右半部分。
第二遍： 厨师清晰地看到右半部分食材，并猜测左半部分。
结果： 学徒获得了一份“超级食谱”，结合了两种视角的最佳猜测。这就像给厨师多了一双眼睛来填补空白，即使在大雾中也能让指令更加清晰。

3. 语言差异问题（Reverse CALM）

挑战： 教师说“法语”（一组特定的词块，称为 token），而学生说“西班牙语”。你不能直接告诉学生：“教师说了'Pomme'（苹果）”，因为学生不认识这个词。标准的教学方法在这里会失效。

TIDE 的解决方案（Reverse CALM）：
TIDE 不是试图逐字翻译，而是关注意义块（如整个句子或短语），而不是单个单词。

技巧： 大多数教学方法试图强迫学生精确匹配教师的概率，当语言不完全匹配时，这会导致数学上的爆炸（就像试图除以零）。
修正： TIDE 反其道而行之。它不是要求学生去匹配教师，而是要求教师预测学生会说什么。这创造了一条稳定、安全的学习路径，过滤掉了语言不匹配带来的“噪声”。这就像教师根据学生的立意而非每个单词的具体拼写来批改作文。

结果：一个以小博大的微小模型

研究人员通过将一个拥有 160 亿参数的巨大教师模型和一个拥有 80 亿参数的教师模型，蒸馏进一个微小的6 亿参数学生模型来测试这一方法。

内存： 巨大的教师需要 31 GB 内存（像超级计算机）。微小的学生仅需 1.4 GB（像普通笔记本电脑）。这是22 倍的缩减。
速度： 学生的速度比巨大的教师快 5 倍。
性能： 尽管体型微小，该学生的表现仍优于原始的“标准”小模型。最令人印象深刻的是，在编码任务（如编写计算机程序）中，该学生在标准测试中得分48.78，而最好的标准小模型仅得32.3。

结论

TIDE 证明，你不需要超级计算机就能获得超智能的结果。通过仔细管理学生何时聆听、教师如何解释，以及他们如何在不同语言之间进行转换，你可以将巨大 AI 的天才压缩成一个微小的、便携的包，使其能在日常硬件上运行。

以下是论文《Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models》（扭转 TIDE：扩散大语言模型的跨架构蒸馏）的详细技术总结。

1. 问题陈述

扩散大语言模型（dLLMs）相比自回归（AR）模型具有显著优势，包括并行解码和双向上下文。然而，最先进的 dLLMs 需要巨大的参数量（80 亿至 1000 亿+）才能达到具有竞争力的性能，这构成了部署的障碍。

虽然知识蒸馏是压缩模型的标准解决方案，但现有的 dLLM 蒸馏方法（如 CDLM、DDD）仅专注于单一架构内的步数压缩（即教师和学生具有相同的架构/分词器）。它们未能解决跨架构蒸馏的问题，即教师和学生之间存在以下差异：

架构与注意力机制：（例如，混合专家模型 MoE 与稠密模型 Dense，双向与因果）。
分词器：不同的词表使得标准的词级似然匹配在数学上无法适用。
时间动态：在扩散过程中，教师的可靠性根据噪声水平（时间步）剧烈波动，这与自回归模型不同（在自回归模型中，教师始终能看到完整的左侧上下文）。

2. 方法论：TIDE 框架

作者提出了 TIDE（Turning the TIDE），这是首个用于跨架构 dLLM 蒸馏的统一框架。它由三个模块化组件组成，旨在克服时间、空间和词汇障碍。

A. TIDAL（时间 - 迭代双轴 Lambda 调制）

挑战：教师的可靠性随扩散时间步（ $t$ ）变化。在高噪声下（ $t \approx 1$ ），教师进行猜测；在低噪声下（ $t \approx 0$ ），教师是可靠的。此外，学生的容量在训练过程中也在演变。
解决方案：TIDAL 沿两个轴调制蒸馏强度（ $\lambda_t$ $λ_{t}$ ）：
1. 扩散时间步： $\lambda_t = \lambda_{train} \times (1 - t)$ 。随着噪声增加，对教师的依赖降低，以避免学习噪声信号。
2. 训练进度： $\lambda_{train}$ 遵循余弦调度，开始时较低（学生主导）以防止坍塌，随着训练稳定逐渐增加至较高（教师主导）。
机制：目标分布是学生和教师 logits 之间的插值，并从计算图中分离，以防止梯度通过混合目标流动。

B. COMPDEMO（互补演示条件去噪）

挑战：在重度掩码（高噪声）下，教师接收到的上下文不足，导致预测不佳。
解决方案：将掩码位置（ $M$ $M$ ）划分为两个互补子集（ $M_A, M_B$ $M_{A}, M_{B}$ ）。
- 第一遍：教师看到 $M_A$ 被揭示（干净）， $M_B$ 被掩码。
- 第二遍：教师看到 $M_B$ 被揭示（干净）， $M_A$ 被掩码。
机制：合并两遍中教师的 logits。这丰富了教师的上下文，有效地降低了“有效时间步”，即使在高水平噪声下也能为学生提供更高质量的演示信号。

C. Reverse CALM（通过反向似然实现的跨词元对齐）

挑战：当教师和学生使用不同的分词器（ $V_T \neq V_S$ ）时，词元级的 KL 散度未定义。标准的块级对齐（如 CALM）通常使用“前向”二元交叉熵（BCE）损失。
前向 CALM 的问题：梯度包含一项 $p_t^c / p_s^c$ 。如果学生对教师确信的一个块分配低概率（ $p_s \to 0, p_t \to 1$ ），梯度会爆炸。
解决方案：Reverse CALM 反转了 BCE 损失的方向： $L = -[p_s \log p_t + (1-p_s) \log(1-p_t)]$ 。
机制：
- 有界梯度：梯度系数变为 $\log(p_t / (1-p_t))$ ，仅取决于固定的教师且有界。
- 双端噪声过滤：对齐不良的块（其中 $p_t \approx 0.5$ ）将系数归零，低学生概率抑制噪声。这在标量空间中充当“模式寻求”目标。

3. 实验设置

学生模型：0.6B 参数的 Block Diffusion 模型（BD3LM）。
教师模型：
1. LLaDA2.0-mini（16B MoE）：异构架构，不同的分词器（跨分词器流水线）。
2. WeDLM-8B-Instruct（8B 稠密）：共享分词器家族（共享分词器流水线）。
基准测试：8 项任务，包括推理（GSM8K, MATH, BBH）、知识（MMLU, MMLU-Pro）、常识（HellaSwag）和代码（HumanEval, MBPP）。

4. 关键结果

整体性能：蒸馏后的 0.6B 模型在所有基准测试中平均比未蒸馏的 0.6B 基线高出 +1.53 分。
代码生成（HumanEval）：蒸馏模型实现了巨大的性能飞跃：
- 48.78（蒸馏后）对比 32.30（同尺寸 AR 基线）。
- 这代表了 +16.48 分 的增益，表明当经过蒸馏时，dLLMs 在代码等结构化生成任务上表现卓越。
流水线特异性：
- 跨分词器：Reverse CALM 策略更优，证实了对于不匹配词表，有界梯度的必要性。
- 共享分词器：TIDAL + COMPDEMO 策略更优，利用精确的词元对齐进行渐进式课程学习。
效率：
- 内存：相比 16B 教师减少了 22 倍（1.4 GB 对比 31.3 GB）。
- 速度：推理速度比 16B 教师快 5 倍。
- 开销：与未蒸馏的学生相比，蒸馏带来的开销微乎其微（吞吐量下降约 2.6%）。

5. 意义与贡献

首个跨架构框架：TIDE 是开创性工作，实现了不同架构和分词器的 dLLMs 之间的知识迁移，填补了此前未探索的空白。
新颖组件：
- TIDAL 解决了扩散蒸馏的时间不稳定性。
- COMPDEMO 解决了掩码扩散中的上下文稀缺问题。
- Reverse CALM 为跨分词器蒸馏提供了数学上稳定的解决方案，避免了梯度爆炸。
实际部署：该框架证明，高性能 dLLMs 可以被压缩为可在商用硬件上运行的小型可部署模型（0.6B），同时保留扩散的双向和并行优势。
代码生成突破：结果表明，扩散解码的并行特性，在强大教师的指导下，特别适合需要全局连贯性的任务，如编程。

结论

TIDE 成功弥合了大型昂贵扩散模型与小型可部署模型之间的差距。通过解决时间可靠性、上下文稀缺和词汇不匹配的独特挑战，它为高效的 dLLM 部署确立了新标准，特别凸显了扩散模型在代码生成方面的潜力。