💬 NLP

Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models

本文介绍了 TABOM，这是一种自蒸馏的轨迹感知后训练框架，通过将推理去掩码偏好建模为玻尔兹曼分布以推导成对排序目标，从而弥合扩散语言模型中训练与推理之间的差异，进而相较于标准微调增强了知识获取并缓解了灾难性遗忘。

原作者： Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《自蒸馏轨迹感知玻尔兹曼建模》（TABOM）的通俗解释，辅以生动的类比。

宏观图景：“困惑的艺术家”问题

想象你正在教导一位才华横溢的艺术家（即扩散语言模型）如何创作一幅杰作。

旧方法（自回归模型）： 艺术家从左到右，一次只画一笔。他们从不回头。
新方法（扩散模型）： 艺术家从一块布满静态噪点的空白画布开始。他们逐步去除噪点，一步步揭示出画面。这种方法很棒，因为他们可以一次性审视整幅画面（全局感知），并同时绘制多个部分。

问题所在：
当我们试图用标准方法教这位艺术家新技能（如编程或数学）时，会在练习与表现之间产生错位。

练习（训练）： 我们告诉艺术家：“这里有一块杂乱的画布。随机挑选任意三个位置，并一次性修复它们。”我们随机进行，不关心哪些位置简单，哪些困难。
表现（推理）： 当艺术家实际作画时，他们并非随机工作。他们遵循一条明智的路径：先修复简单的位置（他们 100% 确定的地方），只在最后才处理困难的位置（他们不确定的地方）。

结果： 艺术家感到困惑。他们练习的是随机修复位置，但表现时却必须先修复简单位置。这导致了一种局面：艺术家要么忘记了旧技能（灾难性遗忘），要么在新技能上进步甚微。

失败的尝试：“直接给我看答案”

研究人员尝试了一种名为自蒸馏的修复方案。他们不再使用随机练习，而是让艺术家观看自己绘制完美画面（即“轨迹”）的过程，并试图模仿。

类比： 这就像给艺术家看一段他们自己完美作画的视频，并说：“照这个画。”
问题： 即使艺术家在观看完美的视频，如果他们仍然按照旧的“随机修复位置”规则被教导，他们就无法理解为什么要先修复简单位置的策略。他们只是死记硬背了像素。他们的表现略有提升，但依然无法掌握“由易到难”的节奏。

解决方案：TABOM（“智能教练”）

作者提出了一种名为TABOM的新方法。将 TABOM 想象为一位不仅展示视频，还解释作画过程节奏的教练。

1. “玻尔兹曼”洞察（置信度热力图）

论文指出，艺术家决定下一个修复哪个位置并非随机，而是遵循一种特定的置信度“热力图”。

简单位置（低不确定性）就像凉爽、安全的区域。
困难位置（高不确定性）就像炎热、危险的区域。
艺术家自然倾向于先前往凉爽、安全的区域。

TABOM 用数学方法（使用所谓的玻尔兹曼分布）对这种行为进行建模。它将错误的“代价”视为热量。其目标是教导模型：低热量（简单的词元）应被优先选择。

2. “成对排序”技巧（"A 与 B"游戏）

为每一种可能的画作计算完美的“热力图”太难了（计算上不可行）。因此，TABOM 使用了一个巧妙的捷径：成对排序。

类比： 教练不是要求艺术家将 100 个位置按从易到难排序，而是挑选两个位置：位置 A（简单）和位置 B（困难）。
规则： 教练说：“你必须对位置 A 比位置 B 更确定。”
训练： 如果艺术家说：“我对这两个位置同样不确定”，教练会给予惩罚。如果艺术家说：“位置 A 简单，位置 B 困难”，他们就会获得奖励。

通过成千上万次对词元对的这种操作，艺术家无需计算那不可行的全局数学，就能学会难度的相对顺序。他们自然而然地掌握了“由易到难”的节奏。

实验中发生了什么？

研究人员在两项困难任务上测试了该方法：数学和编程。

旧方法（标准训练）： 艺术家在数学/编程方面有所进步，但忘记了如何写诗或遵循指令（灾难性遗忘）。
“只看”方法（不带 TABOM 的自蒸馏）： 艺术家记住了旧技能，但在新技能上进步不大。
TABOM 方法： 艺术家在数学和编程方面取得了显著进步，同时保留了执行其他任务的能力。他们什么也没忘。

“轨迹判别分数”（TDS）：
论文设计了一项测试，以查看艺术家是否真正学会了节奏。

旧模型： 当被要求作画时，他们将每个位置都视为同样令人困惑。
TABOM 模型： 它们清楚地知道哪些位置简单，哪些困难，完美契合“由易到难”的节奏。

一句话总结

TABOM 教导扩散语言模型从自身的成功尝试中学习，不是通过盲目复制结果，而是通过教导它们置信度的节奏：始终先解决简单的部分，将困难的部分留到最后，确保它们在变得更聪明的同时，不会忘记自己是谁。

技术摘要：自蒸馏轨迹感知玻尔兹曼建模（TABOM）

1. 问题陈述

扩散语言模型（DLMs）相较于自回归模型具有显著优势，例如更优越的全局感知能力和高度并行的令牌生成能力。然而，通过标准监督微调（SFT）对 DLM 进行后训练面临着关键的训练 - 推理不一致性：

训练：标准 SFT 使用带有均匀随机掩码的负证据下界（NELBO）目标，要求模型在单一步骤中同时重建所有被掩码的令牌。这灌输了一种“均匀归纳偏置”，即无论令牌的固有可预测性如何，均将其视为同等难度。
推理：DLM 推理遵循置信度引导的、多步的“由易到难”轨迹。令牌被迭代地解掩码，从具有最低预测熵（最高确定性）的令牌开始，逐步推进到更不确定的令牌。

两难困境：
近期尝试利用自蒸馏轨迹（即模型从自身的解码痕迹中学习）来弥合这一差距的努力收效甚微。

基于真实标签的标准 SFT（SFT-GT）：提升了域内性能，但导致对分布外（OOD）能力的严重灾难性遗忘。
基于自蒸馏数据的标准 SFT（SFT-SD）：保留了 OOD 能力（避免了遗忘），但仅带来微弱的域内增益。
本文认为，虽然自蒸馏轨迹提供了更低的优化障碍，但将标准 NELBO 目标直接应用于这些轨迹，未能利用轨迹中嵌入的结构化“由易到难”信息，从而导致次优性能。

2. 方法论：TABOM

作者提出了基于玻尔兹曼建模的轨迹对齐优化（TABOM），这是一种将训练目标与推理时解码动态对齐的后训练框架。

2.1 理论基础：玻尔兹曼解掩码分布

作者在理论上证明，在“由易到难”解码调度下的推理解掩码分布，可以建模为令牌理想预测熵上的玻尔兹曼分布。

命题：解掩码集合 $U$ 的概率与 $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$ 成正比，其中 $H_{ideal}$ 为预测熵。
推论：该公式明确捕捉了模型倾向于优先解掩码“简单”（低熵）令牌的归纳偏置。目标是使模型预测分布与该目标玻尔兹曼分布之间的 Kullback-Leibler (KL) 散度最小化。

2.2 可行代理：成对排序

由于需要全局采样并计算所有可能解掩码状态上的配分函数，直接优化 KL 散度是不可行的。TABOM 引入了一种基于成对排序的可行代理目标：

机制：该方法不全局最大化似然，而是强制解掩码状态对之间的相对排序。如果在轨迹中令牌 $r$ 在令牌 $s$ 之前被解码（意味着 $r$ 更“简单”），则模型对 $r$ 的预测熵必须低于对 $s$ 的预测熵。
损失函数：在局部解码窗口上应用成对合页损失。对于一组新解掩码的令牌 $\Delta$ ，该损失惩罚“较简单”令牌的熵未显著低于“较难”令牌熵的情况：
$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$
局部窗口：为了避免比较难度差异巨大的令牌（例如第一步与最后一步）带来的噪声，排序严格限制在固定的局部窗口大小 $W$ 内（例如 $W=32$ ）。

2.3 最终目标

TABOM 的总损失结合了：

轨迹感知重建：标准的交叉熵损失，其中模型根据先前解掩码令牌的上下文预测新解掩码的令牌 $\Delta$ （替代均匀掩码）。
成对排序正则化：上述合页损失，用于使熵景观与“由易到难”轨迹对齐。

$L_{TABOM} = L_{reconstruction} + \lambda L_{rank}$

3. 主要贡献

理论洞察：本文正式将推理解掩码分布定义为预测熵上的玻尔兹曼分布，指出标准 NELBO 的“均匀归纳偏置”是训练 - 推理不匹配的根本原因。
方法创新：TABOM 引入了一种成对排序目标，使模型的确定性排序与观察到的解码轨迹对齐，而无需进行不可行的配分函数计算。
实证解决：该框架解决了“遗忘与微弱增益”的两难困境。它在显著提升域内性能的同时保留了分布外能力，有效缓解了灾难性遗忘。
诊断指标：作者引入了轨迹判别分数（TDS），用于量化模型是否在解码轨迹中保留了令牌级的不确定性差异。

4. 实验结果

实验在两个 DLM（Dream-7B 和 LLaDA-8B）上进行，涵盖代码生成（HumanEval, MBPP）和数学推理（GSM8K, MATH500）领域。

性能提升：TABOM 始终优于基线模型（SFT-GT, SFT-SD, dInfer, T3D）。
- 在 Dream-7B（代码）上，TABOM 在 HumanEval 上实现了 +7.70 的提升，在 MBPP 上实现了 +2.60 的提升，而 SFT-SD 仅获得微弱增益（+1.00, +1.20）。
- 关键在于，TABOM 保持了 OOD 性能（例如，GSM8K 保持在 81.73 的高位，而 SFT-GT 则下降至 52.33）。
鲁棒性：在2 令牌并行解码下，TABOM 保持了高性能，而 SFT-GT 则遭受严重性能下降，突显了 TABOM 与模型自然推理分布的对齐。
消融研究：
- 移除排序损失导致增益有限，证实了其在对齐熵景观方面的必要性。
- 全局应用排序（无局部窗口）引入了噪声并降低了性能，验证了局部窗口约束的必要性。
轨迹判别：TDS 分析显示，TABOM 显著增加了跨解码步骤的预测熵方差（例如，HumanEval 的 TDS 从 SFT-SD 的 0.035 上升至 TABOM 的 0.711），证明模型成功学会了区分简单和困难令牌，而标准 SFT 则将其同等对待。

5. 意义与主张

本文主张 TABOM 代表了利用自蒸馏轨迹进行 DLM 后训练的根本性转变：

超越效率：虽然以往基于轨迹的方法侧重于采样步压缩（加速），但 TABOM 利用这些轨迹进行真正的知识获取和性能提升。
对齐优于捷径：通过将推理行为建模为玻尔兹曼分布并强制基于熵的排序，TABOM 使模型的优化景观与其实际生成动态保持一致。
缓解灾难性遗忘：该方法成功地将 DLM 的有效知识边界扩展到新领域，同时不牺牲预训练能力，克服了标准 SFT 常见的失效模式。

作者总结认为，TABOM 为扩散语言模型中的训练 - 推理不一致性提供了稳健的解决方案，提供了一条通往更有效、更高效的后训练策略的路径，这些策略尊重生成过程固有的“由易到难”结构。