💬 NLP

Learnability-Informed Fine-Tuning of Diffusion Language Models

本文介绍了 LIFT，一种面向扩散语言模型的可学习性感知微调算法，该算法在不同扩散时间步动态对齐 token 的学习难度与可用上下文，在推理基准测试中显著优于现有的监督微调基线。

原作者： Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解释。

核心思想：教会 AI“更好地学习”

想象一下，你正在教一名学生如何解决复杂的数学问题。你有两种主要方法：

旧方法（自回归）： 学生阅读题目，然后像打字一样逐字写出答案。
新方法（扩散）： 学生从一张布满空白（掩码 token）的页面开始，尝试一次性填满所有内容，并不断修正猜测，直到答案清晰。这被称为扩散语言模型（DLM）。

这篇论文的研究人员发现，虽然“新方法”速度很快，但在尝试使用标准方法（称为监督微调或 SFT）对其进行训练时，它会陷入困境。这就像你给学生一张缺失了 90% 单词的页面，却只要求他们猜测最常见的单词（如“的”或“和”）。学生会感到无聊，学不到新东西。反之，如果你要求他们在页面几乎空白时去猜测罕见、困难的单词，他们会感到沮丧，无法完成。

问题：“什么”与“何时”不匹配

作者分析了数百万个训练样本，发现这些模型在学习方式上存在特定的不匹配：

“什么”： 罕见、困难的单词（如特定的数学术语）很难学习，而常见单词则很容易。
“何时”： 在扩散过程中，模型从一个非常混乱、几乎全空的页面开始（很难学到任何东西），然后逐渐揭示更多上下文（变得更容易学习）。

不匹配之处：

过程早期（上下文丰富）： 模型可以轻松猜测常见单词，但它忽略了那些困难、罕见的单词，因为它太忙于处理简单的内容。
过程晚期（上下文极少）： 模型盯着一个几乎全空的页面。它试图猜测罕见单词，但没有足够的信息支持，因此失败了。

标准的训练方法试图在每个阶段教授所有内容，效率低下。这就像要求一个蒙着眼睛的学生背诵字典，然后戴着降噪耳机去解微积分题。

解决方案：LIFT（基于可学习性的微调）

作者创造了一种名为LIFT的新方法。可以将 LIFT 想象为一位聪明的导师，它根据学生当前拥有的帮助程度，确切地知道教什么以及何时教。

LIFT 的工作原理：

当页面大部分空白时（晚期）： 导师说：“好吧，我们暂时不要尝试猜测那些困难、罕见的单词；你还没有足够的线索。相反，让我们练习那些简单、常见的单词，你实际上可以用这么少的信息推断出它们。”
当页面大部分清晰时（早期）： 导师说：“太好了，你现在有很多线索了。让我们停止练习简单的单词，转而专注于那些困难、罕见的单词，也就是你之前无法猜测的那些。”

通过根据可用信息的多少，在“简单”和“困难”的目标之间动态切换，LIFT 确保模型始终在学习有用的内容，从不浪费时间在不可能猜出的猜测或无聊的重复上。

结果：更聪明、更快速

该团队在困难的数学推理基准测试（如 AIME 数学竞赛）上测试了 LIFT。

性能： LIFT 显著优于之前的方法。在一些高难度的数学测试中，与标准训练方式相比，它将模型的准确率提高了3 倍。
效率： 这是最令人印象深刻的部分。通常，要获得如此智能的模型，你需要使用强化学习（RL），这就像运行一个持续数天的大型模拟，消耗数千小时的超级计算机时间。而 LIFT 仅使用了少 500 倍的计算能力就取得了类似的结果。

总结

该论文声称，通过理解模型何时有能力学习特定类型的信息，我们可以更有效地训练扩散语言模型。LIFT 不像强迫模型一次性学习所有内容，而是像一位战略教练，在正确的时间布置正确的作业。这使得 AI 在推理任务上变得更聪明，同时节省了巨大的能源和资金。

技术摘要：基于可学习性的扩散语言模型微调

问题陈述

尽管扩散语言模型（DLM）通过并行生成 token，相比自回归模型具有显著的推理吞吐量优势，但其通过后训练提升推理能力仍面临挑战。具体而言，作为自回归模型标准方案的监督微调（SFT），往往无法提升 DLM 的性能，甚至可能使其表现相较于预训练阶段有所退化。导致这一失败的根本原因尚未得到充分研究。作者指出，传统的 SFT 忽视了可学习性（learnability）这一概念——即具体是哪些 token 被学习，以及在扩散过程的何时被学习。

分析揭示了两个关键维度：

什么（Token 频率）：由于训练期间接触有限，稀有 token 本质上比常见 token 更难预测。
何时（扩散时间）：预测 token 的难度取决于可用上下文的多少。在前向扩散过程中，随着时间 $t \to 1^+$ ，输入被严重掩码，上下文减少。在此条件下，稀有 token 变得不成比例地困难，甚至实际上无法学习。相反，随着 $t \to 0^-$ ，上下文丰富，使得稀有 token 变得可学习，而常见 token 则变得极易预测。

传统的 SFT 试图在所有扩散步骤中均匀地学习所有 token，导致训练效率低下：模型在低上下文场景中浪费容量去尝试学习那些无法学习的稀有 token，或在高上下文场景中学习那些微不足道的常见 token。

方法论：LIFT

为了解决这些挑战，作者提出了LIFT（基于可学习性的微调），这是一种针对 DLM 的高效基于 SFT 的后训练算法。LIFT 根据 token 难度与可用上下文之间的交互，自适应地选择在每个扩散时间步监督哪些 token。

核心机制

LIFT 通过构建“基于可学习性的掩码”来运行，而非使用标准的随机掩码：

二次掩码：对于给定的扩散时间 $t$ ，LIFT 采样一个二次掩码比率 $\rho \sim U(0, 1-t)$ ，以创建更被破坏的输入 $x_{t+\rho}$ 。
置信度估计：模型计算 $x_{t+\rho}$ 中掩码位置处真实 token 的置信度分数 $c_k = p_\theta(x^k_0 | x_{t+\rho})$ 。
自适应选择：基于当前的扩散时间 $t$ $t$ ，LIFT 选择一个 token 子集 $S_t$ $S_{t}$ 进行监督：
- 高破坏度（ $t \to 1^+$ ）：模型选择Top-K token（置信度最高/最容易的 token）。在低上下文场景中，模型专注于它能可靠学习的 token。
- 低破坏度（ $t \to 0^-$ ）：模型选择Bottom-K token（置信度最低/最难的 token）。在高上下文场景中，模型专注于那些现在可学习的稀有且困难的 token。
- 中等破坏度：模型回归到标准的传统 SFT（随机选择）。
损失计算：训练损失仅限于选定的子集 $S_t$ ，从而修改了负证据下界（NELBO）目标。

变体

LIFT：需要两次前向传播（一次用于置信度估计，一次用于损失计算）。
LIFT-A：一种轻量级近似变体，仅在 $t+\rho$ 处执行一次前向传播，并应用门控掩码将未选中 token 的损失置零。这以目标函数中的轻微偏差为代价，换取了显著的计算效率。

主要贡献

SFT 失败的系统性分析：本文首次系统性地分析了传统 SFT 在 DLM 中失败的原因，将这种失败表征为 token 难度（频率）与特定扩散时间步可用信息之间的错位。
LIFT 算法：提出了 LIFT，这是首个显式建模“什么”（token 身份/频率）与“何时”（扩散时间）之间交互以优化训练效用的后训练方法。
效率与性能：LIFT 为 DLM 后训练确立了新的帕累托前沿，在性能上达到了与可验证奖励强化学习（RLVR）方法相当的水平，同时所需的计算资源减少了数个数量级。

实验结果

作者在两个 DLM 基础模型（LLaDA-8B-Instruct 和 LLaDA 1.5）上评估了 LIFT，涵盖了六个推理基准，包括 GSM8K、MATH、Countdown、Sudoku 以及具有挑战性的 AIME'24 和 AIME'25 数据集。

性能提升：LIFT 在所有基准测试中始终优于传统 SFT 和其他基线（GIFT、CART）。
- 在AIME'24上，LIFT 相比传统 SFT 实现了3.3 倍的相对提升（Pass@16 为 16.7 对比 6.7）。
- 在AIME'25上，LIFT 实现了2.0 倍的相对提升（Pass@16 为 6.7 对比 3.3）。
- 在 GSM8K、MATH 和 Countdown 上也观察到了提升。
计算效率：LIFT 仅通过约1.8 个 H100 GPU 小时的训练即实现了这些提升。相比之下，基于 RL 的基线（d1）需要超过2,000 个 H100 GPU 小时才能达到相似的性能。这代表了约1000 倍的计算量减少。
鲁棒性：LIFT 在不同的训练数据集（s1K 与更大的 12K 数据集）和生成长度上均表现出鲁棒性。
消融研究：实验证实，联合建模“什么”和“何时”至关重要。仅考虑 token 难度（Top-K 或 Bottom-K）或忽略扩散时间（随机选择）的变体未能达到 LIFT 的性能，特别是在 AIME 等复杂推理任务上。

意义与主张

本文主张，LIFT 代表了使 DLM 适用于复杂推理任务的重要一步。通过将训练目标与不同扩散步骤中可用的信息对齐，LIFT 最大化了每个训练步骤的效用。

作者强调，LIFT 确立了一个新的计算高效帕累托前沿。它表明，DLM 中复杂的推理增益并不一定需要强化学习（RL）那种巨大的计算开销。相反，精心设计的、基于可学习性的 SFT 策略可以以极低的成本达到与 RL 相当的性能。这项工作表明，未来的 DLM 开发应优先考虑理解 token 特征与扩散动态之间的相互作用，而不是简单地扩大计算规模或采用 RL 近似。