💬 NLP

Supportive Token Revealing for Fast Diffusion Language Model Decoding

本文介绍了 AXON，这是一个无需训练的模块，通过根据候选标记对不确定位置去噪的支持能力来动态选择可揭示的高置信度标记，从而在保持或提高准确性的同时减少所需的解码步数，进而优化了离散扩散语言模型的质量与延迟之间的权衡。

原作者： Giries Abu Ayoub, Mario Barbara, Lluís Pastor-Pérez, Tanja Bien, Aneesh Barthakur, Alaa Maalouf, Loay Mualem

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Giries Abu Ayoub, Mario Barbara, Lluís Pastor-Pérez, Tanja Bien, Aneesh Barthakur, Alaa Maalouf, Loay Mualem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图拼凑一个巨大的拼图，但你看不见包装盒上的图案。你必须靠猜来决定哪些碎片应该放在哪里。

问题：“猜谜游戏”的困境
有两种主要方式可以让计算机（特别是 AI 模型）尝试解决这个拼图：

慢速法（自回归/Autoregressive）： 它们一次只猜一个碎片，在移动到下一个之前先检查是否契合。这种方法很准确，但非常慢。
快速法（扩散模型/Diffusion Models）： 它们尝试同时猜出许多个碎片。这超级快，但也很有风险。如果它们在缺乏足够上下文的情况下，同时猜出了相互依赖的两个碎片（比如“The”和“cat”），它们可能会把“The”和“dog”凑在一起，从而搞砸一切。

现有的快速方法试图变得更安全。它们只揭示那些它们 100% 确定的碎片。但这产生了一个新问题：瓶颈（The Bottleneck）。
有时，计算机会被卡住。它知道自己现在还不能揭示下一个碎片，因为它还在等待线索。但它又不敢揭示那个线索，因为对于那个线索它也不是 100% 确定的。于是，计算机就在原地打转，做了很多步却毫无进展。

解决方案：AXON（“上下文助手”）
这篇论文介绍了一个名为 AXON 的新工具。你可以把 AXON 想象成一个聪明的拼图助手，它并不试图替你完成拼图，而是知道应该向你展示哪一个特定的碎片，从而帮助你解决剩下的部分。

以下是 AXON 的工作原理，我们使用简单的类比：

1. “守门员”（何时介入）

AXON 不会每秒钟都去打扰主计算机。它有一个守门员（Gatekeeper）。

节奏检查： 计算机移动得是不是太慢了？它是否正试图猜测下一个碎片时陷入了困境？
上下文检查： 计算机是否有足够的线索来进行一次好的猜测？
如果计算机运行正常，AXON 就会保持安静。但如果计算机卡住了或感到困惑，守门员就会打开大门。

2. 寻找“锚点”（神奇的碎片）

当守门员打开大门时，AXON 会观察所有隐藏的碎片（即计算机尚未猜出的部分）。它会问道：“如果我现在把这些隐藏碎片中的哪一个展示给你看，能帮助你推导出最多的其他碎片？”

它不仅仅是挑选那个计算机最有信心的碎片。它挑选的是锚点（The Anchor）。

类比： 想象你在森林里迷路了。你对该走哪条路感到困惑。
- 一个普通的快速解码器可能会说：“我有 90% 的把握这条路是安全的，”然后走下去。
- 而 AXON 会说：“等等，那条路让人很困惑。但看那棵大橡树（锚点）。如果我们揭示了那棵橡树，你立刻就能知道哪条路通往河流。”
  AXON 挑选的是“橡树”——一个虽然有确定性，但更重要的是具有影响力的碎片。它是许多其他感到困惑的部分都在观察的对象。

3. “覆盖率”策略（避免冗余）

AXON 在不浪费时间方面非常聪明。它使用了一种叫做**次模覆盖（Submodular Coverage）**的策略。

类比： 想象你正试图用报纸覆盖一片泥泞的地面。
- 如果你铺下第一份报纸，它覆盖了一大片区域。
- 如果你把第二份报纸直接叠在第一份上面，你就没有覆盖任何新的泥地。这是在浪费时间。
- AXON 确保它揭示的每一块碎片都能覆盖新的困惑区域。它避免选择两个能解决完全相同问题的碎片。它会选择一组多样化的“锚点”来高效地理清整个画面。

4. 结果：更快、更聪明

通过揭示这些特定的“锚点”碎片，AXON 给计算机带来了突然的清晰感。

使用 AXON 之前： 计算机需要 100 步才能完成一个句子，因为它一直在等待线索而不断卡顿。
使用 AXON 之后： 计算机只需 60 步。它及早揭示了“橡树”，这让剩下的拼图瞬间变得显而易见。

总结
论文声称 AXON 是一个免费的插件（它不需要重新训练 AI），它扮演着智能交通控制器的角色。它观察着 AI 的解码过程。当 AI 在“质量与速度”的交通拥堵中挣扎时，AXON 会介入，揭示出最有帮助的单个隐藏信息，从而疏通道路。这使得 AI 能更快地完成工作（更少的步骤），且不会出错更多。

作者在数学问题和编程任务上测试了 AXON，发现它能持续帮助 AI 更快地完成任务，同时保持同样准确（甚至更好）的答案。

技术摘要：用于快速扩散语言模型解码的支撑性标记揭示 (AXON)

1. 问题陈述

离散扩散大语言模型 (dLLMs) 通过实现并行文本生成，为自回归模型提供了一种极具前景的替代方案。与按顺序生成标记的自回归模型不同，dLLMs 从一个全掩码序列开始，并迭代地对其进行去噪，在每一步中同时预测所有被掩码的位置。虽然这种双向细化允许并行更新，但它引入了一个关键的质量-延迟权衡 (quality-latency trade-off)。

现有的无需训练的并行解码策略试图通过决定哪些掩码标记在单步中是“安全”的可以揭示（提交）来解决这一问题。这些方法通常依赖于：

基于置信度的标准： 揭示具有高边际概率的标记，假设它们是可靠且独立的。
感知依赖性的标准： 使用注意力机制或分布相似性，以避免同时提交强耦合的标记。

然而，本文指出这些方法存在一个根本性的瓶颈：避免不安全的提交并不保证剩余的掩码序列易于解码。 即使保留了不安全的标记，剩余的不确定标记也可能缺乏足够的可见上下文来使其被可靠地解析。这导致了一个“瓶颈”，使得解码变得越来越保守或停滞，从而需要更多的去噪步骤。核心问题在于，当前的方法仅关注哪些标记是安全的可立即揭示的，而不是哪些标记如果被揭示，能为剩余的不确定位置提供最有用的上下文。

2. 方法论：AXON

作者提出了 AXON，这是一个旨在增强现有并行解码策略的无需训练的模块。AXON 并不取代基础解码器，而是在当前状态表明上下文支持不足时进行干预。它将解码问题从“安全提交选择”重新定义为“支撑性锚点选择”。

核心机制

AXON 分两个阶段运行：

门控机制（何时干预）：
AXON 使用一个轻量级门控来检测基础解码器是否正处于挣扎状态。它根据前向传播过程中已经计算出的信号（注意力图和置信度分数）评估两个缺陷标准：
- 节奏缺陷 (Pace Deficit)： 检测相对于剩余去噪步骤，标记揭示的速度是否过慢。
- 上下文缺陷 (Context Deficit)： 检测剩余的不确定标记是否缺乏来自当前已揭示标记的足够注意力支持。
  只有当这些缺陷表明基础解码器的提议不足以支持剩余的掩码序列时，门控才会激活。
锚点选择（揭示什么）：
当门控激活时，AXON 会选择一组“锚点”——即被不确定位置强烈关注的、高置信度的掩码标记。选择过程包括：
- 评分： 根据候选标记 $j$ 对不确定标记 $i$ 的支持能力对其进行评分。得分 $w_{ij}$ 结合了注意力权重 $A_{ij}$ 、目标的不确定性 $(1 - c_i)$ 以及候选的置信度 $c_j$ ：
  $w_{ij} = A_{ij} (1 - c_i) c_j$
- 覆盖目标： 为了选择一个非冗余的锚点子集，AXON 最大化一个设施位置覆盖目标 (facility-location coverage objective)。该目标确保每个不确定位置仅从其最佳被选中的锚点获得信用，从而鼓励所选集合的多样性：
  $C(S) = \sum_{i \in U} \max_{j \in S} w_{ij}$
  其中 $S$ 是选定的锚点集合， $U$ 是不确定位置的集合。
- 优化： 由于覆盖函数是单调次模的，AXON 使用贪心算法来选择锚点，保证了对最优集合的 $(1 - 1/e)$ 近似。

集成

AXON 是模块化的。它监控解码状态，并在门控激活时，将选定的锚点作为可见上下文注入到下一步去噪中。这打破了未解决的依赖关系，并在不修改底层 dLLM 主干的情况下，加速了剩余标记的收敛。

3. 主要贡献

本文概述了三个主要贡献：

一种关于快速解码的新视角： 作者提出将焦点从仅仅选择“安全”的标记转向识别能够为不确定位置提供必要上下文的“信息量丰富”的掩码标记。
AXON 模块： 一个针对现有并行 dLLM 解码器的、无需训练、即插即用的模块。它利用门控机制检测支持不足的状态，并使用次模覆盖目标来选择高影响、非冗余的锚点。
实证验证： 在多个 dLLM 主干（LLaDA, Dream）、推理和代码生成基准测试（GSM8K, Minerva-Math, HumanEval, MBPP）以及各种并行解码策略（基于置信度、局部性感知、依赖感知）上进行了广泛评估。

4. 实验结果

作者在三个模型家族上将 AXON 与强基线（Confidence, LocalLeap, DAWN）进行了对比评估。结果证明了在质量-延迟权衡方面的改进：

效率 (NFE)： AXON 显著减少了完成生成所需的函数评估次数 (NFE)，在各项任务中通常都有明显降低（例如，在各种任务上将 NFE 从 256 降低到约 70-90）。
吞吐量 (TPS)： 在许多配置下，AXON 增加了每秒生成的标记数 (TPS)，表明更快的实际推理速度。
准确率： AXON 保持或提高了任务准确率。值得注意的是，几种设置显示出准确率和吞吐量的同时提升（例如，在 LLaDA-8B 上使用 LocalLeap 时，HumanEval 准确率提高了 3.05 个百分点，同时 TPS 也增加了）。
消融研究：
- 覆盖目标： 设施位置目标（最大化不同不确定位置的覆盖）优于加法覆盖 (Graph-Cut)，证实了避免冗余锚点对于提高效率至关重要。
- 门控权重 ( $\alpha$ )： 平衡节奏和上下文缺陷的混合门控被证明是必不可少的。极端设置（仅依赖节奏或上下文）表现欠佳，验证了平衡干预策略的必要性。
- 锚点预算： 研究发现，使用较小的固定预算（如 $k=1$ ）或自适应覆盖匹配是最优的；较大的预算会引入噪声而没有显著收益。

5. 重要性与主张

本文声称 AXON 解决了当前并行解码中的一个特定局限：缺乏对剩余标记的上下文支持。通过将锚点选择视为一个覆盖问题，AXON 确保所揭示的信息不仅是“安全的”，而且是“有用的”，从而为随后的去噪步骤提供支持。

作者强调，AXON 在无需训练或修改主干模型的情况下实现了这些改进。它是一个轻量级的、推理时的干预手段，能够动态地构建有用的上下文。这项工作表明，dLLM 的高效解码应该超越简单的提交规则，并通过状态监控和战略性的锚点选择来主动管理上下文支持的构建。

论文对局限性保持了审慎的态度，指出 AXON 依赖于注意力及置信度信号，而这些信号是真实标记影响力的代理指标。如果这些信号校准不当，其收益可能会受到限制。此外，该方法目前专注于纯文本推理和代码生成，长上下文和多模态设置被列为未来的研究方向。