💬 NLP

Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference

Fast-dLLM++ 是 Fast-dLLM 的一种无需训练、即插即用的替代方案，它通过引入 Fréchet 特征剖面解码来利用异构标记置信度剖面，通过比以往的最坏情况置信度规则更安全地提交更多并行标记，在保持相当准确度的同时实现了高达 37% 的吞吐量提升。

原作者： Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“并行解码”问题

想象一下，你正在尝试完成一个小组项目，每个人都在同时处理文档的不同部分。在传统的 AI（称为“自回归”模型）中，团队是按顺序工作的：A 同学写完一句话，B 同学才能读完它并写下一句，以此类推。这种方式虽然慢，但很安全，因为每个人都清楚之前发生了什么。

扩散语言模型 (Diffusion LLMs) 则不同。它们试图一次性写出整个文档，同时填补空白。这就像是一个由 10 名作家组成的团队，所有人都在同时大声喊出故事中的单词。从理论上讲，这应该要快 10 倍。

然而，这里有一个陷阱：并行化的诅咒 (The Curse of Parallelism)。
如果作家们在不检查单词是否契合的情况下就乱喊，你可能会得到这样一个句子：“那只猫坐在 [月亮] [比萨] [云朵] 上。” 即使“月亮”、“比萨”和“云朵”在各自语境下都是合理的词，它们放在一起也毫无意义。AI 必须非常小心地决定哪些词可以被“锁定”（commit），以避免产生胡言乱语。

旧的解决方案：“最弱环节”规则

之前的这种方法被称为 Fast-dLLM，它试图通过观察 AI 对每个词的信心程度来解决问题。

想象一下，AI 会为它建议的每个词给出一个置信度分数（例如：99% 确定、80% 确定、60% 确定）。
Fast-dLLM 使用了一个被称为**“因子规则” (Factor Rule)** 的规则。它会观察它想要锁定的那一组词，并问道：“这一组中置信度最低的那个词，是否已经足够自信了？”

类比：
把这想象成一条链条。链条的强度取决于它的最弱环节。
如果你想用一条链条吊起一个重物，你只关心那个最弱的环节。如果最弱的环节只有 60% 的强度，那么整条链条都会被视为只有 60% 的强度，即便其他 9 个环节都是 99% 强。
Fast-dLLM 非常保守。它会忽略掉那 9 个几乎确定的词，因为它太害怕那个只有 60% 置信度的词了。这意味着它经常锁定比实际安全水平更少的词，从而浪费了速度。

新的解决方案：Fast-dLLM++（“Fréchet 轮廓”法）

论文作者说：“为什么要因为一个人不确定，就把整个小组都视为弱小呢？让我们看看整个小组的置信度分布情况吧。”

他们引入了 Fréchet 轮廓解码 (Fréchet Profile Decoding)。与其只盯着最弱的环节，不如观察整个置信度得分的完整阵容（按从强到弱排序）。

类比：“团队信任”评分
想象你是一名经理，正在决定派多少员工去执行一项高风险任务。

旧方法 (Fast-dLLM)： 你看一眼信心最低的员工。如果他只有 60% 的信心，你会说：“好吧，我们只能派 2 个人，”因为团队的强度取决于最弱的那个人。
新方法 (Fast-dLLM++)： 你观察整个团队。虽然有一个人只有 60%，但其他四个人分别是 99%、98%、95% 和 90%。
- 新的数学方法（Fréchet）计算出：“即便有一个人有些犹豫，但其他四个人的强大实力足以让整个小组安全执行任务。”
- 它意识到，那个 60% 之人的“弱点”被其他人的“超强实力”抵消了。

这使得 AI 能够一次性锁定更多的词而不出错。这就像是意识到，一条链条即使有一个环节稍微生锈了，由于其他环节都是由钛金属制成的，它依然足够强壮，可以承受重量。

它是如何运作的（“异质性红利”）

论文中将他们获得的额外速度称为**“异质性红利” (Heterogeneity Bonus)**。

同质化 (Homogeneous)： 如果团队里的每个人都同样不确定（全都是 60%），那么新方法的效果就和旧方法一样。没有红利。
异质化 (Heterogeneous)： 如果团队是由“超级自信”和“中等自信”的人混合组成的，新方法就会获得红利。它意识到自己可以比旧方法认为的更安全地锁定更多单词。

结果：

无需训练： 你不需要重新教 AI 任何东西。它是一个“即插即用”的替代方案，就像把一个标准灯泡换成一个更亮的 LED 灯，直接装在同一个插座里一样。
更快： 在测试中，新方法在保持相同准确水平的同时，比旧方法快了高达 37%。
更聪明： 它不仅仅是在猜测；它利用了一个数学保证（基于概率论中的 Fréchet-Hoeffding 界限概念），证明了这组词在锁定后是安全的。

一句话总结

Fast-dLLM++ 通过意识到：只要一组词中最强的词足以弥补最弱的一个，那么这组词就是安全的，从而让 AI 生成文本的速度变得更快。它不再让最弱的词拖累整个小组。

技术摘要：Fast-dLLM++

问题陈述

扩散大语言模型（dLLMs）在理论上具有并行生成 Token 的优势，相比自回归模型能显著加速推理。然而，实现这种加速受限于“并行性诅咒”：同时解码多个掩码位置时，如果这些 Token 之间缺乏联合一致性，使用边缘分布进行解码可能会产生不连贯的序列。

前序工作 Fast-dLLM 通过引入置信度引导的并行解码规则（具体为“因子”规则）来解决这一问题，该规则决定了每一步提交多少个 Token。因子规则接受一组 $n$ 个 Token，当满足 $(n+1)(1-c(n)) < f$ 时，其中 $c(n)$ 是前 $n$ 个候选者中最弱 Token 的置信度。作者认为，这种方法依赖于同质高置信度假设，即实际上将所选的整个集合视为每个 Token 都具备最弱者那样的置信度。这种保守的假设丢弃了包含在**异质置信度剖面（heterogeneous confidence profiles）**中的宝贵信息——在实际解码步骤中，某些 Token 可能接近确定，而另一些则处于中等置信度水平——从而导致错失了潜在的推理速度。

方法论：Fréchet 剖面解码

论文提出了 Fast-dLLM++，这是一种无需训练的扩展方案，它用Fréchet 剖面解码取代了“最弱 Token 选择器”。该方法不再将置信度剖面压缩为单个标量（最小值），而是利用完整的排序置信度剖面 $(c_{(1)}, c_{(2)}, \dots, c_{(n)})$ 。

核心机制

对于大小为 $n$ 的候选前缀，该方法根据排序后的置信度计算两个界限：

Fréchet 下界 ( $L_n$ )： 关于所有 $n$ 个边缘贪婪 Token 联合正确的概率的无分布（distribution-free）下界。由 Fréchet-Hoeffding/Bonferroni 不等式导出：
$L_n = \max\left(0, \sum_{j=1}^n c_{(j)} - (n-1)\right)$
竞争事件上界 ( $U_n$ )： 任何竞争元组（即在至少一个坐标上与当前选择不同的元组）概率的上界。由于任何竞争者必须在至少一个位置上与贪婪选择不同，其概率受限于最弱被选 Token 出错的概率：
$U_n = 1 - c_{(n)}$

解码规则提交最大的前缀大小 $n$ ，使得这两个界限之间的差距超过边际值 $\delta$ ：
$L_n - U_n > \delta$

理论特性

异质性红利： 作者将 Fréchet 分数 ( $G_n = L_n - U_n$ ) 分解为一个“因子核心”（仅取决于最弱 Token）和一个非负的异质性红利 ( $B_n$ )。该红利代表了从更强的 Token 剖面中获得的额外信息。
$G_n = \underbrace{(n+1)c_{(n)} - n}_{\text{因子核心}} + \underbrace{\sum_{j=1}^{n-1} (c_{(j)} - c_{(n)})}_{\text{异质性红利}}$
等价性： 在置信度相等（同质剖面）的情况下，Fréchet 准则精确地退化为带有参数映射 $f = 1 - \delta$ 的 Fast-dLLM 因子规则。
最优性： 论文证明，在仅使用边缘置信度的情况下，Fréchet 边界是能够提供的最强的无分布保守证书。它不需要了解联合依赖结构（copulas），因此具有鲁棒性，无需额外的模型训练或估计。

核心贡献

Fréchet 剖面解码： 引入了一种无需训练的并行解码规则，该规则利用完整的排序置信度剖面，而非固定的阈值或最弱 Token。
理论保证： 证明了 Fréchet 准则为贪婪并行解码匹配真实的联合贪婪决策提供了充分条件。论文确立了该界限是在仅利用依赖信息之前所能达到的最紧凑的无分布证书。
异质性分解： 推导出了一个分解式，表明 Fréchet 解码是一种自适应的因子规则，当置信度剖面具有异质性（即“异质性红利”较大）时，会自动变得更加激进。
即插即用替换： 该方法无需对底层扩散模型、扩散过程或 KV 缓存实现进行任何更改。它仅修改推理循环中的 Token 选择逻辑。

实验结果

作者在 LLaDA-8B-Instruct 和 Dream-v0-Base-7B 模型上通过四个基准测试（GSM8K、MATH、HumanEval 和 MBPP）评估了 Fast-dLLM++。

吞吐量增益： 与标准的 Fast-dLLM 阈值解码（ $\tau=0.9$ ）相比，Fréchet 解码实现了高达 37% 的吞吐量提升（例如在 GSM8K 上实现 1.41× 加速），同时保持了相当的准确度。
NFE 减少： 与阈值解码相比，该方法平均减少了约 29% 的总函数计算次数（NFE）；与全步长（full-step）基准相比，减少了高达 33%。
与因子规则对比： 即使与之前的最先进技术 Fast-dLLM 因子规则相比，Fréchet 解码也始终实现了更高的吞吐量（例如在 MATH 上为 1.38× vs 1.31×），因为它能在不牺牲准确性的情况下每步提交更多 Token。
多模态性能： 在 LLaDA-V 上针对多模态推理任务（MathVista, MathVerse）的评估显示了类似的趋势，吞吐量从 28.2 提升至 32.9 tokens/s（以 MathVista 为例）。
鲁棒性： 该方法在不同的缓存机制（无缓存、前缀缓存、双缓存）和生成长度（256 到 1024 个 Token）下表现一致。

意义与主张

论文声称，**选择器设计（selector design）**仍然是扩散 LLM 推理的关键瓶颈。通过用 Fréchet 剖面证书取代“最弱 Token”启发式算法，Fast-dLLM++ 泛化了现有的因子解码，并显式地利用了置信度剖面的异质性质。

这项工作的意义在于其能够：

改善准确度-吞吐量前沿： 它提取了以往规则错过的“安全并行性”，在不需要重新训练模型或更改架构的情况下，将权衡曲线推向更高的吞吐量。
提供理论严谨性： 它提供了一个数学上严谨的、无分布的并行提交保证，该保证比以往的同质假设更为严格。
提供实用价值： 作为一种“即插即用”的替换方案，它为现有的扩散语言模型部署提供了即时的效率提升。

作者承认了局限性，指出该方法依赖于校准后的边缘置信度，且对于具有强语法或语义耦合的任务，可能需要更严格的边际值或未来的依赖感知扩展。然而，在贪婪解码和仅利用边缘信息的范围内，他们断言 Fast-dLLM++ 代表了安全并行提交的最优策略。