技术摘要：聚焦核心（FoCore）

1. 问题陈述

扩散大语言模型（DLMs）通过迭代去噪范式实现全局上下文建模，相较于自回归（AR）模型具有独特优势。然而，当前的解码策略往往未能充分利用这一能力，表现出“局部偏差”偏好，即距离已去噪位置更近的 token 会获得不成比例的高置信度分数。这种局部偏差忽视了自然语言中固有的异质性信息密度。

本文认为，自然语言上下文包含以下混合成分：

• 低信息密度（LD）token：冗余的背景填充（例如结构词，如"for"、"she"）。
• 高信息密度（HD）token：核心推理单元或逻辑锚点（例如实体、数字、特定约束），它们引导生成轨迹。

当前策略往往忽视这些 HD token，导致生成质量下降，特别是在数学和代码生成等复杂推理任务中。此外，标准解码过程未能充分利用 HD token 倾向于比周围 token 更早收敛（稳定）这一观察结果，从而错失了推理加速的机会。

2. 方法论

本文提出了FoCore（聚焦核心），一种无需训练的解码策略，及其高效变体FoCore_A。该方法论基于关于 HD token 的三个关键实证发现：

1. 对 HD token 的显式条件化显著提高了输出质量。
2. HD token 表现出早期解码倾向，比周围 token 更早收敛至最终状态。
3. HD token 对全局上下文掩码高度敏感，当其上下文被遮蔽时，置信度会显著下降，而稳健的 LD token 则不会。

A. HD token 的识别

为了避免在代码生成中失效的领域特定启发式方法，作者提出了一种基于分布稳定性的自动化识别机制：

• 指标：他们利用Top-K 截断的 Jensen-Shannon (JS) 散度来衡量 token 预测概率分布在连续解码步骤（$t$ 和 $t-1$）之间的不稳定性。
• 逻辑：HD token 在迭代过程中引发显著的分布偏移，而 LD token 则保持分布稳定。
• 细化：对逐步散度分数应用**指数移动平均（EMA）**以追踪历史不稳定性，过滤瞬态波动，并识别具有高累积不稳定性（$S^{(i)}_t$）的 token。

B. FoCore 机制（自对比）

FoCore 以自对比方式利用已识别的 HD token 来引导生成，无需重新训练：

1. 负样本构建：在每次迭代中，将前 $K$ 个最不稳定（已收敛）的 HD token 暂时重新掩码（替换为 [MASK]），以创建“无条件”输入序列（$\tilde{X}_t$）。
2. 对比引导：模型执行两次前向传播：一次在原始序列（$X_t$）上，一次在重新掩码的序列（$\tilde{X}_t$）上。
3. Logit 调整：最终 logit 通过对比条件输出和无条件输出计算得出：
   $$\hat{L}_t = L_{cond} + \omega \cdot (L_{cond} - L_{uncond})$$
   这迫使模型严格将其注意力锚定在核心 HD token 上，通过惩罚偏离这些关键锚点存在时的轨迹来强化生成。

C. FoCore_A（加速变体）

利用 HD token 早期收敛的发现，FoCore_A引入了一种并行解码机制：

• 监控：持续监控未解码位置的平均不稳定性分数。
• 早期退出：一旦平均不稳定性降至阈值（$\tau$）以下，表明核心 HD token 已充分收敛，系统即触发并行解码。
• 执行：它在单步中解码 $m$ 个额外的高置信度 token（通常是局部上下文窗口中的 LD token），显著减少了前向传播和解码步骤的总数。

3. 主要贡献

1. HD token 的实证分析：本文系统地研究了 HD token 的行为特性，揭示了其双重优势：它们对语义引导（质量）至关重要，且表现出早期收敛性（效率）。
2. FoCore 解码策略：一种无需训练的自对比方法，动态地将已收敛的 HD token 重新掩码为负样本，以提升生成质量。
3. FoCore_A 加速：一种高效变体，利用 HD token 的早期解码倾向实现并行解码，大幅降低延迟。
4. 全面评估：在数学、代码和逻辑推理基准测试上的广泛实验表明，该方法相较于最先进基线具有一致的改进。

4. 实验结果

该方法在 LLaDA 8B 和 Dream 7B 骨干网络上进行了评估，涵盖六个基准测试：GSM8K、MATH500、HumanEval、MBPP、SVAMP 和 Countdown。

• 质量提升：

  • 在 HumanEval 上，FoCore 将 pass@1 从 39.02（标准 CFG）提升至 42.68。
  • 在 MBPP 上，FoCore 在不同生成长度下取得了 38.40/40.40/40.00 的分数，优于 Prophet 和 KLASS 等竞争对手。
  • 在 MATH500 上，FoCore 达到 43.80，超过了最佳基线（Confidence）的 42.60。
  • 该方法显示出随生成长度（128 到 512）的单调扩展，而许多基线在较长长度下表现出性能下降。

• 效率增益（FoCore_A）：

  • 解码步骤：与标准 CFG 相比，HumanEval 上的解码步骤减少了 2.07 倍。
  • 延迟：HumanEval 上的单样本延迟从 20.76 秒 降至 8.64 秒（降低了 58.4%）。
  • 加速比：在基准测试中实现了 1.45 倍 到 2.29 倍 的加速，同时在保持或提高任务准确率方面优于 Prophet 和 KLASS 等其他高效方法。

5. 意义与主张

本文主张，聚焦核心解决了 DLM 解码中的一个根本瓶颈：未能区分冗余背景信息与关键推理锚点。

• 理论洞察：这项工作提供了一个理论框架，将条件熵与分布不稳定性联系起来，证明 HD token 作为信息瓶颈主导了解码轨迹。通过自对比压缩这些 token 的不确定性，FoCore 稳定了生成路径。
• 实际影响：所提出的框架提供了一种无需训练的解决方案，同时提升了推理质量和推理速度。它表明，DLM 的效率提升不仅可以通过架构变更实现，还可以通过更智能的解码策略来实现，这些策略尊重文本中信息密度的异质性本质。
• 未来方向：作者建议将这种“聚焦核心”的意识纳入参数级训练（例如通过基于 RL 的后期训练）是一个有前景的未来方向，尽管他们目前的工作严格专注于推理时的解码。