🤖 AI

Can I Have Your Order? Monte-Carlo Tree Search for Slot Filling Ordering in Diffusion Language Models

本文介绍了 McDiffuSE，这是一个利用蒙特卡洛树搜索来优化掩码扩散模型中槽位填充顺序的框架，通过有效探索非序列完成策略，显著提升了数学和代码推理任务上的生成质量。

原作者： Joshua Ong Jun Leang, Yu Zhao, Mihaela Cătălina Stoian, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Joshua Ong Jun Leang, Yu Zhao, Mihaela Cătălina Stoian, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试烘焙一款复杂的蛋糕，但你并非按照食谱一步步操作（先混合，再烘烤，最后抹面），而是拥有一个神奇的烤箱，允许你以任意顺序填充蛋糕。你可以先抹顶层的糖霜，再烘烤中间部分，最后撒上糖珠。这就是**掩码扩散模型（Masked Diffusion Models, MDMs）**的工作原理：它们是强大的 AI 工具，能够通过以任意顺序填充缺失信息的“槽位”来生成文本（如代码或数学解题过程）。

然而，这里有个陷阱。如果你在面糊甚至还没放入烤盘之前就抹上了糖霜，整个蛋糕就会坍塌。同样地，如果 AI 先填充了错误的“槽位”，即使 AI 对这一特定部分非常有信心，其余文本也可能变得毫无意义。

这篇论文提出了一种名为MCDIFFUSE的新方法来解决这个顺序问题。以下是其工作原理，使用简单的类比进行说明：

1. 问题所在：“自信却错误”的厨师

当前的 AI 模型往往表现得像一位对第一步操作非常自信的厨师。如果模型认为“我有 90% 的把握这句话应该以函数定义开头”，它就会立即这样做。但有时，以定义开头会导致后续混乱，因为模型没有意识到它需要先编写注释或特定的语法标记，代码才能正常运行。

论文将这种现象称为“规划与填充”问题：AI 需要决定接下来要写文本的哪一部分。如果它选择了错误的顺序，最终结果就会很差。

2. 解决方案：“如果……会怎样”模拟器（MCTS）

作者引入了MCDIFFUSE，它使用了一种称为**蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）**的技术。

将 MCTS 想象成一位超级规划师或模拟器。在 AI 决定写入文本的特定部分之前，这位规划师会在脑海中运行数千个“如果……会怎样”的场景：

场景 A： 如果我先把函数定义写出来会怎样？（模拟剩余代码……哦不，后面会崩溃）。
场景 B： 如果我先把语法标记写出来会怎样？（模拟剩余部分……啊，代码运行完美）。

这位规划师不仅仅关注即时信心（AI 对下一个词有多确定），而是着眼于长期结果。它会问：“如果我走这条路，整个蛋糕最终会好吗？”

3. 决策机制：“探索”与“模拟”的平衡

论文揭示了一个关于如何调整这位规划师的有趣发现。通常人们认为需要运行更多的模拟才能获得更好的答案。但 MCDIFFUSE 发现，这并不是最重要的。

旧方法： 为了保险起见，对同一条路径运行 100 次模拟。
MCDIFFUSE 方法： 运行较少的模拟，但愿意尝试 AI 通常忽略的奇怪、不太可能的路径。

类比： 想象你正在寻找隐藏的宝藏。

高模拟、低探索： 因为地图上说“宝藏在这里”，你在同一个地方挖了 100 次。你什么也没找到，但你非常确定自己已经足够努力了。
高探索（MCDIFFUSE）： 你在显眼处挖了几次，但也决定去旁边那个奇怪、杂草丛生的灌木丛里挖，因为地图可能是错的。结果发现宝藏就在灌木丛里！

论文发现，给予规划师一个“较大的探索常数”（即告诉它要勇敢尝试不太可能的顺序），比仅仅运行更多模拟要有效得多。这有助于 AI 摆脱自身过度自信的陷阱。

4. 结果：更优质的代码和数学

当他们在编写 Python 代码和解决数学问题等任务上测试该方法时：

行之有效： MCDIFFUSE 的表现显著优于以往的方法。在某些代码测试中，其准确率提高了近 20%。
高效： 尽管它进行了额外的规划，但它实际上生成的答案比标准 AI 模型更短、更简洁。标准模型往往会啰嗦或陷入冗长的循环；而 MCDIFFUSE 能找到直接的路径。
“秘密配方”： AI 主要遵循正常的从左到右顺序（像人类阅读一样），但在必要时会有策略地打破这一规则。这就像一位通常按时间顺序写作的作家，却确切知道何时该回头并在更早的位置插入关键细节，以使故事合乎逻辑。

总结

MCDIFFUSE是 AI 文本生成的智能“交通指挥官”。它不再让 AI 仅凭当下的感觉盲目填充文本，而是利用模拟引擎测试不同的操作顺序。通过敢于尝试 AI 通常忽略的“奇怪”顺序，它避免了错误，并生成了更清晰、更准确的代码和数学解题过程。

技术摘要：MCDIFFUSE——扩散语言模型中用于槽位填充排序的蒙特卡洛树搜索

1. 问题陈述

掩码扩散模型（MDMs）通过支持非顺序、迭代式的去噪，为推理任务提供了一种有前景的自回归模型（ARMs）替代方案。然而，由于输出质量对槽位填充顺序的高度敏感性，MDMs 的表现往往不如 ARMs。虽然“规划与填充”框架（例如 ReFusion）解决了槽位内部的局部依赖关系，但它依赖启发式规划器（通常是基于置信度的）来确定槽位生成的全局顺序。这些启发式方法经常无法考虑长程依赖关系，导致错误传播和全局输出不连贯。核心挑战在于槽位排列的巨大组合空间，使得在不进行穷举搜索的情况下难以识别出能最大化全局连贯性的排序。

2. 方法论：MCDIFFUSE

作者提出了MCDIFFUSE，这是一个无需训练的框架，将槽位选择建模为通过**蒙特卡洛树搜索（MCTS）**解决的序贯决策问题。该方法不需要额外的模型训练，而是优化推理时的生成顺序。

2.1 建模为马尔可夫决策过程（MDP）

槽位规划过程被建模为确定性的马尔可夫决策过程（MDP） $\langle S, A, T, R \rangle$ ：

状态（ $S$ ）： 编码已生成的槽位集合以及当前部分填充的文本序列。未填充的槽位被掩码。
动作（ $A$ ）： 选择下一个要填充的掩码槽位的索引。
转移（ $T$ ）： 确定性。选择动作后，使用模型的 argmax 解码填充相应的槽位。
奖励（ $R$ ）： 定义为槽位级置信度，计算为模型分配给该特定槽位中生成 token 的平均概率。

2.2 MCTS 的适配

MCDIFFUSE 针对扩散生成的独特约束，对 MCTS 进行了适配，引入了特定机制：

先验引导的扩展： 将模型的内在置信度分数归一化，形成 PUCT（预测器 - 上置信树）选择准则的先验概率 $P(a|s)$ 。这引导搜索朝向语义上合理的动作，同时允许探索。
混合价值估计： 为了避免贪婪局部置信度的短视，状态 - 动作对 $V(s, a)$ $V (s, a)$ 的价值是以下两者的加权组合：
1. 即时奖励： 当前槽位的置信度。
2. ** rollout 回报：** 通过随机模拟（rollout）估算长期轨迹连贯性，即填充剩余槽位直至完成。
- 公式： $V(s, a) = \lambda \cdot R(s, a) + (1 - \lambda) \cdot E_{\pi_{roll}}[G]$ ，其中 $\lambda$ 平衡即时置信度与长期规划。
选择策略： 算法在搜索过程中使用 PUCT 来平衡探索与利用。根节点处的最终动作选择依赖于鲁棒子节点准则（最高访问计数），以确保稳定性。

3. 主要贡献

MCDIFFUSE 框架： 一种无需训练的方法，专门针对 MDMs 中的槽位排序搜索定制 MCTS，有效缩小了与自回归模型的性能差距。
策略性非顺序生成： 实证分析表明，虽然 MCDIFFUSE 主要遵循顺序（从左到右）排序，但向非顺序生成的策略性偏离对于在复杂推理任务中最大化性能至关重要。
探索与模拟深度： 论文证明，增加模拟次数（ $N_{sim}$ ）并不能始终提高性能。相反，需要较大的探索常数（ $c_{uct}$ ）来克服模型有偏的置信度先验，从而发现有效的、非贪婪的槽位排序。

4. 实验结果

MCDIFFUSE 在六个推理基准（GSM8K、MATH500、ARC、GPQA-Diamond、MBPP、HumanEval）上进行了评估，对比对象包括自回归基线（Qwen2.5、Qwen3）和扩散基线（LLaDA、Dream、ReFusion）。

性能提升： MCDIFFUSE 相比自回归基线平均提升了3.2%，相比基线“规划与填充”方法（ReFusion）提升了8.0%。
具体基准： 显著的提升包括在 MBPP（代码生成）上提升了19.5%，在 MATH500 上提升了4.9%。
效率： MCDIFFUSE 生成了显著更紧凑的推理序列。例如，在 MATH500 上，它生成的序列平均长度为 152.2 个 token，而 Qwen2.5 为 436.0 个 token，同时实现了更高的准确率。
代码生成与推理： 该方法在代码生成任务（结构化依赖）上相比多项选择题推理显示出显著增益，表明 MCTS 在槽位排序严重影响语义有效性的场景中尤为有效。

5. 意义与主张

该论文确立了策略性槽位规划是掩码扩散模型性能的关键因素。作者主张：

MCTS 的有效性： 基于 MCTS 的规划是一种可行且有效的方法，可在无需模型重训练的情况下提升 MDMs 的生成质量。
非顺序性至关重要： 与扩散模型应严格遵循顺序轨迹的假设相反，偏离从左到右排序的能力对于解决复杂约束和最大化准确性至关重要。
探索广度优于深度： 槽位规划的主要挑战不在于搜索深度（模拟次数），而在于探索广度。克服模型的局部置信度偏差需要高探索常数，以确保搜索能够访问先验较低但全局连贯的路径。

该工作将 MCDIFFUSE 定位为弥合扩散模型与自回归模型之间差距的一步，特别是在需要结构化、多步推理且全局连贯性至关重要的领域。