Discrete Diffusion Inference-Time Control with Nested Sequential Monte Carlo

在人工智能领域，机器生成图像的方式与生成文字的方式之间存在着日益增长的分歧。多年来，最先进的文本生成系统一直像人写句子一样，严格地从左到右逐词进行。这种方法虽然强大，但可能显得僵化，往往在看到全貌之前就将系统锁定在单一路径上。最近，一种不同的方法出现在文本领域，它借鉴了长期用于创建图像的技术。这些新模型不再逐词写作，而是从一堆混乱、无意义的符号开始，逐步进行清理，直到出现连贯的句子。这个过程允许模型同时观察整个句子，从各个角度进行精炼，以确保最终结果的一致性和逻辑性。

然而，仅仅因为机器能写出有意义的句子，并不意味着它会写出人类想要的句子。如果被要求写一个故事，标准模型可能会意外地包含有害语言，或者产生感觉尴尬且不自然的文本。为了解决这个问题，研究人员通常尝试用新规则重新训练模型，但这既昂贵又会将系统的行为模式锁定在单一方式上。一种更灵活的解决方案是在模型工作时对其进行引导，在不改变其核心大脑的情况下将其引向预期的结果。挑战在于，可能的句子空间是巨大且复杂的。简单的引导方法往往会失败，因为它们浪费时间探索那些没有结果的路径，或者陷入重复相同想法的困境。一项在 ICLR 2026 会议研讨会上展示的新研究探索了一种更高级的导航方式，展示了如何比以往更有效地引导这些文本生成模型。

研究人员专注于一个特定的问题：如何通过清理噪声来生成文本的模型，并在不重新训练模型本身的情况下，引导它产生无毒语言或极具流畅性的结果。他们将几种现有方法与他们基于一种称为嵌套顺序蒙特卡洛（nested sequential Monte Carlo）的统计技术开发出的新方法进行了比较。为了理解其中的区别，请想象试图在茂密的森林中寻找最佳路线。一种基础方法可能会派出几名探险者，让他们走一小段距离，然后挑选出看起来正朝着正确方向前进的那个人，只让那一个人继续前进，而丢弃其余的人。这很简单，但如果最初的几步具有误导性，整个群体都会走错路。另一种方法会派出许多探险者，但他们都走相同的路径，并且在最后，群体被迫从一小组完成的旅程中选择单一的最佳结果。这往往无法找到稀有的、高质量的路径，因为探险者从未有机会有效地进行分支。

论文中提出的新方法运作方式不同。它不是发送探险者走单一路线并寄希望于好运，而是使用了一个两层系统。对于每一个在森林中移动的主探险者，系统都会派出由小型子探险者组成的团队来侦察周围环境。这些子探险者测试不同的短期方向，并根据目标汇报哪些方向看起来最有希望。主探险者随后利用这种集体智慧来选择下一步，而不是盲目猜测。这使得系统能够看得更远，并在生成过程的每个阶段做出更好的决策。研究人员还开发了一个完全适配的版本，该版本不仅使用侦察兵来选择下一步，还会评估哪些主探险者值得保留，甚至在他们向前移动之前。这确保了群体保持多样性，不会塌陷到单一、重复的路径中。

当团队在训练用于生成文本的模型上测试这些方法时，他们衡量了系统引导输出以实现两个特定目标的能力：减少有毒语言和提高写作的流畅度。他们发现，新的嵌套方法始终优于旧的、更简单的方法。在旨在鼓励生成有毒内容的测试中（用于测试对齐情况），基础模型很少产生有毒的延续，这反映了在正常条件下此类内容的稀有性。新方法在引导模型走向这种稀有的、高回报的目标方面比标准方法更为成功，而标准方法往往难以超越其天生的安全和洁净倾向。同样，在被要求生成流畅文本时，嵌套方法生成的文本显著更加平滑且连贯。研究表明，成功的关键不仅在于派出更多的探险者，还在于派出正确的侦察兵，以便在投入路径之前评估其未来的潜力。

研究人员还调查了群体规模和侦察兵数量如何影响结果。他们发现，拥有更多的主探险者是成功的关键因素，因为这降低了完全错过一条好路径的可能性。增加每个探险者的侦察兵数量虽然能带来额外收益，但仅限于一定程度；超过一定数量后，增加侦察兵带来的收益递减。有趣的是，新方法在任务变得困难时表现得更加稳健。当研究人员要求模型生成较长的文本时，旧方法难以维持其质量，经常偏离目标。嵌套方法，特别是完全适配的版本，表现得更加稳健，显示出借助内部侦察兵进行长远观察有助于系统即使在长距离生成中也能保持航向。

该研究最重要的发现之一是对近期由其他研究人员提出的算法进行的修正。那个早期的算法也被标记为嵌套方法，但被发现其在计算不同路径的价值时存在细微缺陷。由于这个错误，它无法针对正确的结果分布，导致产生不真正反映预期目标的偏差结果。这项新研究识别了这一数学错误并予以修复，确保了他们的算法版本是经过正确加权且无偏的。这种修正至关重要，因为这意味着他们在实验中看到的改进是真实的，而非源于错误的计算。研究人员确认，他们的修正后的方法产生的效果与理论目标完美契合，而未修正的版本则不然。

该研究是使用一种在大型网络文本数据集上训练的特定类型文本模型进行的，实验使用了标准的提示集以确保公平比较。团队使用已建立的毒性指标和一种称为“困惑度”（perplexity）的流畅度度量（该指标表示语言模型对所生成文本的惊讶程度）来衡量成功。较低的困惑度意味着文本流动更自然。结果显示出全面的改进，嵌套方法在需要高毒性率时实现了更高的毒性率，在目标为流畅度时实现了更低的困惑度。研究人员指出，虽然他们的方法比最简单的方法需要更多的计算能力，但它比其他复杂技术更高效，在生成成本与结果质量之间提供了更好的平衡。

尽管取得了这些成功，作者也谨慎地指出了他们工作的局限性。他们仅在两种特定类型的目标（避免毒性和提高流畅度）以及单一的模型架构上测试了这些方法。他们并不声称这种解决方案适用于所有可能的任务或任何类型的语言模型。他们用于引导模型的中间步骤依赖于近似值，这可能会在过程中引入一些噪声。此外，该研究仅限于文本生成，目前尚不清楚这些技术如何转化为其他领域，如图像生成或复杂的推理任务。研究人员建议，未来的工作应该在更多样化的基准测试上测试这些方法，包括衡量公平性、真实性和遵循复杂指令能力的测试。

最终，这篇论文为可控文本生成领域提供了实用的进展。它证明了通过使用更智能的双层采样方法，我们可以引导人工智能模型产生更好、更符合对齐要求的文本，而无需承担沉重的重新训练成本。研究结果表明，我们如何导航这个庞大的句子空间，与模型本身同样重要。通过优化我们探索该空间的工具，我们可以解锁机器与我们交流时更高水平的控制力和质量。这项工作提醒我们，在复杂的人工智能世界中，有时最有效的解决方案不是建造一个更大的引擎，而是找到一种更好的方式来驾驶我们现有的引擎。