🤖 AI

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

本文介绍了掩码扩散语言模型（MDLMs），将其作为一种优越且可控的基于文本的世界模型，用于智能体强化学习，通过克服自回归偏差，使其在实现比大型语言模型显著更高的展开多样性和零样本迁移性能方面表现出色，并得到了大规模数据集和一种新型 GRPO 训练框架的支持。

原作者： Darshan Deshpande

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Darshan Deshpande

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人玩一款复杂的视频游戏，比如在一个巨大的、不断变化的城市中导航，或者管理一家繁忙的咖啡店。为了学习，机器人需要练习数百万次。在现实世界中，你必须为每一次练习都建造一个实体咖啡店，这显然是不可能的。因此，科学家们使用“模拟器”——即数字世界，让机器人在其中尝试、失败并学习，而不会损坏任何东西。这就是**强化学习（Reinforcement Learning, RL）**的核心：人工智能通过在沙盒中进行试错来学习。

但问题在于：构建这些沙盒非常困难。通常，人类必须手工编写每一个规则和场景，这既缓慢又限制了机器人能看到的各种不同情况的数量。如果机器人在某个特定场景中变得过于出色，它就会开始通过记忆确切的步骤来“作弊”，而不是真正学习如何思考。这就像一个学生背下了练习题的所有答案，但在真正的考试中却不及格，因为题目稍有变化。为了解决这个问题，研究人员正试图构建“世界模型（World Models）”——即能够自主想象并模拟这些数字世界的 AI 系统，从而创造出无穷无尽且多样化的练习场景。现在的关键问题是：这些 AI 模拟器是否足够聪明，能够在不产生混乱的情况下，预测复杂且规则严密的逻辑环境中的下一步发展？

本文介绍了一种新型的 AI 模拟器，称为掩码扩散语言模型（Masked Diffusion Language Model, MDLM），并指出它是一个比我们通常使用的标准 AI 模型更优秀的“游戏主持人（Game Master）”。

问题所在：单行道 vs. 双行道

要理解为什么这很重要，请想象一个标准的 AI（称为**自回归（Autoregressive, AR）模型）是如何思考的。它就像一个人从左到右逐字逐句地写故事。一旦写下一个词，他们就无法回头修改。如果他们写下“银行拒绝了这张卡”，他们就被锁定了。如果他们后来意识到应该写“银行批准了这张卡”，那就太晚了；故事已经破裂了。在复杂的模拟中，这会导致一个被称为全局不连贯（Global Incoherence）**的问题。AI 可能写出了一个完美的开头，但到了结尾时，细节却与世界的规则不符。这就像一个侦探破解了犯罪案，却忘了嫌疑人的名字，或者一位厨师做好了饭菜，却忘了关掉炉灶。

作者认为，标准的“从左到右”的思维方式是瓶颈。他们提出了另一种方法：掩码扩散（Masked Diffusion）。想象一下，不再是从头到尾写故事，而是你有一页文字，其中一些词被黑色的方块遮住了（掩码）。你的任务是猜出这些隐藏的词是什么，但诀窍在于：你可以通过观察方框之前的词和方框之后的词来做出判断。你可以同时填充中间、结尾或开头，利用整个画面来引导你的思考。这使得 AI 可以检查开头是否与结尾匹配，确保整个故事逻辑自洽。

实验：构建更好的沙盒

研究人员不仅停留在理论层面，还亲手构建了它。他们创建了一个庞大的数据集，包含 239,403 个不同的“练习过程”（轨迹），涵盖了从编程工具到客户服务场景的九种不同环境。他们在这些数据上训练了新的掩码扩散模型，然后将其与现有的最优秀的“从左到右”的标准模型进行了对比测试。

结果发现，新模型表现得异常强大。尽管掩码扩散模型要小得多（有些仅有 80 亿参数，而它们击败的标准模型超过了 300 亿参数），但它们生成的模拟过程更加一致且真实。

可以这样理解：标准的巨型模型就像一个打字极快的打字员，一次只打一个字母。如果他们很早的时候打错了一个字母，整个句子就毁了。而新的掩码扩散模型则像一位雕塑家，同时观察整块粘土，在不同位置同时进行雕琢，以确保最终的雕像从各个角度看都是完美的。

结果：更聪明的练习，更优秀的玩家

真正的测试在于，他们使用这些模拟器来训练实际的 AI 智能体（即尝试完成任务的“机器人”）。他们让这些智能体在掩码扩散模型创建的世界中进行练习，然后在完全陌生的新环境中（如 ScienceWorld、ALFWorld 和 AppWorld）对其进行测试。

结果令人震惊。使用新掩码扩散模拟器训练的智能体，其成功率比使用旧的标准模型训练的智能体提高了多达 47%。这发生时，研究人员并没有教给智能体关于那些新环境的任何特定知识；智能体之所以进步，是因为练习世界更加多样化且逻辑严密，从而帮助它们学会了如何适应。

例如，一个拥有 12 亿参数的小型 AI 智能体，在处理复杂任务时通常表现挣扎（成功率仅为 5.7%），但在使用新模拟器进行训练后，成功率跃升至 53.6%。这是一个巨大的飞跃，表明模拟器提供了一个更丰富、更多样化的挑战集，帮助智能体学习如何适应。

为什么这很重要

论文指出，构建 AI 模拟器的方式需要改变。旧的“从左到右”的方法正面临瓶颈，导致 AI 陷入重复循环或出现破坏模拟的逻辑错误。通过转向一种能够同时观察全局的方法（双向去噪），我们可以创建不仅更聪明而且更高效的模拟器。

作者还进行了“人工检查”，邀请专家对模拟效果进行评分。掩码扩散模型在真实性（4.75 分，满分 5 分）和正确性（4.25 分）方面得分很高，这意味着人类认为这些模拟世界是可信且有用的。

然而，论文也谨慎地指出，这还不是一个完美、成熟的产品。新模型有时仍会在特定细节上遇到困难，比如生成正确的 API 密钥，或者在处理非常长的物品列表时感到困惑。但核心结论是明确的：通过改变 AI 思考未来的方式——从单行道变为双行道——我们可以构建出更好的训练场，为下一代 AI 智能体做好准备。这可能意味着更快速、更聪明的机器人，能够处理现实世界中的复杂工作，从修复软件漏洞到管理客户服务，仅仅是因为它们在一个更有逻辑的世界中进行了练习。

技术摘要：作为可控文本世界模型的掩码扩散语言模型

问题陈述

用于智能体系统的强化学习（RL）需要多样化且具有适应性的训练环境。然而，目前的训练环境通常是人工构建的，具有固定的任务和奖励难度，这会导致随着模型能力的提升，训练信号变得无效。当智能体在展开过程中遇到的多样化情况减少时，会出现模式崩溃（mode collapse），即过度拟合特定的工作流或工具结构。虽然世界模型（预测未来状态的生成模型）为实现多样化的训练数据提供了一种可扩展的解决方案，但目前用于世界模型的自回归（AR）语言模型存在根本性的从左至右偏置（left-to-right bias）。这种因果约束限制了它们同时对全局相互依赖的状态锚点（例如，工具架构、先前的轮次、预期的结果）进行条件化，往往导致输出虽然在局部前缀上一致，但在全局上却不连贯（例如，一个成功的退款操作却配以错误状态）。

方法论

1. 文本化世界建模的形式化

作者将世界建模形式化为一个可控的转移动力学问题。他们将环境状态 $s_t$ 分解为五个具身组件：

$e_0$ ：初始环境状态（文件、数据库、UI）。
$c_t$ ：任务上下文（目标、历史）。
$\mathcal{T}$ ：工具架构（签名与约束）。
$\mathcal{R}$ ：领域规则（有效的转移）。
$D$ ：引导指令（安全约束、高层指令）。

其目标是学习分布 $p_\theta(c_{t+1} | e_0, c_{\le t}, a_{\le t}; \mathcal{T}, \mathcal{R}, D)$ ，其中 $\mathcal{T}, \mathcal{R},$ 和 $D$ 在整个轨迹中保持固定。

2. 掩码扩散语言模型 (MDLM)

本文并未采用自回归生成，而是使用了掩码扩散语言模型 (MDLMs)。

机制：MDLMs 通过迭代地对损坏的标记序列进行去噪来学习。在训练期间，干净的下一状态序列以概率 $\tau$ 被掩码，模型在给定历史记录和未掩码上下文（包括未来的锚点）的条件下预测被掩码的标记。
相对于 AR 的优势：不同于必须遵循从左至右顺序的 AR 模型，MDLMs 执行双向去噪。它们可以根据状态内前序和后续的上下文（例如，利用已知的 status: "error" 锚点来辅助生成 error_code 和 resolution）对预测状态进行条件化。这实现了并行标记生成，并避免了由前缀引起的误差累积。
多样性：去噪过程在标记选择和生成顺序上都引入了随机性，防止了 AR 解码器中常见的“前缀模式崩溃”。

3. 数据集与训练框架

数据集：一个包含 239,403 条具身状态-动作轨迹 的精选数据集，涵盖了九个开源环境（如 SWE-SMITH, TAUBENCH, TOOLATHLON）和十二个前沿模型家族（包括 Qwen, GPT, Claude, 和 Gemini）。
训练：模型使用带有余弦调度策略的 AdamW 进行微调。作者引入了一个带有确定性状态检查的即插即用 GRPO（组相对策略优化）训练框架，用于在 MDLM 生成的展开（rollouts）上训练 RL 智能体。

核心贡献

形式化与数据集：首次将文本化世界建模系统地形式化为具有五个特定组件的可控转移问题，并附带了一个包含 23.9 万条轨迹的大规模数据集。
对比研究：对 AR LM 和 MDLM 进行了全面比较，证明了 MDLMs 通过双向锚点感知去噪实现了更高的连贯性和具身性。
性能提升：实验表明，MDLMs（特别是像 SDAR-8B 这样的 8B 参数模型）在世界建模保真度方面优于参数量多出 4 倍 的自回归模型（如 Qwen-3.5-35B）。
零样本迁移：成功将 MDLM 生成的展开应用于在分布外 (OOD) 环境（ScienceWorld, ALFWorld, AppWorld）上训练 RL 智能体，而无需针对特定环境进行微调。
人工评估：通过严格的人类评估（针对真实性、正确性和实用性）确认了 MDLM 展开的可信度。

结果

生成保真度 (RQ1)

指标：使用 BLEU-1, ROUGE-L 和 MAUVE（分布对齐）进行评估。
发现：在零样本设置下，MDLMs 在分布对齐（MAUVE）方面优于 AR 对手。经过微调后，MDLMs 在所有拆分项中均占据主导地位。
- SDAR-8B (8B 参数) 在领域内 MAUVE 指标上超过了 Qwen-3.5-35B-A3B (35B 参数)（0.982 vs. 0.932），在 OCCUBENCH MAUVE 上亦然（0.979 vs. 0.960）。
- 这表明，因果归纳偏置而非模型容量，是 LLM 进行世界建模时的主要瓶颈。

下游 RL 性能 (RQ2)

设置：智能体（LFM2.5-1.2B, Qwen3-4B, Mistral-7B）使用基于 Qwen（AR）或基于 SDAR（MDLM）的世界模型生成的展开进行 GRPO 训练。
发现：使用 SDAR-WM 展开进行训练，相比基准线和 Qwen-WM 展开，取得了显著的绝对增益：
- ALFWorld：LFM2.5-1.2B 使用 SDAR-WM 从 5.7% (base) 提升至 53.6%（绝对提升 +47.9%）。
- ScienceWorld：Mistral-7B 从 3.3% 提升至 48.4%（绝对提升 +45.1%）。
- 这些提升是在针对测试环境的零样本设置下实现的。

人类评估 (RQ3)

指标：真实性、结果正确性和训练效用（1–5 Likert 量表）。
结果：SDAR 获得了高分：4.75（真实性）、4.25（正确性）和 4.50（效用）。
一致性：所有维度的 Krippendorff's $\alpha$ 均超过 0.89，表明具有很强的人类标注者间一致性。
失效模式：标注者注意到数值键类型强制转换、API 密钥损坏以及在初始失败后容易陷入重复错误的问题。

重要性与主张

本文主张，掩码扩散语言模型代表了比自回归模型更优越的文本化世界建模架构。通过利用双向条件化，MDLMs 可以保持与工具架构和领域规则的全局一致性，从而生成多样化且具身的环境模拟。

作者断言，这种方法能够为智能体 RL 提供可扩展、多样化且可控的训练信号。至关重要的是，他们证明了高保真度的世界建模并不需要庞大的参数量；相反，架构的选择（扩散 vs. 自回归）才是关键因素。这项工作为“在想象世界中进行 RL”提供了路径，允许智能体在模拟的、多样化的环境中进行训练，而无需依赖手工构建的静态训练场。

承认局限性：论文指出，尽管 MDLMs 展示了潜力，但在处理结构化字段（如 API 密钥）时仍存在困难，并在复杂的导航任务中表现出“分页漂移（pagination drift）”。这些问题归因于基础模型的安全对齐以及扩散过程中的块大小限制，这为未来的优化指明了方向。