💻 computer science

Agents of Diffusion: Enhancing Diffusion Language Models with Multi-Agent Reinforcement Learning for Structured Data Generation (Extended Version)

该论文介绍了 Agents of Diffusion (AoD)，这是一个利用多智能体强化学习来引导扩散语言模型生成高质量、符合模式一致性的结构化数据的创新框架，通过在不修改模型参数的情况下，将语义丰富性与严格的结构遵循相结合。

原作者： Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一位极具创意但略显混乱的艺术家（一个扩散语言模型）如何画出一种特定类型的图画：一张完美组织的电子表格或一个 JSON 文件。

这位艺术家非常擅长构思天马行空、独一无二的想法，并以无人能及的方式混合色彩。然而，他很难遵循严格的规则。如果你要求他画一个“带有红门和蓝屋顶的房子”，他可能会画出一个红屋顶蓝门的房子，或者干脆忘了画门。对于严格的格式来说，他太过于追求自由意志了。

另一方面，你有一位非常严谨、循规蹈矩的建筑师（一个标准的自回归大语言模型）。这位建筑师永远不会忘记规则，也总是把门画在它该在的地方。但是，他们很枯燥。他们倾向于一遍又一遍地画出完全相同的房子，很难产生新的、具有创意性的变化。

“扩散代理”（Agents of Diffusion, AoD）是一个全新的组合，它解决了这个问题。它并不试图强迫艺术家变成建筑师，也不试图让建筑师变成艺术家。相反，它创建了一个通过特殊的“教练”系统协同工作的三人团队。

以下是这个团队是如何运作的，我们使用简单的类比：

1. 创意艺术家（扩散模型）

这是实际生成数据的引擎。它就像那位能能在几秒钟内设计出成千上万种独特房屋设计的艺术家。它非常擅长多样性和创造性，但它需要帮助来遵循蓝图。

2. 严谨的建筑师（评判代理）

这是一个聪明的计算机程序，专门观察艺术家的作品。它不仅仅是说“好”或“坏”。相反，它的角色更像是一个用自然语言进行评论的评论家。

示例： 它不会给出一个数学分数，而是会说：“嘿，你漏掉了地址字段，而且电话号码看起来很假。另外，你给每座房子都用了同一个名字。试着让它们更具多样性。”

3. 教练（提示词优化代理）

这是中间人。它倾听建筑师的批评，并与艺术家交流。

魔力所在： 教练不仅仅是告诉艺术家“再努力一点”。它会根据反馈来重写指令（即“提示词”）。
示例： 教练将指令从“画一座房子”改为“画一个具有唯一名称、真实地址和特定格式电话号码的 JSON 格式房子”。

他们如何共同学习（强化循环）

论文描述了一个不断重复的循环：

艺术家根据当前的指令画出一座房子。
建筑师观察它并写下一条笔记：“屋顶颜色错了，而且你漏掉了烟囱。”
教练阅读笔记并为下一轮更新指令。
艺术家根据新指令再次尝试。

这个过程会发生很多次。艺术家变得越来越擅长遵循规则，同时又不丢失其创造力；而教练也变得越来越擅长给出正确的指令。至关重要的一点是，艺术家的“大脑”从未改变（其内部代码保持冻结状态）。改变的仅仅是指令。这意味着该系统非常高效，不需要通过大规模超级计算机来重新训练艺术家。

为什么这很重要

论文在四个不同的挑战（如创建旅游预订数据或回答棘手问题）上测试了这个团队。以下是他们的发现：

“甜点位”（最佳平衡点）： 之前的方法要么太有创意（规则混乱），要么太严谨（重复枯燥）。这个团队两者兼得：数据在结构上是完美的（就像真实的 JSON 文件），同时又具有高度的多样性（没有两个条目是相同的）。
拒绝作弊： 团队确保了艺术家不仅仅是在抄袭教科书中的答案（记忆化）。他们使用了一个“字段重叠”（Field Overlap）测试，这就像是检查艺术家是否只是在抄袭作业答案。该团队的艺术家创造了既符合规则又独特的答案。
易于实现： 你不需要拥有价值数十亿美元的数据中心来运行它。该团队在标准的、高端的消费级计算机（如一台强大的游戏电脑）上运行，效果与使用昂贵的云服务器一样出色。

核心结论

论文声称，通过使用自然语言反馈（与 AI 对话）和多智能体团队（教练、评论家和艺术家），你可以获得两全其美之选：扩散模型的狂野创造力和遵循规则模型的严谨纪律。

他们称之为 “扩散代理”（Agents of Diffusion）。这就像聘请了一位创意总监、一位严厉的编辑和一位才华横溢的作家共同工作，确保最终的故事既在语法上完美无瑕，又充满了新鲜且令人兴奋的思想。

技术摘要：扩散代理 (Agents of Diffusion, AoD)

问题陈述

生成高质量的结构化数据（如 JSON 记录）对大语言模型（LLMs）而言存在一个根本性的权衡。自回归 LLM 具有强大的结构一致性和标记顺序归纳偏置，使其在遵循模式（schema）方面非常有效。然而，这些相同的偏置往往会限制输出的多样性，导致序列重复、幻觉以及语义变化匮乏。相反，扩散语言模型（DLMs）提供了强大的语义丰富性和双向解码机制，能够实现更广泛的变化。然而，DLMs 缺乏可靠维持结构的定位先验，这使得它们在处理嵌套 JSON 合成等格式敏感型任务时容易失败。此外，现有的控制 DLM 的方法通常依赖于微调、手工设计的约束或标量奖励塑造，这些方法可能具有脆弱性、不可解释性或计算成本高昂等问题。

方法论：扩散代理 (AoD)

为了解决这些局限性，作者提出了 Agents of Diffusion (AoD)，这是一个多智能体强化学习（RL）框架，它将 DLM 的生成灵活性与自回归智能体的推理能力统一起来。其核心创新是一个无参数优化的循环，该循环仅通过协作智能体的自然语言反馈来引导冻结的 DLM，而无需修改 DLM 的权重。

框架架构

该系统作为一个涉及三个主要组件的多智能体对齐过程运行：

扩散语言模型 (DLM) 智能体： 作为生成骨干（具体使用冻结的 LLaDA-8B 模型）。它通过以非因果、双向的方式迭代去噪序列来生成结构化文本候选。这允许在给定提示词的情况下生成多样化的语义轨迹。
提示词优化智能体： 一个自回归 LLM，充当随机策略 ( $\pi_\theta$ )。它不生成最终数据，而是学习根据反馈来优化条件提示词 ( $P_t$ )。它将提示词设计视为一个序列决策问题，输出离散的编辑 ( $\Delta P$ ) 以引导 DLM 生成符合模式的输出。
评判集群 (Judge Cluster)： 一个复合评估子系统，由以下部分组成：
- 自然语言评估器 (NLE)： 在生成的 JSON 上计算五个定量指标：语义相似度、多样性、熵、新颖性和困惑度。这些指标被转换为结构化的自然语言陈述。
- LLM 评判器： 一个自回归模型，消耗 NLE 的指标和特定任务的准则，通过一系列是/否问题和文本反馈产生最终的评论 ( $y$ )。该反馈被转化为标量奖励 ( $r$ ) 和子奖励向量。

优化循环

该过程被形式化为一个回合制马尔可夫决策过程 (MDP)：

初始化： 初始化一个提示词 $P_t$ 。
生成： DLM 生成一个候选样本 $x_t \sim g_\phi(P_t)$ 。
评估： 评判集群评估 $x_t$ ，产生反馈 $y_t$ 和奖励信号 $r_t$ 。
策略更新： 提示词优化器基于历史记录 $h_t$ 采样一个编辑 $\Delta P_t \sim \pi_\theta(\Delta P | h_t)$ 并更新提示词： $P_{t+1} = U(P_t, \Delta P_t)$ 。
目标： 优化策略参数 $\theta$ ，以最大化期望折扣回报，从而有效地学习如何精炼能产生高奖励（结构有效性 + 语义多样性）的提示词，而无需通过 DLM 进行反向传播。

作者证明，在特定条件下（局部 Lipschitz 连续的奖励函数和有界编辑），这种迭代更新构成了一个收缩映射，确保了向模式对齐提示词的稳定收敛。

核心贡献

首个针对 DLM 的多智能体 RL 框架： AoD 是第一个在多智能体 RL 设置中利用自然语言反馈来引导扩散语言模型的框架，消除了对微调生成器的需求。
言语对齐优化 (Verbal Alignment Optimization)： 作者提出了一个创新的优化循环，其中 LLM 智能体通过言语评论迭代地精炼提示词。这实现了模式对齐的控制，而无需显式的奖励建模或标量奖励塑造，而是依赖于可解释的自然语言反馈。
可复现的最优性能结果： 该框架在多个结构化数据集上展示了在 JSON 驱动的指令合成方面的卓越性能，为在消费级硬件上进行受控生成奠定了基础。

实验结果

作者在四个结构化生成基准测试上评估了 AoD：MultiWOZ、Super-NaturalInstructions、Self-Instruct 和 TruthfulQA。这些数据集因其嵌套字段、多样的模式格式和多样化的语言风格而被选中。

性能指标

AoD 与六个基线模型进行了对比，包括静态自回归模型（LLaMA、Qwen、GPT-4 变体）、扩散模型（Diffusion-LM、DiffLM）以及提示词优化方法（PromptBreeder、EvoPrompt）。

任务成功率 (TSR)： AoD 取得了最高的 TSR，达到 0.79，显著优于自回归基线（范围在 0.66–0.73 之间）和扩散基线（范围在 0.61–0.69 之间）。
字段重叠度 (Field Overlap)： AoD 记录了最低的字段重叠度 (0.29)，表明其具有生成独特键值组合并避免记忆的能力，而基线模型的范围在 0.35 到 0.42 之间。
语义与多样性指标： AoD 在相似度 (0.88)、多样性 (0.82) 和新颖性 (0.83) 方面取得了高分。值得注意的是，它在保持低困惑度 (22.1) 的同时实现了高熵 (6.10)，这是自回归模型通常无法同时实现的组合（它们通常具有高相似度但低多样性，或反之亦然）。
硬件可及性： 实验是在一台消费级工作站（AMD Ryzen 9, NVIDIA RTX 4080 SUPER）上进行的，证明了高质量、可控的结构化生成并不需要专门的基础设施。

消融研究

智能体组件： 去除强化学习组件或用标量奖励取代自然语言反馈会导致多样性降低和困惑度升高。研究表明，扩散生成器与自然语言反馈的结合对于平衡探索与监管至关重要。
模型可迁移性： 该框架在不同的提示词优化器和评判器（如 LLaMA、Qwen、DeepSeek、Gemma）的自回归模型组合下均表现出鲁棒性，具有一致的多样性得分（0.79–0.86）和可控的 GPU 运行时间（每个周期 110–122 秒）。

意义与主张

论文声称 AoD 为结构感知且增强多样性的文本合成开辟了新路径。通过在多智能体强化学习中统一扩散模型的优势（语义多样性）和自回归智能体的优势（结构精确性），该框架克服了格式遵循与输出变化之间的传统权衡。

作者强调，AoD 对于生成器而言是模型无关且无参数的，仅依赖于智能体之间通过自然语言进行的交互。这种方法实现了可控生成，而无需微调的计算成本或手工约束的脆弱性。虽然目前的工作局限于 JSON 合成，但作者认为该框架提供了一种基础方法，可以将可控生成扩展到其他结构化领域，如表格数据和代码。结果表明，当受到协作智能体监督时，扩散模型可以同时实现高语义新颖性和高结构保真度，挑战了自回归模型是结构化数据生成唯一可行选择的观点。