🤖 machine learning

Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces

本文提出了一种新颖的强化学习框架，该框架利用通过策略镜像下降训练的离散扩散模型，在复杂组合动作空间中实现了稳定、最先进的性能以及卓越的样本效率。

原作者： Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人在一个选择令人应接不暇的世界中做出决策。机器人不再需要在“左”或“右”之间做选择，而是必须从 100 个不同按钮中挑选特定的组合，或者编排一个包含 50 首歌曲的歌单，甚至在同一时刻协调 11 名足球运动员的动作。这就是研究人员所称的组合动作空间。

标准的强化学习（RL）就像一个试图一次猜一个答案的学生。在一个拥有数十亿种可能组合的世界里，这个学生永远无法完成考试。他们会陷入困境，感到困惑，且效率低下。

本文介绍了一种名为RL-D2（基于离散扩散的强化学习）的新方法。这相当于将那个 struggling 的学生换成了一位大师级厨师，他使用一种名为“扩散”的特殊技巧。

核心理念：“去模糊”厨师

要理解这一创新，让我们看看“扩散”部分是如何工作的。

混乱的厨房（问题所在）： 想象你有一顿完美、美味的饭菜（即理想的决策）。现在，想象有人向它扔了一把随机食材，将这道菜模糊化，直到它变成一堆噪音。
厨师的技艺（扩散模型）： 扩散模型就像一位练习过逆转这一过程的厨师。他们可以从一堆随机噪音中，一步步地去除“噪音”，揭示出底下完美的饭菜。他们不是从头开始猜测饭菜，而是从混乱开始，将其提炼为有序。
转折： 通常，厨师（AI 模型）是直线工作的：他们选一种食材，然后选下一种，再选下一种。这被称为“自回归”。但在复杂情况（如足球比赛）中，你选择事物的顺序并不像最终组合那样重要。扩散厨师可以审视整个混乱的堆栈，同时修复多个问题，而不必被迫遵循严格的“先这个，后那个”的规则。

秘密武器：“镜像”策略

本文最大的突破不仅仅在于使用这位“去模糊”厨师，而在于他们如何教导厨师什么是“完美饭菜”的样子。

通常，在训练 AI 时，你会说：“比你上次做得更好。”这往往会导致 AI 感到困惑或崩溃，因为它试图改变得太快、太多。

作者使用了一种名为**策略镜像下降（PMD）**的数学技巧。

类比： 想象你试图在雾蒙蒙的山上找到最高点。与其只是随机向上迈一步，不如你举起一面魔法镜子。这面镜子会根据你目前拥有的地图，向你展示你应该采取的完美路径以到达山顶。
目标： AI 的工作不是去猜测这座山。它的工作仅仅是复制镜子中的倒影。它试图让自己的选择看起来与镜子中显示的“理想”选择完全一致。

通过将“寻找最佳路径”（由镜子完成）与“学习如何移动”（由扩散模型完成）分离开来，训练变得极其稳定且迅速。

两种学习方式：“探索者”与“完美主义者”

本文测试了两种将 AI 与“镜像”匹配的不同方式，它们表现得像两种不同的人格类型：

FKL（快速探索者）： 这个版本就像一个想要尝试所有看起来有希望的事情的学生。它在开始时学习得非常快，非常适合时间或数据有限的情况。然而，如果你在没有仔细调整的情况下对它施加过大压力，它可能会陷入死胡同（即“崩溃”），停止探索新想法。
RKL（稳健的完美主义者）： 这个版本更加谨慎。它专注于找到单一的最佳动作并坚持执行。它起初学习得稍慢，但在非常困难的任务上，它更加稳定，最终能达到更高的性能巅峰。

他们在哪里进行了测试？

研究人员不仅仅谈论理论；他们将这种方法置于三个截然不同的“竞技场”中进行测试：

DNA 测序（生物学实验室）： 他们尝试生成能让细胞产生更多特定蛋白质的 DNA 序列。他们的方法比以前的方法更快地生成了更好的序列，本质上是在“设计”更好的生物学。
电子游戏（街机）： 他们玩经典的 Atari 游戏（如《打砖块》和《太空侵略者》），但有一个转折：AI 不再按一个按钮，而是必须一次性规划 4 或 8 步的序列。当序列变长时，标准方法会失败，但他们的“去模糊”厨师轻松处理了这种复杂性，击败了顶级 AI 玩家。
足球（团队运动）： 他们玩谷歌研究足球（Google Research Football）。在这里，AI 必须同时控制 11 名球员。“镜像”策略帮助球队完美协调，比其他顶级 AI 球队赢得了更多的比赛，尤其是在最困难的场景中。

结论

本文解决了一个主要问题：如何教导 AI 做出复杂的多部分决策，而不会让它感到不知所措？

他们通过以下方式做到了：

使用扩散模型（一位“去模糊”厨师），能够处理混乱、复杂的组合，而不必被强制遵循僵化的顺序。
使用镜像策略（策略镜像下降），为 AI 提供一个稳定、完美的目标供其模仿，而不是让它盲目猜测。

结果是一个学习速度更快、能更好地处理海量选择、并在从生物学到电子游戏的各个领域都表现卓越的 AI。

技术摘要：面向组合动作空间的离散扩散策略强化学习

1. 问题陈述

当强化学习（RL）扩展到大型组合离散动作空间时面临重大挑战，这类空间在现实应用中十分普遍，例如基于宏动作的分层规划、多智能体协调以及推荐系统中的版面（slate）推荐。由于动作空间规模呈指数级增长，标准 RL 算法难以应对这些空间，因此需要极高效率的策略参数化方法和探索策略。

先前的方法曾尝试通过降维、分层训练或假设特定的结构属性来缓解这一复杂性。最近，自回归模型被应用于组合动作；然而，由于序列生成导致推理时的计算成本高昂，且强加了可能限制策略表达能力的非自然因果动作顺序，其效果受限。虽然扩散模型在连续控制和离散生成任务中已展现出潜力，但通过在线强化学习训练离散扩散策略的 principled（有原则的）且高效的框架仍未被探索。

2. 方法论：RL-D2

作者引入了RL-D2，这是一个用于训练离散扩散模型作为组合动作空间策略的新颖框架。其核心创新在于一种高效的在线训练过程，将 RL 目标优化与复杂的表示学习任务解耦。

2.1. 策略镜像下降（PMD）目标

该框架将策略更新重构为分布匹配问题。该方法不直接优化 RL 目标，而是利用**策略镜像下降（PMD）**来定义理想的、正则化的目标策略分布（ $\pi_{MD}$ ）。给定当前策略 $\pi_{old}$ 和优势函数 $A_{\pi_{old}}$ ，目标分布可解析推导得出：
$\pi_{MD}(a|s) \propto \pi_{old}(a|s) \exp(A_{\pi_{old}}(s, a)/\lambda)$
其中 $\lambda$ 为温度参数。随后，具有表达能力的扩散模型被训练以复现这一稳定的目标分布。

2.2. 散度最小化

策略更新通过最小化扩散策略（ $\pi_\theta$ ）与 PMD 目标（ $\pi_{MD}$ ）之间的散度来实现。本文分析了基于 Kullback-Leibler (KL) 散度的两种具体变体：

前向 KL (FKL)： 最小化 $d_{KL}(\pi_{MD}, \pi_\theta)$ 。这种“均值寻求”行为鼓励策略覆盖目标分布的模态，从而促进探索。作者推导出了该目标的可处理加权 ELBO 损失，支持离线训练，并根据采样动作的优势值对其重新加权。
反向 KL (RKL)： 最小化 $d_{KL}(\pi_\theta, \pi_{MD})$ 。这种“模态寻求”行为聚焦于最高价值的动作，在理论上等价于原始的 PMD 优化。由于扩散似然不可处理，作者构建了一个增广 MDP 以推导可处理的重要性采样比率，并利用 PPO 风格的截断机制优化目标。

2.3. 同策略扩散学习

为了使训练分布与推理分布保持一致，作者提出了同策略扩散学习。不同于从干净动作开始、通过固定的前向过程生成带噪动作，同策略扩散轨迹是通过从当前策略学习到的反向过程中采样生成的。这增强了稳定性和样本效率。

3. 主要贡献

RL-D2 框架： 一种新的、高效的在线训练框架，用于在组合动作空间的强化学习中使用离散扩散模型作为策略。它利用 PMD 目标将策略更新重构为分布匹配问题。
理论推导： 推导并分析了两种基于最小化前向和反向 KL 散度至 PMD 目标的实用策略改进方法。
实证验证： 在三个具有挑战性的领域进行了广泛实验，展示了最先进的结果：
- DNA 序列生成： 离散扩散模型的奖励引导微调。
- 长视野强化学习： MinAtar 和 Atari 环境中的宏动作规划。
- 多智能体强化学习： Google Research Football 领域的协同学习。

4. 实验结果

论文报告了在所有测试领域中优越的性能和样本效率：

DNA 序列生成： RL-D2 在保持生成序列高对数似然（自然度）的同时，实现了最先进的奖励分数。与 DRAKES 基线相比，它展示了显著的 computational efficiency（计算效率），GPU 显存消耗从 66.4 GB 降至 10.6 GB，训练时间从 268 分钟缩短至 97 分钟。
Atari（宏动作）： 在 56 个 Atari 环境中，RL-D2 在 36 个环境中优于强基线（DQN, IMPALA, R2D2, PPO）。它在需要长期策略的任务（如 Breakout、Space Invaders）中表现出特别强的优势。该方法展示了可扩展性，随着宏动作长度增加（高达 16），其性能得以保持，而 DQN-Macro 等基线则因动作空间指数级增长而失效。
Google Research Football： 在协同多智能体任务（最多 11 对 11）中，离散扩散策略实现了最高的平均胜率，优于自回归基线（MAT, MAPPO），并展示了在不使用限制性分解的情况下捕捉复杂智能体间依赖关系的能力。

实证权衡：FKL 与 RKL

作者强调了两种散度变体之间的关键权衡：

FKL： 表现出更优越的样本效率和更快的初始收敛，适用于数据受限的场景（如 Atari）。然而，其稳定性较差，需要仔细调整温度以避免崩溃。
RKL： 确保训练稳定，并在数据充足的情况下在挑战性任务（如 Google Football）上实现更高的渐近性能，尽管初始学习速度稍慢。

5. 意义与主张

论文声称，RL-D2 为强化学习在大型组合动作空间中长期存在的挑战提供了一种可扩展且高性能的解决方案。通过利用离散扩散模型的表达能力，并通过基于 PMD 的分布匹配来稳定学习，该框架有效地处理了传统方法往往失效的复杂决策问题。

作者强调，与标准的离散黑盒求解器（如进化算法）相比，他们的方法具有显著优势：它学习的是利用转移动力学并泛化到未见状态的状态条件策略，而不是从零开始优化静态目标。此外，该方法的解耦性质稳定了学习过程，显著提升了在复杂、非结构化离散空间中的性能。