技术摘要：协作式混合扩散策略 (CHDP)

问题陈述

本文解决了参数化动作空间中的强化学习 (RL) 挑战，其中动作由离散选择与连续参数组成（例如，先选择工具，然后调节其力度）。虽然深度强化学习在纯离散或纯连续领域取得了成功，但将其扩展到这种混合空间仍然非常困难，主要由于现有方法的两个局限性：

1. 策略表达能力有限： 许多混合任务是多模态的（多个不同的“动作对”可能同样有效）。现有的策略通常依赖于单模态架构（如高斯分布或确定性策略），这迫使它们要么将解平均化为无效的折中方案，要么坍缩到单一模态，从而无法捕捉复杂的分布。
2. 可扩展性问题： 在高维离散空间中（例如，在众多接触点中进行选择），动作对的组合爆炸会导致样本效率低下。现有方法难以有效地探索这些庞大的混合空间。

方法论：CHDP 框架

作者提出了协作式混合扩散策略 (CHDP)，这是一个将混合动作问题视为两个智能体之间完全协作博弈的多智能体强化学习 (MARL) 框架。

核心组件

1. 双重扩散智能体：

   • 离散智能体： 使用扩散策略 ($\pi_{\theta_d}$) 生成潜在表示 $e$。该表示通过向量量化 (VQ) 步骤针对可学习的码本 (Codebook) 进行量化，以选择离散动作 $a_d$ 并检索相应的码字 $e_k$。
   • 连续智能体： 使用扩散策略 ($\pi_{\theta_c}$) 生成连续参数 $a_c$。至关重要的是，该策略以状态 $s$ 和来自离散智能体的码字 $e_k$ 为条件，显式地建模了离散选择与连续参数之间的依赖关系。

2. Q 指导码本：

   • 不同于标准的 VQ-VAE（通过重构进行学习），该码本通过最大化下游 Q 值来进行优化。
   • 码本将高维离散动作空间嵌入到低维潜在空间中，缓解了维度灾难。
   • 一种基于 Q 函数的指导机制将码本嵌入与离散策略的潜在表示对齐。Q 值梯度引导码字向支持高价值动作的表示方向演进，确保离散策略学习到任务感知且具有语义能力的表示，而无需预训练。

3. 顺序更新方案：

   • 为了防止协作式 MARL 中常见的优化冲突（即同时更新可能导致训练不稳定），CHDP 采用了顺序更新策略：
     1. 步骤 1： 使用来自经验回放池的固定连续动作来更新离散策略。
     2. 步骤 2： 在以新更新的离散策略输出为条件的情况下，共同更新连续策略和码本。
   • 这促进了协同进化，并确保了稳定的梯度流，防止一个策略在无意中损害另一个策略。

主要贡献

• 新型 MARL 框架： CHDP 通过利用具有扩散策略的两个协作智能体来解决混合动作问题，释放了扩散模型在捕捉离散和连续空间中多模态分布方面的表达能力。
• 可扩展性机制： Q 指导码本的引入使离散策略能够在紧凑、结构化的潜在空间中学习，解决了高维离散动作空间中的可扩展性问题。
• 稳定性机制： 提出了顺序更新方案来减轻策略更新冲突，实现了离散智能体与连续智能体之间的有效协同进化。
• 达到最先进水平的性能： 该框架在挑战性基准测试上取得了卓越的结果，超越了之前的领先方法。

实验结果

作者在八个标准的参数化动作 MDP (PAMDP) 基准测试上评估了 CHDP，包括 Platform、Goal、Catch Point 以及不同规模离散动作空间的 Hard Move 变体。

• 性能： CHDP 的成功率最高比最先进的方法 (HyAR) 高出 19.3%。
  • 在 Hard Goal 上，CHDP 达到了 79.5% 的成功率，而 HyAR 为 60.2%。
  • 在 Platform 上，CHDP 达到了 99.7%，而 HyAR 为 96.6%。
  • 在离散空间拥有 $2^{10}$ 个选项的 Hard Move (n=10) 中，CHDP 保持了 79.8% 的成功率，而 HyAR 则下降到了 69.0%。
• 样本效率： 学习曲线表明，与基线相比，CHDP 收敛更快，所需的环境交互更少。
• 消融研究：
  • 移除扩散策略（替换为确定性策略）会导致性能显著下降，证实了对于多模态任务而言其表达能力的必要性。
  • 移除码本会导致在高维空间中出现灾难性失败（例如，在 Hard Move n=6 中从 94.4% 降至 56.1%），验证了其在可扩展性方面的作用。
  • 移除顺序更新方案会导致在协调密集型任务中性能下降，证实了其在稳定性方面的作用。
• 定性分析： 在 Hard Move (n=6) 中，CHDP 成功学习到了多模态策略，发现了至少三种不同的策略（不同的执行器组合）来达到目标。相比之下，确定性基线则坍缩到了单一的僵化模式。

意义

本文声称 CHDP 成功弥合了混合动作空间中策略表达能力与可扩展性之间的差距。通过将问题视为一个协作博弈并利用扩散模型，该框架能够捕捉到确定性或高斯策略所缺失的复杂多模态分布。此外，Q 指导码本和顺序更新方案提供了一种处理高维离散空间并确保稳定训练的原则性机制。结果表明，CHDP 释放了深度强化学习在涉及混合动作的复杂现实场景（如机器人操控和自动驾驶，其中既需要离散选择又需要连续微调）中的潜力。