技术摘要：通过混合梯度在混合离散 - 连续动作空间中进行策略优化

问题陈述

本文解决了强化学习（RL）在大规模问题中的一个根本性局限：高维动作空间中的信用分配问题。标准的无模型策略梯度方法（如 REINFORCE 和近端策略优化 PPO）依赖于**得分函数（SF）**估计器。这些方法通过关联策略扰动与累积奖励来估计梯度。在高维设置中，由于单个标量回报必须归因于与外生随机性纠缠的数千个动作分量，这种方法遭受严重的信噪比退化。

虽然可微仿真（路径或 PW 梯度）提供了一种解决方案，即通过反向传播仿真器以获得更清晰的信用分配，但它传统上要求完全平滑的动态。机器人学、控制和运营中的许多实际问题涉及混合离散 - 连续动作空间（例如，选择离散模式并在其中优化连续控制）或具有不连续性的分段平滑动态。在这些设置中，标准的 PW 梯度变得有偏或无信息，迫使从业者退回到效率较低的基于 SF 的方法，并丢弃可用的结构信息。

核心挑战是开发一种策略优化框架，既能通过反向传播利用连续分量的平滑性，又能正确处理离散决策和不连续性，而不引入偏差。

方法论：混合策略优化（HPO）

作者提出了混合策略优化（HPO），这是一个专为**外生马尔可夫决策过程（MDP）**设计的框架，其中仿真器在训练期间可以访问外生随机性（如需求、天气）的完整实现，从而允许在同一条轨迹上进行反事实策略评估。

1. 策略表示

策略 $\pi$ 被分解为两个分量：

• 离散分量（$\pi^X_\phi$）： 一个随机策略，从有限集 $\mathcal{X}$ 中选择离散动作 $x_t$（例如，模式或状态）。
• 连续分量（$\pi^B_\kappa$）： 一个确定性控制器，为每个可能的离散动作 $j \in \mathcal{X}$ 输出一个候选连续动作 $b_t$。执行的动作是 $b_t = \pi^B_\kappa(s_t)[x_t]$。

这种“塔式”结构允许连续控制器在其参数 $\kappa$ 方面是平滑的，条件是离散动作已确定。

2. 混合梯度估计器

核心理论贡献是一个无偏混合梯度估计器，它结合了路径（PW）和得分函数（SF）项。对于参数化为 $\theta = (\phi, \kappa)$ 的策略，梯度为：

• 离散梯度（$\nabla_\phi J$）： 使用标准 SF 估计器计算：
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• 连续梯度（$\nabla_\kappa J$）： 计算为路径项和交叉项之和：
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{PW 梯度项}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{交叉项}}$$

关键机制：

• PW 项对连续动作通过仿真器进行反向传播，同时保持离散动作固定。这隔离了连续动作对成本的直接影响，显著改善了信用分配。
• 交叉项捕捉连续参数 $\kappa$ 的变化如何改变状态轨迹 $s_t(\kappa)$，进而改变离散策略 $\pi^X_\phi$ 的概率分布。
• 该估计器在自动微分框架（如 PyTorch）中使用 stop_grad（分离）操作实现，以确保离散采样在 PW 项中被视为固定，而交叉项保留离散对数概率对状态的依赖性。

3. 处理不连续性

本文证明，具有动作不连续性的问题（分段平滑 MDP）可以重新表述为混合 MDP。通过引入一个离散动作来选择动作空间的“平滑区域”，并引入一个连续动作来指定该区域内的控制，该框架在利用局部平滑性的同时保持了无偏性。

主要贡献

1. HPO 框架： 一个针对混合离散 - 连续动作空间的策略优化框架，产生无偏混合梯度估计器。它在问题结构允许的任何地方利用 PW 梯度，避免了纯 PW 方法的脆弱性和纯 SF 方法的高方差。
2. 交叉项的理论表征： 作者证明了当离散策略接近最优响应时，交叉项消失（定理 2）。具体而言，交叉项的幅度受离散策略的次优性（$\epsilon$）和状态对连续参数敏感性的限制。这一结果表明，在接近最优时，离散和连续分量之间的耦合减弱，使得近似去中心化更新成为可能。
3. 实证验证： 在**联合补货问题（JRP）和切换线性二次调节器（S-LQR）**上的广泛实验表明，HPO 显著优于 PPO，特别是随着连续动作维度的增加。
   • 扩展性： HPO 相对于 PPO 的性能差距随着连续动作空间维度（$p$）的增加而显著扩大。例如，在 S-LQR 中，当 $p > 24$ 时 PPO 无法收敛，而 HPO 可可靠地收敛至 $p=48$。
   • 梯度质量： 分析表明，混合估计器在高维中保持高对齐性和低均方根误差（RMSE），而纯 SF 估计器（PPO 所用）随着维度增长，其对齐性崩溃至接近零。
4. 方差降低策略： 本文表明，在接近最优时，丢弃交叉项（HPONoCross）可能是有益的。由于交叉项的期望值消失而其方差随着离散策略的改进而增长，移除它可以减少噪声，而不会在训练的最后阶段引入显著偏差。

结果与意义

本文声称，HPO 代表了将策略梯度方法应用于现实世界大规模问题的重要一步，在这些问题中，虽然存在可微仿真器，但离散决策在历史上限制了路径方法的适用范围。

• 性能： 在 JRP 和 S-LQR 基准测试中，与 PPO 相比，HPO 一致实现更低的测试损失，并且需要更少的策略更新即可达到目标性能差距。这种优势在高维连续空间（$p \ge 40$）中最为显著。
• 梯度效率： 混合梯度提供了比纯 SF 梯度好得多的信号。在高维中，SF 估计器与真实梯度方向的对齐度降至接近零，而混合估计器保持 0.8 以上的对齐度。
• 去中心化潜力： 关于交叉项消失的理论结果暗示了一条通往半去中心化训练的道路，一旦离散策略足够接近最优响应，离散和连续分量就可以分别优化。

作者将这项工作定位为无模型 RL 与可微仿真之间的桥梁，将后者的适用性扩展到混合动作空间，同时不牺牲收敛所需的无偏性。代码和资源已公开，以促进该方向的进一步研究。