技术摘要：用于离线强化学习中扩散策略的噪声空间策略梯度

1. 问题陈述

离线强化学习（Offline Reinforcement Learning, RL）旨在从固定的数据集中学习有效的策略，而无需进一步与环境交互。该领域的一个主要挑战是“分布偏移”（distributional shift）问题：超出数据集支持范围的策略往往会导致偏差的价值估计。为了应对离线数据中存在的复杂的、多峰的动作分布，具有表现力的生成模型——扩散策略（diffusion policies）应运而生。这些策略通过一个迭代去噪过程生成动作，将一系列噪声潜变量映射到最终的干净动作。

然而，将扩散策略与基于价值的强化学习相结合引入了一个根本性的结构性失配：

• 优化空间： 策略优化发生在噪声潜空间（去噪过程中变量 $x^{(k)}$ 的序列）中。
• 价值定义： 强化学习目标（价值函数、优势函数、梯度）是定义在执行的、干净的动作（$a \in \mathcal{A}$）之上的，这些动作与环境进行交互。

现有的解决办法在弥合这一差距方面存在显著缺陷：

1. 动作空间采样： 仅将扩散模型视为采样器并根据动作空间的评论家（critic）对动作进行重加权，这绕过了潜空间引导。
2. 端到端反向传播： 通过整个去噪轨迹对价值梯度进行反向传播来优化策略，会产生冗长的随机计算图，导致计算开销增加和不稳定性。
3. 直接潜变量评估： 通过在中间变量上评估 Q 函数，将价值引导直接注入噪声潜变量，忽略了这些变量并非决定奖励的实际动作这一事实。

本文识别出了一个差距，即如何定义一种能够以原则性且语义连贯的方式，连接噪声潜空间优化与动作空间回报的价值公式。

2. 方法论

作者提出了一个以噪声空间动作价值函数（Noisy-Space Action-Value Function）及其衍生的噪声空间策略梯度（Noisy-Space Policy Gradient, NSPG）为核心的框架。

2.1 噪声空间动作价值函数 ($Q_{noisy}$)

其核心理论贡献是定义了一个针对噪声潜变量的价值函数，该函数并不赋予噪声本身内在价值，而是赋予其所诱导的干净动作分布以价值。

• 定义： 对于状态 $s$、扩散步 $k$ 和噪声潜变量 $x^{(k)}$，噪声空间动作价值函数定义为在给定 $(s, x^{(k)}, k)$ 条件下，扩散策略诱导的期望动作空间回报：
  $$Q_{noisy}^\pi(s, x^{(k)}, k) \triangleq \mathbb{E}_{a \sim \pi(\cdot|s, x^{(k)}, k)} [Q^\pi(s, a)]$$
• 语义正确性： 作者证明了 $Q_{noisy}$ 正好等于策略在 $(s, x^{(k)}, k)$ 处初始化并在环境中执行时所获得的期望折扣回报。这确保了价值函数与仅观察干净动作的环境接口保持一致。
• 代理语义： 为了在不改变策略反向时间动力学的情况下使对 $x^{(k)}$ 的条件化变得定义明确，作者引入了一个代理联合分布。该分布通过前向扩散过程（破坏干净动作）来建模干净动作 $a$ 与噪声潜变量 $x^{(k)}$ 之间的关系。这使得可以在不改变策略生成机制的情况下推导梯度。

2.2 噪声空间策略梯度 (NSPG)

利用代理语义，作者推导出了 $Q_{noisy}$ 对噪声潜变量 $x^{(k)}$ 的梯度的闭式表达式。

• 梯度公式：
  $$\nabla_{x^{(k)}} Q_{noisy}^\pi(s, x^{(k)}, k) = \mathbb{E}_{a \sim \pi} \left[ A_{noisy}^\pi(s, a, x^{(k)}, k) \nabla_{x^{(k)}} \log q_k(x^{(k)} | a) \right]$$
  其中：
  • $A_{noisy}^\pi = Q^\pi(s, a) - Q_{noisy}^\pi(s, x^{(k)}, k)$ 是噪声空间优势函数。
  • $\nabla_{x^{(k)}} \log q_k(x^{(k)} | a)$ 是前向扩散核的得分函数（score function）。
• 关键区别： 不同于将噪声潜变量映射到单个解码动作 $\hat{a}$ 并对 $Q(s, \hat{a})$ 求导的方法，NSPG 对兼容干净动作的期望值进行求导。这使得梯度能够强化噪声空间中与高价值兼容动作相关的方向，同时抑制低价值的方向，即使最可能的动作并不是价值最高的动作。
• 无需反向传播： 至关重要的是，该梯度仅使用干净动作空间的价值估计（$Q^\pi$）和前向扩散核进行计算。它避免了通过完整的去噪轨迹进行反向传播，显著提高了稳定性和效率。

2.3 噪声空间 Actor-Critic (NSAC)

作者将该框架实例化为一个实用的离线 RL 算法：NSAC：

1. Critic： 使用离线数据和下置信界（LCB）目标学习一个保守的动作空间 Q 函数（$Q_\phi$），以减轻高估和分布偏移。该 Critic 绝不会在噪声潜变量上进行评估。
2. Actor： 使用结合了标准去噪损失（行为克隆）与源自 NSPG 的价值引导项的回归目标来更新扩散策略。
   • Actor 损失包含一项：$\lambda \cdot \epsilon_\theta^\top \nabla_{x^{(k)}} Q_{noisy}$。
   • 这使得策略可以在保持锚定于数据分布的同时，在潜空间内进行改进。

3. 主要贡献

1. 识别了失配问题： 本文正式识别了基于扩散的 RL 中噪声潜空间优化与动作空间价值函数之间的语义鸿沟。
2. 理论公式化： 引入了 $Q_{noisy}$，这是一个严格通过其生成的干净动作分布来赋予噪声潜变量价值的价值函数，确保了与 MDP 的语义一致性。
3. NSPG 推导： 推导出了一个仅使用干净动作空间价值估计来优化噪声潜变量的策略梯度，消除了对去噪过程进行反向传播的需求。
4. NSAC 算法： 开发了一个实现 NSPG 的稳定 Actor-Critic 算法，证明了在离线设置中可以有效地训练具有表现力的扩散策略。

4. 实验结果

作者在基于状态的 D4RL 基准测试（locomotion, AntMaze, Adroit）和基于视觉的 OGBench 任务上评估了 NSAC。

• 性能： NSAC 在多种环境中实现了最先进（SOTA）或具有竞争力的性能。
  • Locomotion： 在 HalfCheetah、Hopper 和 Walker2d 上超越或匹配了先前的方法（如 CQL, IQL, Diffuser）。值得注意的是，在 HalfCheetah medium-replay 上取得了约 10% 的提升。
  • AntMaze： 相比现有方法展现了显著的改进，特别是在大型迷宫环境中，其相对性能超过了最接近的基准方法 DAC 超过 50%。
  • Adroit： 在评估的方法中，在 Pen-Cloned-v1 上取得了最强的性能。
  • 视觉 (OGBench)： 在视觉任务上获得了最高的聚合得分（271.5），优于基于流（flow-based）的策略和 DAC。
• 消融研究：
  • 引导强度 ($\lambda$)： 该方法在各种引导强度下均表现稳健，中间值能产生最优性能。过度激进的引导会通过将策略推向数据支持之外而降低性能。
  • 蒙特卡洛近似： 噪声空间期望可以通过少量样本（例如 2-4 个）高效估计，与 DAC 相比计算开销极小。
  • 悲观性： 该算法在广泛的悲观系数范围内保持稳健。

5. 重要性与主张

本文声称 NSPG 为训练离线 RL 中的扩散策略提供了一个原则性且有效的基础。通过解决噪声潜空间优化与动作空间价值之间的失配，该方法避免了端到端反向传播的不稳定性以及在噪声变量上评估评论家的语义不连贯性。

作者强调，其方法：

• 在不牺牲可处理性的情况下，保留了多步扩散策略的表现力。
• 为稳定性与性能提供了适度但显著的提升，特别是在价值估计与策略优化紧密耦合的具有挑战性的长程、多模态设置中。
• 表明该框架可以自然地扩展到在线及离线转在线学习，尽管这属于未来的工作。

这项工作并非声称解决了所有离线 RL 问题，而是专门针对扩散策略与基于价值的目标相结合的问题，提供了一个具有理论依据的替代方案，而非启发式的采样或不稳定的端到端训练。