技术摘要：扩散策略学习中的表达能力与统计权衡

1. 问题陈述

连续动作空间中的强化学习（RL）通常依赖于随机策略参数化。虽然经典的函数族（如高斯、Beta 分布、混合分布）提供了可处理的采样和似然评估，但它们往往缺乏建模现代任务（如多阶段操控和运动控制）中复杂的、多峰或高度非高斯动作分布所需的表达能力。

基于扩散的策略已成为一种强大的替代方案，它通过带有参数化漂移（drifts）的扩散过程的终端律来表示状态条件的动作分布。尽管这些策略在经验上取得了成功，但其理论理解仍然有限。具体而言，尚不清楚：

1. 什么数学量支配着扩散策略在逼近最优确定性策略方面的表达能力（expressivity）？
2. 当从有限数据中学习策略时，这种增加的表达能力如何影响统计学习（statistical learning）？

现有的扩散模型理论主要侧重于生成建模（采样和分数估计），而非强化学习固有的决策目标。

2. 方法论与框架

作者提出了一个理论框架，用于分析由状态条件随机微分方程（SDE）定义的扩散策略：
$$d\bar{a}^x_t = f(t, \bar{a}^x_t, x) dt + \sigma(t, \bar{a}^x_t, x) dB_t, \quad \bar{a}^x_0 \sim \mu_0$$
其中策略 $\pi(\cdot|x)$ 是终端状态 $\bar{a}^x_T$ 的分布律。

关键分析工具

• 漂移 Lipschitz 预算 ($K$)： 作者确定的核心量是漂移函数 $f$ 关于动作变量 $a$ 的 Lipschitz 常数。作者通过这个预算来衡量策略类的复杂度。
• 逼近理论： 本文建立了关于 $K$-Lipschitz 漂移在向确定性最优动作集中的能力方面的上界和下界。
• 有限样本学习： 漂移 $f$ 由 ReLU 神经网络参数化。分析将总误差分解为三个部分：
  1. 扩散逼近误差： 由于扩散过程无法完美地集中在最优动作附近的误差。
  2. 神经网络实现误差： 使用有限宽度网络逼近最优漂移函数的误差。
  3. 统计估计误差： 源于从有限样本量 $n$ 中学习的误差。
• 通过 Girsanov 定理实现的策略梯度： 由于扩散过程的终端密度通常是不可解的，作者推导出了一个可处理的策略梯度公式。通过应用 Girsanov 定理，他们用涉及漂移敏感度 $\nabla_\theta f$ 的路径似然比项替换了难以处理的分数函数。

3. 主要贡献与结果

A. 扩散策略的表达能力

论文通过漂移 Lipschitz 预算 $K$ 量化了扩散策略的表达能力：

• 上界： 具有 $K$-Lipschitz 漂移的扩散策略可以以 $O(1/K)$ 的阶数逼近确定性最优策略的均方局部化误差。因此，在奖励函数和转移核满足温和连续性假设的情况下，价值函数逼近误差也是 $O(1/K)$ 阶。
• 下界： 作者证明了一个匹配的下界，表明在非退化扩散噪声下，任何 $K$-Lipschitz 漂移将终端动作局部化在有限个目标动作附近的速率都无法快于 $O(1/K)$。这确立了 $1/K$ 是此类策略的内在表达能力极限。
• 启示： 增加 $K$ 可以提高策略逼近确定性最优解的能力，但也会增加函数类的复杂度。

B. 有限样本统计权衡

当漂移由 ReLU 神经网络参数化时，作者推导出了显式的有限样本 Oracle 不等式。总价值差距由逼近项和估计项之和构成。平衡这两项会产生两个不同的机制：

1. 通用神经网络漂移机制：
   对于通用的 $K$-Lipschitz 神经网络漂移类，统计估计误差随 $\sqrt{sK/n}$ 缩放（其中 $s$ 为网络规模）。平衡逼近误差 ($1/K$) 和统计误差，可得到有限样本性能差距的阶数为：
   $$\tilde{O}\left(n^{-2/(m+6)}\right)$$
   其中 $m$ 是状态维度。通过选择 $K \asymp n^{2/(m+6)}$ 实现该速率。

2. 耗散漂移机制：
   如果漂移类满足单侧耗散条件（例如，均值回归漂移），则策略类的稳定性会提高。统计项减少为 $\sqrt{s/n}$，消除了对 $K$ 的依赖。这产生了一个更尖锐的速率：
   $$\tilde{O}\left(n^{-2/(m+4)}\right)$$
   通过选择 $K \asymp (n/\log n)^{2/(m+4)}$ 实现。

C. 算法贡献

论文提供了一个针对连续时间扩散策略的策略梯度定理。它证明了价值函数的梯度可以表示为一个涉及漂移敏感度和由 Girsanov 定理导出的随机积分的期望。这提供了一个可处理的训练恒等式，而不需要显式的终端动作分布密度。

D. 经验验证

数值实验验证了这些理论机制：

• 通用机制： 在非线性多步 MDP 中，训练通用神经网络漂移显示出关于 $K$ 的 U 型权衡。增加 $K$ 会提高表达能力，但在固定样本量下会使优化变得不稳定。经验最优的 $K$ 随 $n^{2/(m+6)}$ 缩放。
• 耗散机制： 在具有均值回归（耗散）漂移的上下文 Bandit 设置中，策略遗憾随 $K$ 单调下降，直到触及中心估计底线。结果证实了更尖锐的缩放关系 $K \asymp (n/\log n)^{2/(m+4)}$。

4. 意义与主张

本文声称提供了第一个为 RL 中的扩散策略提供理论基础的研究，该研究明确地将扩散过程的结构量（漂移 Lipschitz 预算 $K$）与逼近能力以及有限样本统计误差联系起来。

• 理论洞察： 它确定了 $K$ 是扩散策略在确定性最优解附近的“表达能力瓶颈”。
• 实践原则： 该框架提出了一个具体的实现原则：根据可用的样本量 $n$ 选择扩散预算 $K$，然后选择具有相应固定 Lipschitz 系数的神经网络架构。
• 算法效用： 推导出的策略梯度公式使得训练 SDE 驱动的扩散策略成为可能，而无需进行难以处理的密度评估，弥合了理论分析与实际实现之间的鸿沟。

作者保持了谦逊的态度，指出其界限是针对特定漂移类的，未来的工作可以探索更尖锐的集中不等式或纳入实际训练中的优化误差。