技术摘要：通过稳定 Q 梯度场实现策略平滑性（针对 Actor-Critic 方法）

1. 问题陈述

通过 Actor-Critic 方法（如 SAC、TD3）学习到的连续控制策略经常表现出不规则的高频振荡（即“抖动”的控制信号）。虽然这些策略在仿真环境中可以获得很高的任务回报，但其不稳定性使其难以应用于物理部署，因为这会导致能耗增加、执行器磨损以及安全风险。

目前的各种主流范式通过应用策略侧正则化（Policy-side Regularization）来解决这一问题，即显式地约束 Actor 网络（例如通过 Lipschitz 约束或时间平滑惩罚）。作者认为，这些方法是在处理症状而非病因。他们主张，如果底层的 Q 函数（Critic）具有噪声大或几何不稳定的景观（Landscape），那么产生的策略梯度本质上会驱动 Actor 向不规则的方向运动。强制要求 Actor 平滑，而学习信号保持波动，会产生优化冲突，从而迫使策略偏离回报最大化流形以满足平滑约束，进而损害任务性能。

2. 理论分析：策略敏感性的几何学

本文认为，策略的非平滑性从根本上受 Critic 的微分几何学支配。通过对 Actor-Critic 目标函数进行隐函数求导，作者推导了最优策略 $a^*(s) = \arg\max_a Q_\theta(s, a)$ 对状态扰动的敏感性。

核心理论推导

利用隐函数定理（IFT），作者证明了策略雅可比矩阵 $J_\pi(s) = \nabla_s a^*(s)$ 解析地由下式给出：
$$J_\pi(s) = -\left[\nabla^2_{aa}Q_\theta(s, a^*(s))\right]^{-1} \nabla^2_{sa}Q_\theta(s, a^*(s))$$

该方程揭示了策略敏感性是 Q 函数两个几何属性的乘积：

1. 混合偏导数 ($\nabla^2_{sa}Q$)： 代表“噪声敏感度”，即随着微小的状态变化，最速上升方向旋转的速度。
2. 动作海森矩阵 ($\nabla^2_{aa}Q$)： 代表“信号显著性”，即峰值的曲率。

作者建立了一个策略的 Lipschitz 连续性界限：
$$L \leq \frac{M}{\mu}$$
其中 $M$ 限制了混合偏导数的谱范数 ($\|\nabla^2_{sa}Q\|_2$)，而 $\mu$ 限制了动作海森矩阵的严格凹性 ($\lambda_{\max}(\nabla^2_{aa}Q) \leq -\mu < 0$)。

关键洞察： 仅仅减小梯度方差（降低 $M$）是不够的，如果曲率 $\mu$ 趋于零（即 Q 景观变得平坦），则会导致失效。平坦的景观会导致逆海森矩阵爆炸，使策略变得极度敏感。因此，正则化必须同时最小化噪声敏感度（$M$）并保持信号曲率（$\mu$）。

3. 方法论：PAVE（策略感知价值场均衡化）

为了验证这一理论，作者引入了 PAVE，这是一个以 Critic 为中心的正则化框架。PAVE 不是修改 Actor，而是通过将 Critic 视为状态-动作流形上的标量场来稳定 Q 梯度场。该框架通过应用于 Critic 损失函数的三个协同目标来最小化 Lipschitz 界限 $L \leq M/\mu$：

3.1 混合偏导正则化 (MPR)

• 目标： 最小化 $M$（噪声敏感度）。
• 机制： 使用有限差分近似来惩罚由微小状态扰动 $\epsilon$ 引起的动作梯度 $\nabla_a Q$ 的变化。
• 损失函数： $\mathcal{L}_{MPR} = \mathbb{E}[\|\nabla_a Q_\theta(s+\epsilon, a) - \nabla_a Q_\theta(s, a)\|_2^2]$。
• 理由： 这压缩了混合海森矩阵的谱范数，强制实现了向量场的局部不变性。

3.2 向量场一致性 (VFC)

• 目标： 确保轨迹沿时间的一致性。
• 机制： 受 Score Matching 启发，最小化相邻时间步（$t$ 和 $t+1$）之间 Q 梯度的欧几里得距离。
• 损失函数： $\mathcal{L}_{VFC} = \mathbb{E}[\|\nabla_a Q_\theta(s_t, a_t) - \nabla_a Q_\theta(s_{t+1}, a_t)\|_2^2]$。
• 理由： 这使学习信号沿着环境动力学对齐，减轻了由相邻时间步之间冲突梯度引起的“颤振”（Chattering）现象。

3.3 曲率保持 (Curv)

• 目标： 防止 $\mu \to 0$（避免“过度平滑”导致的崩溃）。
• 机制： 如果动作海森矩阵未能保持足够的凹性，则对其迹（Trace）进行惩罚。
• 损失函数： $\mathcal{L}_{Curv} = \mathbb{E}[\max(0, v^\top \nabla^2_{aa}Q_\theta(s, a)v + \delta)]$，其中 $v$ 是随机 Rademacher 向量（使用 Hutchinson 估计器）。
• 理由： 这确保了 Q 景观保持良好的条件性（尖锐的峰值），防止逆海森矩阵爆炸。

实现说明： 该方法需要 $C^2$ 连续性来进行海森矩阵计算，这通过在 Critic 网络中使用 SiLU 激活函数来实现。Actor 网络保持不变。

4. 实验结果

作者在 Gymnasium 基准测试（LunarLander, Pendulum, Reacher, Ant, Hopper, Walker2d）上评估了 PAVE，并使用 TD3 和 SAC 作为骨干网络，与策略侧基线（CAPS, GRAD-CAPS, ASAP）进行了对比。

性能指标

• 平滑度得分 (sm)： 通过 FFT 导出的频谱指标（越低越好）。
• 累积回报 (re)： 任务性能（越高越好）。

主要发现

1. 平滑度： PAVE 在所有环境中都取得了最好或接近最好的平滑度得分。
   • TD3： 在 Hopper 上，平滑度从 2.715（Base）提升至 0.950（减少了 2.9 倍）。在 Pendulum 上，从 1.590 提升至 0.351（减少了 4.5 倍）。
   • SAC： PAVE 在 LunarLander 和 Pendulum 上取得了最佳平滑度。在高维运动控制（Walker, Hopper）中，它在显著减少振荡的同时保持或提高了回报；相比之下，某些基线（如 ASAP）虽然实现了平滑，但以显著的任务回报下降为代价。
2. 任务性能： 与通常以牺牲性能换取平滑度的策略侧方法不同，PAVE 在 6 个 TD3 环境中的 5 个中保持了竞争性或更优的任务回报。
3. 几何验证：
   • 可视化： 混合偏导海森矩阵范数 $\|\nabla^2_{sa}Q\|_2$ 的 3D 图表显示，基线产生了“锯齿状”的景观，而 PAVE 产生了平坦且一致的场。
   • 代理验证： 用于 MPR 的有限差分代理被验证与精确解析的海森矩阵范数具有强相关性（比例为 0.67–1.14）。
   • 理论确认： 实验数据证实 PAVE 同时抑制了 $M_{sup}$（分子）并维持了严格的凹性（分母），验证了 $L \leq M/\mu$ 的界限。

5. 意义与主张

本文提出了一个根本性的视角转变：策略平滑性应当通过稳定的学习信号来诱导，而不是通过约束 Actor 来强制实现。

• 根源识别： 作者严谨地证明了策略敏感性受控于 Critic 的微分几何（混合偏导和动作曲率），而非仅仅取决于 Actor 的架构。
• 以 Critic 为中心的解决方案： 通过正则化 Q 函数的几何结构，PAVE 解决了平滑度与性能之间的优化冲突。它允许 Actor 自然地收敛到一个平滑的策略，因为其遵循的梯度场是稳定的。
• 实际影响： PAVE 在不修改 Actor 网络的情况下，实现了与最先进的策略侧方法相当甚至更好的平滑度，使其可以作为标准 Actor-Critic 流水线中 Critic 的即插即用替代方案。

作者总结道，“铺设价值景观”（Paving the value landscape）比约束策略网络是更有效的策略，因为它解决了不稳定的源头而非其表现形式。