技术摘要：Q-Flow：基于流的策略实现稳定且具表达性的强化学习

1. 问题陈述

本文解决了将具有表达性的生成模型（特别是连续归一化流，CNFs）应用于强化学习（RL）策略参数化时的一个关键困境。虽然基于流的模型在捕捉复杂、多模态的动作分布方面具有卓越的表征能力（特别是在数据分布错综复杂的离线强化学习中），但通过价值最大化来优化它们仍然不稳定。

现有方法在优化稳定性与策略表达性之间面临权衡：

• 朴素梯度优化：直接通过流动力学反向传播价值梯度（通过时间反向传播，BPTT）计算成本高昂，并导致严重的优化不稳定性，常引发模式崩溃或流形漂移。
• 蒸馏方法：为确保稳定性，近期方法（如 FQL）将具表达性的流策略蒸馏为单步学生策略。虽然这稳定了训练，但根本上损害了模型的表征能力，重新引入了流模型旨在克服的更简单策略类别的局限性。

核心挑战在于，如何在保留流策略全部表达力且不承担 BPTT 计算成本的前提下，实现基于流的策略的稳定梯度优化。

2. 方法论：Q-Flow

作者提出了Q-Flow，这是一个利用流动力学的确定性本质来弥合稳定性与表达性之间差距的框架。该方法将流采样过程重构为一个内部马尔可夫决策过程（MDP），并引入了流一致价值函数。

2.1 分层 MDP 公式化

策略生成被建模为双层层次结构：

1. 外部环境 MDP ($M_{env}$)：标准的 RL 问题，策略选择动作 $a$ 以最大化累积奖励。
2. 内部连续时间流 MDP ($M_{flow}$)：动作生成过程被视为确定性的连续时间 MDP。状态空间由流轨迹上的中间潜在状态 $x_\tau$ 组成（$\tau \in [0, 1]$），控制输入是由策略网络 $v_\theta$ 预测的速度向量。终端状态 $x_1$ 对应最终动作 $a$。

2.2 流一致价值

一个关键的理论见解是，在特定的内部 MDP 设置下（中间奖励为零且折扣因子 $\gamma_{flow}=1$），任何中间状态 $x_\tau$ 的价值与其终端效用内在耦合。具体而言，中间状态的价值等于其确定性导向的终端动作的价值：
$$V^\pi(s, x_\tau, \tau) := Q(s, \Psi^\pi_{1,\tau}(x_\tau, s))$$
其中 $\Psi^\pi_{1,\tau}$ 是将策略从 $x_\tau$ 积分到终端状态 $x_1$ 的确定性流映射。该恒等式允许在不进行启发式近似的情况下为中间状态分配价值。

2.3 中间价值学习

为了在不进行从噪声出发的完整 rollout 的情况下高效地学习该价值函数，Q-Flow 将学习锚定在直接从数据集路径采样的中间状态上（使用条件流匹配构造 $x_\tau = \tau x_1 + (1-\tau)x_0$）。中间价值网络 $V^\pi_\omega$ 被训练以回归由外部目标评论家 $\bar{Q}_\phi$ 提供的终端价值：
$$L_V(\omega) = \mathbb{E} \left[ (V^\pi_\omega(s, x_\tau, \tau) - \bar{Q}_\phi(s, \hat{x}_1))^2 \right]$$
其中 $\hat{x}_1$ 是通过从中间状态 $x_\tau$ rollout 策略所到达的终端状态。

2.4 基于梯度匹配的策略优化

Q-Flow 不通过 ODE 求解器进行反向传播（BPTT），而是通过使策略预测的向量场与使用学习到的中间价值梯度构建的目标速度场相匹配来更新策略。目标速度为：
$$v_{target} = (x_1 - x_0) + \frac{1}{\lambda} \nabla_{x_\tau} V^\pi_\omega(s, x_\tau, \tau)$$
策略损失最小化预测向量场 $v_\theta$ 与 $v_{target}$ 之间的距离：
$$L_\pi(\theta) = \mathbb{E} \left[ \| v_\theta(x_\tau, \tau, s) - \text{sg}[v_{target}] \|^2 \right]$$
在此，标准的 CFM 项 $(x_1 - x_0)$ 充当行为正则化器，而价值梯度项引导策略朝向更高价值的区域。这种方法绕过了 BPTT，确保了优化的稳定性，同时保留了流模型的完整表达性。

3. 主要贡献

• Q-Flow 框架：一种新颖的方法，能够在不损害表征能力或不需要 BPTT 的情况下，实现基于流的策略的稳定梯度优化。
• 流一致价值理论：一种原则性的公式化，表明确定性流中的中间潜在状态的价值与其终端结果内在关联，从而允许显式学习中间价值函数。
• 梯度匹配优化：一种策略更新规则，利用中间价值梯度来引导流动力学，有效地用局部、稳定的梯度信号替代了不稳定的 BPTT。
• 全面评估：广泛的实验表明，Q-Flow 解决了先前方法中观察到的稳定性 - 表达性权衡问题。

4. 实验结果

作者在 OGBench 套件（一个具有挑战性的离线 RL 基准）和 D4RL Antmaze 任务上评估了 Q-Flow。

• 离线 RL 性能：
  • 在 OGBench 套件上，Q-Flow 始终优于最先进（SOTA）的基线（包括高斯、扩散和基于流的方法，如 FQL 和 FBRAC），平均高出 10.6 个百分点。
  • 在长视野导航任务中观察到显著增益：在 antmaze-giant 上比 FQL 提高 +31%，在 humanoidmaze-medium 上提高 +23%。
  • 在高级设置中（结合动作分块和悲观价值学习），Q-Flow 取得了最高平均分，比最强基线（QAM-E）高出 2.7%。
• 离线到在线适应：
  • Q-Flow 表现出稳健的在线适应能力，保持了强大的离线性能，并在在线微调期间比 FQL 平均提高了 +23%。
  • 与因梯度不稳定性而失败的 FBRAC 以及因表达性受限而在高维动作空间中挣扎的 FQL 不同，Q-Flow 成功处理了这两种模式。
• 效率：
  • 训练成本分析显示，在 50 个流步下，Q-Flow 比 FBRAC 快约 2 倍，证实了它在保持可扩展性的同时成功消除了 BPTT 的开销。
• 消融研究：
  • 实验证实，中间价值梯度匹配优于基于 BPTT 的中间价值最大化。
  • 使用流一致的中间价值函数被证明优于直接使用外部评论家进行中间引导，后者会受到分布外（OOD）评估误差的影响。

5. 意义与主张

本文声称，Q-Flow 成功解决了基于流的强化学习中长期存在的优化稳定性与策略表达性之间的权衡。通过利用流动力学的确定性本质，将终端价值显式传播到中间状态，该框架实现了稳定、原则性的策略优化，而无需承担 BPTT 的计算和稳定性成本。

作者将 Q-Flow 定位为一种广泛适用的解决方案，允许在离线 RL 设置中充分利用具表达性的生成模型，特别是在更简单的策略类别失效的复杂、多模态环境中。他们承认，由于训练期间流轨迹的非平稳性，该方法面临“移动目标”问题，但指出当前结果令人鼓舞，未来的工作可以通过流感知架构或调整更新比率来解决这一问题。该工作被视为使具表达性的生成策略成为强化学习实用且稳定的标准的一步。