技术摘要：流锚定噪声条件 Q 学习 (FAN)

问题陈述

离线强化学习 (RL) 旨在从固定的、预先收集的数据集中学习最优策略，而无需进一步与环境交互。该领域的主要挑战是分布偏移，即智能体对分布外 (OOD) 动作的价值产生高估，从而导致性能不佳。为了缓解这一问题，最近的最先进方法利用表达性算法进行策略学习（例如流匹配）和价值估计（例如分布型评论家）。

然而，这些表达性方法引入了显著的计算低效性：

1. 流策略：生成单个动作通常需要通过常微分方程 (ODE) 求解器进行迭代采样，其计算量随流步数线性增长。
2. 分布型评论家：估计回报分布通常涉及处理多个样本（例如分位数或期望分位数），其计算量随样本数量线性增长。

本文提出：我们如何利用流策略和分布型评论家在实现最先进离线 RL 性能的同时，提高计算效率？

方法论：FAN

作者提出了流锚定噪声条件 Q 学习 (FAN)，这是一种演员 - 评论家算法，旨在保留基于流的策略和分布型价值函数的表达性，同时大幅降低计算开销。FAN 包含两个核心创新：

1. 流锚定 (行为正则化)

传统的基于流的行为正则化需要通过求解 ODE 从行为策略中采样动作，这在计算上非常昂贵。FAN 引入了流锚定，这是一种无需迭代 ODE 求解即可对策略和价值网络进行正则化的技术。

• 机制：FAN 不采样流轨迹的终端状态，而是直接在特定时间步 $t$ 将策略 $\pi_\omega$ 与行为流的速度场 $v_\theta$ 进行正则化。
• 公式：正则化损失 $L_B(\omega)$ 最小化策略输出（经噪声调整后）与行为流速度场之间的距离：
  $$\mathbb{E}[\|(\pi_\omega(s, \epsilon) - \epsilon) - v_\theta(s, t, a_{t,\omega})\|^2]$$
  其中 $a_{t,\omega} = (1-t)\epsilon + t\pi_\omega(s, \epsilon)$。
• 优势：这允许单步动作推理和训练，消除了正则化步骤中对迭代 ODE 求解器的需求。

2. 噪声条件评论家 ($T^\pi_n$)

标准的分布型评论家通常依赖多个分位数或期望分位数来建模回报分布。FAN 提出了一种噪声条件评论家，它利用单个高斯噪声样本捕获分布信息。

• 算子定义：作者定义了一个新的分布型贝尔曼算子 $T^\pi_n$，该算子将 Q 值条件化于噪声向量 $\epsilon$：
  $$T^\pi_n Q(s, a, \epsilon') \stackrel{d}{=} r + \gamma \cdot \text{ess sup}_{\epsilon \sim \mathcal{N}(0, I)} Q(s', \pi(s', \epsilon'), \epsilon)$$
• 实现：
  • 评论家 $Q_\phi(s, a, \epsilon)$ 被训练以建模条件于噪声的回报分布。
  • 为了近似算子所需的上确界 ($\text{ess sup}$)，FAN 训练一个辅助网络 $Z_\psi(s, a)$ 来建模回报分布的上期望分位数（其中 $\kappa \approx 0.9$）。
  • 评论家更新对当前状态和目标均使用单个噪声样本 $\epsilon'$，与多分位数方法相比，显著减少了前向传播次数。
• 理论基础：算子 $T^\pi_n$ 被证明在 supremum 度量下是 $\gamma$-压缩的，确保收敛到唯一的不动点。上期望分位数被证明随着 $\kappa \to 1$ 收敛到上确界。

算法概述

FAN 采用耦合的演员 - 评论家框架：

1. 评论家更新：最小化时间差分 (TD) 损失，使用噪声条件目标和上期望分位数估计器，并纳入流锚定正则化项。
2. 策略更新：利用噪声条件 Q 值和上期望分位数值最大化估计回报，同时受流锚定项正则化。
3. 流策略训练：通过标准流匹配训练一个独立的行为流策略 $v_\theta$ 以建模数据集分布，作为正则化的锚点。

主要贡献

1. 流锚定：一种新颖的行为正则化技术，利用单次流迭代将学习到的策略与数据集行为对齐，避免了迭代 ODE 采样的计算成本。
2. 噪声条件价值函数：一种由算子 $T^\pi_n$ 定义的分布型价值函数，它利用单个高斯噪声样本捕获具有表达性的回报信息，消除了对多样本分位数估计的需求。
3. FAN 算法：一种集成算法，在离线 RL 中实现了最先进性能，同时与之前的表达性方法相比，显著减少了训练和推理运行时间。

实验结果

作者在 D4RL（AntMaze 和 Adroit 任务）和 OGBench（基于状态和基于像素的任务）上评估了 FAN。

• 性能：FAN 在 9 个任务环境中的 7 个 中实现了最先进（或接近最先进）的性能。它在复杂的操作任务（例如拼图、立方体）上显著优于非分布型基线（ReBRAC, IDQL, FQL），并且在平均表现上超越了分布型基线（IQN, CODAC, Value Flows）。
• 效率：
  • 训练：与依赖多个分位数样本的先前分布型方法（例如 CODAC, IQN）相比，FAN 将训练运行时间减少了至少 5 倍。
  • 推理：由于其单步采样要求，FAN 在所有基线中展示了最快的推理速度，甚至可与非分布型方法相媲美。
• 消融研究：
  • 流锚定 vs. 标准行为克隆 (BC)：流锚定始终产生优于或等同于标准行为克隆 (BC) 和 FQL 风格 BC 的性能，验证了其效率和有效性。
  • $T^\pi_n$ vs. 标准贝尔曼：使用带有流锚定的噪声条件算子 $T^\pi_n$ 比使用带有相同正则化的标准非分布型贝尔曼算子提高了性能。
  • 超参数：该方法对 $\kappa$（期望分位数系数）的选择具有鲁棒性，其中 $\kappa=0.9$ 提供了最佳平衡。增加用于价值训练的噪声样本数量并未带来显著的性能提升，这证明了单样本设计的合理性。
  • 离线到在线：FAN 展示了强大的离线到在线微调能力，在 100 万步在线交互后，在 5 个任务中的 4 个上取得了最先进结果。

意义与主张

本文声称 FAN 成功弥合了离线 RL 中表达性与效率之间的差距。通过从理论上为“单步流”和“单样本分布型评论家”的简化奠定基础，作者证明了高性能并不一定需要高计算成本。

FAN 的意义在于：

• 可扩展性：使表达性生成模型（流策略）和分布型价值函数能够在资源受限的环境中使用。
• 实用性：减少了训练和推理所需的浮点运算 (FLOPs) 和实际时间，促进了强大策略在机器人硬件上的部署。
• 理论可靠性：为提出的噪声条件算子提供了收敛保证，并为流锚定正则化提供了有效性证明，确保效率的提升不会以牺牲理论稳定性为代价。

作者总结道，FAN 为在在线 RL 设置中应用流策略以及利用分布信息处理风险敏感或基于模型的任务开辟了途径，同时严格专注于算法效率，而非启用新的颠覆性能力。