技术摘要：用于离线保守轨迹优化的反事实传输流

1. 问题定义

本文解决了离线强化学习（RL）中的一个根本性局限：如何在不超出观测行为数据分布支持范围的情况下实现行为改进。标准的强化学习学习的是反应式的状态-动作映射，但往往无法显式地建模如何将特定的低结果轨迹进行局部修正以获得成功。现有的离线方法通常要么通过价值惩罚来约束策略，要么使用生成模型（扩散/流）来创建新行为，但这些方法通常在状态转移层面操作，或学习全局策略，而非针对特定实例的改进。

作者将该问题表述为以源端为条件的轨迹优化（source-conditioned trajectory refinement）。给定一个具有低世界反馈（例如低回报、安全性违规）的初始候选轨迹 $\tau^-$，目标是学习将其向一个附近的替代轨迹 $\tau^*$ 进行局部修订，使其在提供更好反馈的同时，在行为上仍保持在离线数据的分布内。这被概念化为寻找一个既能最小化与源端偏差，又能满足改进余量 $\delta$ 的可行轨迹：
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$$
其中 $R(\tau)$ 代表可测量的世界反馈，$d_\tau$ 衡量轨迹层面的偏差。

2. 方法论：反事实传输流

所提出的框架——反事实传输流（Counterfactual Transport Flows），利用条件流匹配（conditional flow matching），学习在潜在轨迹空间中将源轨迹向更好的替代方案进行传输。该方法分为三个主要阶段：

A. 局部偏好对构建

该方法并非学习全局策略，而是从离线数据中构建弱局部偏好对。对于给定的源轨迹 $\tau^-$，算法执行以下操作：

1. 使用编码器 $\phi$ 将轨迹编码到潜在空间。
2. 识别源轨迹 $\tau^-$ 的局部潜在邻域 $\mathcal{N}(\tau^-)$。
3. 从该邻域中选择一个满足改进标准（$R(\tau^+) \ge R(\tau^-) + \delta$）的目标轨迹 $\tau^+$。
4. 形成一个表示“反事实”修订的对 $(\tau^-, \tau^+)$：即智能体在相似条件下可以采取哪些不同的行动，从而获得更好的反馈。

B. 以源端为条件的流匹配

优化过程被建模为一个连续的传输过程，而非一次性的预测。

• 潜在空间插值： 对于每一对轨迹，定义线性插值路径：$z_s = (1-s)z^- + s z^+$，其中 $z^- = \phi(\tau^-)$ 且 $z^+ = \phi(\tau^+)$，$s \sim U(0, 1)$。
• 条件向量场： 模型学习一个专门以源轨迹 $z^-$ 为条件的条件向量场 $v_\theta(z_s, s \mid z^-)$。这确保了优化方向是针对特定实例的，即学习这个特定的轨迹如何进行修订，而不是学习通往高反馈区域的全局方向。
• 训练目标： 模型使用流匹配目标进行训练，以最小化预测速度与目标速度（$z^+ - z^-$）之间的差异：
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. 带有优化强度的推理

在推理阶段，该方法接收一个初始候选轨迹 $\tau^-$，将其编码为 $z^-$，并积分学习到的向量场。集成过程在优化强度参数 $\alpha \in [0, 1]$ 处停止：
$$\tilde{z} = z_\alpha$$
生成的潜在状态被解码以产生优化后的轨迹 $\tau^* = \psi(\tilde{z})$。

• $\alpha = 0$：恢复原始轨迹（保守模式）。
• $\alpha = 1$：完全将轨迹传输至局部高反馈目标。
• $0 < \alpha < 1$：允许在保留原始行为与应用更强优化之间进行连续权衡。

3. 核心贡献

作者强调了三项主要贡献：

1. 公式化： 他们将离线决策改进重新定义为基于世界反馈的以源端为条件的轨迹优化，这与全局策略优化或无约束的轨迹生成不同。
2. 方法论： 他们提出通过构建观测结果的局部偏好对，并利用条件流匹配在潜在轨迹空间中学习特定实例的优化方向。
3. 验证： 他们在 D4RL 基准测试（AntMaze 和 MuJoCo）上验证了该方法，证明了在保持保守轨迹偏差的同时，能够实现反馈改进，且无需人类偏好标签或独立的奖励模型。

4. 实验结果

实验在包含 AntMaze 和 MuJoCo (HalfCheetah) 任务的 D4RL 数据集上进行，并使用轨迹自编码器构建潜在空间。

• 基准测试： 该方法与以下方法进行了对比：
  • 最近改进邻居 (Nearest Improved Neighbor)： 直接用最近的高反馈轨迹替换源轨迹。
  • 随机改进轨迹 (Random Improved Trajectory)： 用随机的高反馈轨迹替换源轨迹。
  • 非局部流匹配 (Non-local Flow Matching)： 在目标选择没有局部性约束的情况下训练流模型。
• 性能表现：
  • AntMaze： 所提方法实现了 +69.44 的反馈提升，同时具有最低的动作偏差 (1.41) 和潜在偏差 (27.00)。相比之下，“随机改进轨迹”虽然获得了更高的原始增益 (+117.50)，但其偏差显著较大 (动作: 2.18, 潜在: 62.50)，表明缺乏保守性。“非局部流匹配”基准甚至导致了反馈下降 (-11.48)。
  • MuJoCo： 观察到了类似的趋势。所提方法实现了 +1180.20 的反馈提升，偏差分别为 1.58 (动作) 和 31.40 (潜在)。而“最近改进邻居”虽然获得了略低的原始增益 (+1050.30)，但偏差更高 (2.14/42.50)。
• 分析： 结果表明，局部目标构建和**源端调节（source conditioning）**对于实现保守优化都是必要的。全局或非局部方法无法学习稳定的优化方向，而直接替换策略则会牺牲过多的行为保真度。

5. 意义与主张

作者认为，反事实传输流通过以下方式为可靠的离线改进提供了有前景的方向：

• 将改进植根于数据： 该方法仅利用日志数据中的标量世界反馈（如回报）来改进行为，消除了对人类偏好标签、独立奖励模型或在线环境交互的需求。
• 可解释性： 传输视角提供了轨迹层面的可解释性。学习到的向量场描绘了明确的优化路径，提供了关于低反馈行为如何被修订的“反事实式”解释。
• 可控性： 优化强度参数 $\alpha$ 实现了在保守性（保留原始提案）与激进改进之间进行可调权衡。

作者保持了审慎的态度，指出“反事实”一词是在轨迹优化（植根于观测数据）的意义上使用的，而非正式的因果推理。他们也指出了未来的研究方向，包括自适应邻域选择、解码轨迹的理论保证，以及与学习到的世界模型相结合进行迭代假设规划。