🤖 machine learning

Offline Reinforcement Learning with Generative Trajectory Policies

本文介绍了生成式轨迹策略（GTPs），这是一种统一的离线强化学习框架，通过学习基于连续时间常微分方程的轨迹解映射，弥合了缓慢的扩散模型与快速的一致性模型之间的差距，在 D4RL 基准测试中实现了最先进性能，包括在具有挑战性的 AntMaze 任务中获得满分。

原作者： Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何穿过一个复杂的迷宫。你拥有一个巨大的视频库，里面记录了其他机器人尝试完成这项任务的画面，但你无法让新机器人在现实世界中练习；它必须完全通过观看这些旧视频来学习。这就是离线强化学习所面临的挑战。

问题在于，这些视频展示了多种不同的移动方式。有时机器人向左转，有时向右转，有时它会踉跄，有时则完美滑行。一个简单的大脑可能会感到困惑，试图将这些动作“平均化”，结果导致机器人只是在原地打转。它需要一个能够同时理解所有这些不同可能性的大脑。

旧困境：慢 vs. 笨

过去，研究人员试图利用两种主要类型的工具来构建这些“聪明的大脑”，但他们面临着一个令人沮丧的权衡：

慢速艺术家（扩散模型）： 想象一位艺术家，他从一个覆盖着静态噪声的空白画布开始，通过缓慢、逐步的 refinement，直到完美的图像出现。这种方法在捕捉复杂细节和不同风格（多模态行为）方面极其出色。然而，绘制一幅画需要很长时间。如果你的机器人需要每秒做出一次决策，这种缓慢的过程就太迟钝，无法实用。
快速速写者（一致性模型）： 现在想象一位速写者，他试图用一两笔快速的 strokes 画出最终的画面。它极其迅速，但由于跳过了 refinement 步骤，画出来的东西往往模糊或错误。机器人移动得很快，但因为对世界的理解过于简单，它会撞墙。

新方案：“生成轨迹策略”（GTP）

这篇论文的作者 Xinsong Feng 及其同事表示：“为什么要在慢速和快速之间做选择？让我们构建一个兼具两者的机器人大脑。”

他们引入了一种名为生成轨迹策略（Generative Trajectory Policies, GTP）的新方法。要理解其工作原理，请将机器人的移动想象成不是从 A 点到 B 点的单次跳跃，而是一段连续的旅程电影。

统一视角： 作者意识到，“慢速艺术家”和“快速速写者”实际上只是从不同角度观看同一部电影。它们都在尝试求解一个描述机器人如何从混乱（噪声）走向秩序（完美动作）的数学方程（常微分方程，或 ODE）。
魔法技巧： 与其逐帧观看电影（慢速）或瞬间猜测结局（快速），GTP 一次性学习整部电影的全图。它学习“解映射”，无论需要多少步，都能确切地告诉它如何从噪声中的任何一点到达完美的动作。

他们如何实现（两个技巧）

从头开始学习这张“整部电影的全图”非常困难。如果机器人早期猜错了，它就会陷入困惑并不断做出更糟糕的猜测。作者添加了两个巧妙的“技巧”使其变得可行：

“作弊表”（分数近似）：
通常，为了学习电影全图，机器人必须反复模拟整部电影来检查其工作。这在计算上非常昂贵。
- 类比： 想象试图通过演奏整部交响乐来检查是否击中了正确的音符，以此学习一首歌。作者说：“不，只需查看乐谱。”他们找到了一种方法，使用一个简单的直接公式（一张“作弊表”）来检查机器人的进度，而无需模拟整部电影。这使得训练既快速又稳定，防止机器人陷入混乱的螺旋。
“教练的哨声”（价值驱动引导）：
仅仅复制视频是不够的；机器人需要学会比视频中更好的动作。
- 类比： 想象一位教练观看视频库。当视频中的机器人做出导致高分的动作时，教练吹哨说：“多做那个！”当机器人做出糟糕的动作时，教练说：“别做那个。”
- 作者建立了一个系统，其中“评论家”（教练）观察机器人的训练并加权这些教训。它告诉机器人要特别关注视频中高分的动作，实际上教会它在仅仅复制的基础上进行改进。

结果

该团队在著名的D4RL挑战集上测试了这个新机器人大脑，其中包括双足行走和穿越复杂迷宫（AntMaze）等任务。

结果： GTP 击败了几乎所有其他方法。它既快得足以实用，又聪明得足以处理最困难的多步骤谜题。
亮点： 在臭名昭著的"AntMaze"任务中（机器人必须穿越一个巨大且蜿蜒的迷宫），GTP 在多个关卡上取得了满分，这是以前的方法难以做到的。

总结

简而言之，作者弥合了“慢但聪明”与“快但笨”之间的鸿沟。通过将机器人移动视为连续旅程，并利用“作弊表”高效地学习它，他们创造了一种既具有高表现力（能处理复杂、多选项行为）又具有计算效率的策略。他们证明了在离线学习中，你不必为了智能而牺牲速度。

技术摘要：基于生成轨迹策略的离线强化学习

问题陈述

离线强化学习（RL）面临一个根本性挑战：如何在没有进一步环境交互的情况下，从静态的预收集数据集中学习策略。这种设定要求策略能够从有限且往往狭窄的经验中泛化，以应对不可预测的世界。该领域的一个关键瓶颈在于策略表达能力与计算效率之间的权衡。

传统的离线 RL 方法通常依赖简单的函数近似器（例如高斯策略），难以捕捉真实世界数据集中存在的复杂、多模态行为。相反，最近的生成式方法（如扩散策略）通过建模复杂的动作分布提供了高表达能力，但其缓慢的迭代采样过程带来了巨大的计算负担。为了缓解这一问题，一致性策略被引入以加速推理（通常缩短至一步或两步），但这种简化往往导致策略性能下降。本研究解决的核心问题是：是否有可能设计出一类策略，既能实现高策略表达能力，又能具备计算效率？

方法论

1. 统一的常微分方程（ODE）框架

作者提出了一种统一的视角，将现代生成模型——包括扩散模型、流匹配、一致性模型（CMs）和一致性轨迹模型（CTMs）——视为学习由**常微分方程（ODE）**控制的连续时间生成轨迹的具体实例。

逆向过程由以下 ODE 描述：
$\frac{dx_t}{dt} = f(x_t, t)$
其中 $f(x, t)$ 定义了从噪声分布 $x_T$ 到数据样本 $x_0$ 的确定性轨迹。作者引入了流映射 $\Phi(x_t, t, s)$ ，它将时间 $t$ 的状态映射到时间 $s$ 的状态。他们认为，现有方法仅仅是该流映射特定方面的近似。

为了学习该映射，他们定义了两个互补的训练目标：

瞬时流损失（局部锚点）：通过将学习到的映射与极限 $s \to t$ 处的向量场（或去噪器）进行匹配，强制无穷小步长的正确性。这统一了扩散式去噪和流匹配速度估计。
轨迹一致性损失（全局调节器）：强制长多步跳跃之间的自一致性，确保中间步骤的组合等于直接跳跃。

2. 生成轨迹策略（GTP）

基于该框架，本文引入了生成轨迹策略（GTPs），这是一种新的策略范式，旨在学习底层 ODE 的整个解映射。与局限于缓慢的高保真采样或快速的低保真捷径的方法不同，GTP 支持灵活的多步确定性生成。

3. 离线 RL 的实际适配

将 GTP 范式转化为功能完备的离线 RL 算法需要解决三个具体挑战： prohibitive 的计算成本、训练不稳定性和目标错位。作者引入了两个关键的理论原则化适配：

稳定的分数近似：
- 挑战：学习 ODE 轨迹通常需要对每个样本使用内循环求解器向后数值求解 ODE，由于早期阶段不准确估计导致的误差传播，这在计算上是不可行的且不稳定的。
- 解决方案：作者用一个锚定在离线数据样本上的闭式代理替换了学习到的向量场： $\tilde{f}(x_t, t) = (x_t - x)/t$ 。
- 理论保证：定理 4.1 证明，使用此代理仅将训练目标改变 $O(h^p)$ （其中 $h$ 为步长），使得实际目标在渐近意义上等同于理想目标。这消除了训练过程中进行昂贵多步 ODE 积分的需求，同时确保了稳定性。
价值驱动引导：
- 挑战：标准的生成式目标匹配数据分布（行为克隆），这本身并不能导致策略改进。
- 解决方案：作者形式化了一个价值加权的训练目标。通过推导 KL 正则化策略优化问题的最优解，他们表明训练生成策略以匹配最优策略等价于求解一个加权生成目标，其中权重为优势函数的指数形式： $w(s, a) \propto \exp(\eta A(s, a))$ 。
- 实现：为确保稳定性，优势权重被归一化，且负值被截断。这使得策略能够优先模仿高优势动作，同时保持锚定在数据支持范围内。

主要贡献

生成轨迹策略（GTP）：一种新的、高表达力的策略范式，源于将现代生成模型与连续时间 ODE 轨迹相联系的综合框架。
理论适配：针对实际离线 RL 的两个关键适配：
- 一种分数近似技术，为效率和稳定性提供理论保证，消除了训练期间对迭代求解器的需求。
- 一种用于价值驱动策略改进的变分框架，弥合了模仿学习与策略优化之间的差距。
实证验证：广泛的实验表明，GTP 在 D4RL 基准测试中实现了最先进的性能，优于以往的生成式和离线 RL 方法。

实验结果

作者在D4RL 基准测试上评估了 GTP，涵盖了 Gym（运动控制）和 AntMaze（稀疏奖励、长视野）领域。

行为克隆（BC）性能：作为纯模仿学习者（无价值引导），GTP-BC 在 15 个任务中有 11 个取得了最先进的结果。值得注意的是，它显著优于 Diffusion-BC 和 Consistency-BC，特别是在具有挑战性的 AntMaze 套件中（平均得分 66.3，而次优得分为 44.1）。
策略改进：完整的 GTP 演员 - 评论家算法为生成式策略创造了新的最先进记录。
- 在Gym 任务上，GTP 实现了89.0的平均回报，超过了之前的最佳记录（Diffusion-QL 为 87.9）。
- 在AntMaze 任务上，GTP 实现了80.6的平均分，显著优于 Diffusion-QL（69.6）和 QGPO（78.3）。
- 显著成就：GTP 在 notoriously difficult 的 antmaze-umaze 任务上取得了100.0的满分。
效率：消融研究证实，GTP 并不依赖长 ODE 轨迹来获得性能；将采样视野从 5 步减少到 2 步，在保持高性能的同时大幅降低了推理延迟。

意义与主张

本文声称，GTP 成功弥合了离线 RL 中表达能力与效率之间的鸿沟。通过统一 ODE 框架的视角审视生成式策略并学习完整解映射，GTP 避免了迭代扩散模型的计算瓶颈和简化一致性模型的性能下降。

作者强调，他们的方法为设计生成式策略提供了原则性基础。分数近似和价值驱动引导的引入，使这一理论丰富的框架在实际离线 RL 中变得可行。结果表明，学习完整的连续时间轨迹为捕捉复杂、时间延伸的行为提供了强大的归纳偏置，特别是在其他方法难以应对的稀疏奖励、长视野环境中。

文章总结道，虽然推理速度很快，但减少此类模型类别的庞大训练时间仍然是未来研究的重要方向。这项工作开启了利用 RL 中连续时间动力学的有前景的方向，提供了一种此前无法实现的鲁棒性与性能之间的平衡。