🤖 machine learning

Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning

该论文提出了捷径轨迹规划（STP），这是一个单阶段离线强化学习框架，它采用条件捷径模型来实现高效、可调节步长的轨迹生成，在降低训练和推理成本的同时，在多种基准测试中保持了强大的性能。

原作者： Guanquan Wang, Yoshimasa Tsuruoka

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Guanquan Wang, Yoshimasa Tsuruoka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人走路、走迷宫或捡起一支笔，但你不能让机器人在现实世界中进行练习。你只有一段关于别人尝试（有时甚至失败）完成这些任务的庞大视频库。这就是**离线强化学习（Offline Reinforcement Learning）**的世界。机器人必须通过观看录像来学习，而不是通过撞墙来学习。

有一段时间，最好的方法是使用“扩散规划器（Diffusion Planners）”。把它们想象成一位非常有才华但动作缓慢的艺术家。为了给机器人画出一条完美的路径，艺术家从一个混乱的涂鸦开始，通过一步步地擦除噪声，逐渐显现出图像。擦除所有噪声需要很长时间（许多“采样步骤”），这使得机器人的反应变得迟钝。

随后，一个新的想法出现了：一致性规划器（Consistency Planners）。这些像是观察了一位大师如何画出一幅画后，尝试仅用一两笔就画出整幅画的学生。它们速度极快！但有一个代价：你必须先训练那位大师老师，然后再训练学生去模仿他们。这是一个两步走的流程，设置起来既昂贵又可能因为学生模仿得不够完美而显得有些不稳定。

新的捷径：STP

本文作者 Guanquan Wang 和 Yoshimasa Tsuruoka 提出了一种名为 快捷轨迹规划（Shortcut Trajectory Planning, STP） 的新方法。

他们没有采用缓慢的艺术家或两步走的师生系统，而是建议使用一种**“快捷模型（Shortcut Model）”**。想象一下一个超级英雄，他只需看一眼混乱的涂鸦，就能纵身一跃，直接跳到完成后的画作。或者更好一点，想象一个电子游戏角色，他可以利用同一套能力，选择迈出一大步或跳几个小碎步来到达目的地。

主要发现：
论文指出，STP 生成这些完美机器人路径的效果可以媲美复杂的师生系统，但其设置要简单得多。他们仅通过一个阶段就训练好了模型（无需老师）。在标准机器人挑战测试（如包含行走、迷宫导航和物体移动的 D4RL 基准测试）中，STQ 的表现非常强劲。

在行走任务中，它的平均得分达到了 73.9，略微超过了之前的最佳快捷方法 CTP（得分为 73.3）。
在迷宫导航中，它达到了 183.8 的平均分，超越了几乎所有其他方法。
在复杂的机械手操作任务（如移动钢笔）中，它实现了 114.3 的平均分，在所对比的方法中位居第一。

他们反对什么

论文明确反对那种认为为了获得快速、高质量的规划而必须使用两阶段师生流水线的观点。他们表明，“蒸馏（distillation）”过程（先训练老师，再训练学生）增加了不必要的成本和不稳定性。他们还认为，虽然旧的扩散方法功能强大，但其缓慢的、逐步去噪的过程对于实时控制来说过于昂贵。STP 表明，你可以拥有快捷模型的速度，而无需承担两步训练的复杂性。

他们是如何实现的（秘诀）

为了确保机器人不会仅仅选择一条在纸面上看起来很好看、但在现实中会撞墙的路径，作者添加了两个聪明的技巧：

“热启动（Warm-Start）”策略： STP 不会在每次机器人需要做出新动作时都从头开始（从一张空白、充满噪声的画布开始），而是采取当前路径并对其进行微调。这就像一名徒步旅行者，在每走一步时都不会停下来重新规划整个行程，而只是调整当前的行进方向。这使得机器人的运动更加平滑。在迷宫测试中，使用这个技巧将平均分从 150.8 提升到了 183.8。
“可行性惩罚（Feasibility Penalty）”： 有时，机器人的“评论家（critic）”（即判断路径好坏的部分）会因为追求高分而过于兴奋，从而选择一条看起来像捷径但实际上穿过墙壁的路径。作者添加了一个“可行性惩罚”，作为一种现实检查。如果路径撞墙，就会受到大幅度扣分。这在最难的迷宫（Maze2D Large）中特别有效，开启该惩罚后，分数从 181.9 跳升至 215.1。

他们有多确定？

作者基于模拟和标准数据集上的实验对结果表示信心。他们针对 150 个不同的随机种子（本质上是尝试了 150 种不同的起始条件）运行了他们的算法，以确保结果并非偶然。他们发现 STP 在行走、迷宫和操作任务中表现出一贯的优异性能。

然而，他们并不声称这是一种能解决所有机器人问题的灵丹妙药。他们指出，虽然 STP 非常出色，但其他方法（如 Diffusion-QL）在某些特定任务上仍然胜出，因为它们使用了不同的数学方式来优化价值。但对于实现快速、单阶段规划这一特定目标，论文表明 STP 是一个高效且实用的替代方案。

简而言之，论文表明，通过使用一个能够一次性学习并能自我检查现实情况的“快捷”模型，我们可以构建出规划更快、更智能的机器人，而无需复杂的两步训练学校。

技术摘要：用于高效离线强化学习的捷径轨迹规划（Shortcut Trajectory Planning）

问题陈述

离线强化学习（Offline Reinforcement Learning, RL）越来越多地依赖于基于扩散模型的轨迹规划器，通过建模行为分布并进行采样来执行决策。虽然这些方法表现出强大的性能，但其迭代去噪过程会导致高昂的推理成本，使其在实时或高频控制任务中计算成本过高。最近基于一致性模型（如 Consistency Planning, Consistency Trajectory Planning）的替代方案通过将多步扩散替换为基于一致性的生成，减少了推理步骤。然而，这些方法通常需要一个两阶段的“教师-学生”蒸馏流水线。这种方法增加了总训练成本，并引入了不稳定性，因为最终规划器的性能取决于教师模型的成功训练以及随后向学生模型成功的蒸馏。在离线 RL 中，由于面临多模态轨迹分布和分布偏移的挑战，这种不稳定性尤其是不受欢迎的。

方法论

本文提出了捷径轨迹规划（Shortcut Trajectory Planning, STP），这是一个将捷径模型（Shortcut Models）（Frans et al., 2025）作为高效轨迹生成器集成到离线基于模型的 RL 中的框架。与依赖蒸馏的一致性规划器不同，STP 在单阶段内训练一个条件捷径轨迹模型。

核心组件

捷径轨迹模型：
- 架构：规划器被参数化为一个条件捷径模型 $S_\theta(x_t, t, d | s_k)$ ，其中 $x_t$ 是带噪声的未来状态序列， $t$ 是噪声水平， $d$ 是步长， $s_k$ 是当前状态。
- 训练目标：该模型旨在预测沿生成轨迹的有限步更新。训练损失结合了一个流匹配项（Flow-matching term）（在最细尺度上锚定模型）和一个递归自一致性项（Recursive self-consistency term）。自一致性约束确保大小为 $2d$ 的捷径与两个连续的、大小为 $d$ 的捷径的组合相匹配。这使得模型能够在单个网络内支持单步、少步和多步生成，而无需教师模型。
- 轨迹表示：模型使用“跳跃步（Jumping-step）”表示法，对未来状态的子序列 $(s_k, s_{k+M}, \dots, s_{k+(H-1)M})$ 进行建模，其中 $M$ 是规划步长。这使得模型能以紧凑的生成序列实现更长的有效时界。
评论家（Critic）与可行性修正：
- 训练一个评论家网络 $V_\alpha$ 来预测去噪轨迹的累积折扣回报。
- 为了解决评论家可能给物理上不可行轨迹（例如，穿过障碍物的轨迹）分配高分的问题，STP 引入了可行性感知修正。最终的计划选择得分通过减去一个衡量约束违反情况（例如，与墙壁碰撞）的惩罚项 $\Psi$ 来进行调整。
推理过程：
- 采样：规划器通过在规定的采样预算（步长 $d = 1/K$ ）下迭代应用捷径模型来生成候选轨迹。
- 热启动策略（Warm-Start Strategy）：对于随后的环境时间步，规划器不会从纯噪声开始重新启动。相反，它通过扰动前一步去噪后的轨迹来初始化下一个轨迹。这提高了时间连贯性并减少了冗余计算。
- 动作提取：选择得分最高的轨迹（经过可行性修正后）。第一个步长转换 $(s_k, s_{k+M})$ 被传递给基于步长的逆动力学模型，以恢复可执行的动作 $a_k$ 。

主要贡献

单阶段训练：STP 消除了一致性规划器所需的两阶段教师-学生蒸馏流水线，简化了训练过程并降低了不稳定性。
可调节推理：通过对步长进行条件化处理，捷径模型支持灵活的推理预算（从单步到多步），在单个网络内平衡了规划速度和轨迹质量。
可行性感知规划：将可行性惩罚集成到计划选择过程中，防止了选择高回报但物理上无法实现的轨迹，这是生成式规划中的常见失效模式。
热启动初始化：采用热启动策略增强了时间一致性和执行平滑度，特别是在长时界任务中。

实验结果

STP 在标准的 D4RL 离线 RL 基准测试上进行了评估，包括运动控制（Gym MuJoCo）、导航（Maze2D, AntMaze）、操纵（Kitchen）和灵巧控制（Adroit）。

性能：STP 实现了与扩散模型（Diffuser, Diffusion-QL）、一致性模型（CP, CTP）以及其他 Actor-Critic 基线模型相当或更优的性能。
- 运动控制：STP 将平均得分从 73.3 (CTP) 提高到了 73.9，在六个数据集中的五个数据集上都优于 CTP。
- 导航：在 Maze2D 上，STP 在所有对比方法中取得了最佳平均性能 (183.8)。在 AntMaze 上，它将平均得分从 83.33 (CTP) 提高到了 85.33。
- 操纵：STP 在 Kitchen 和 Adroit 基准测试上均取得了最佳平均性能。
消融实验：
- 热启动：移除热启动策略显著降低了性能，在 Maze2D（平均从 183.8 降至 150.8）和 AntMaze（从 85.3 降至 68.0）中均有下降，证实了其对时间连贯性的重要性。
- 可行性惩罚：该惩罚在复杂的 Maze2D-Large 任务中带来了实质性的收益（通过过滤掉与障碍物碰撞的轨迹，将得分从 181.9 提升至 215.1），而在较简单的任务中影响微乎其微。

意义与主张

本文主张，捷径轨迹规划（STP）为基于蒸馏的生成式规划器提供了一个实用的替代方案。通过用单阶段捷径模型取代复杂的教师-学生流水线，STP 在保持快速、少步采样的能力的同时，简化了训练流程。结果表明，捷径模型对于离线基于模型的 RL 是有效的，在训练复杂度、推理成本和规划质量之间提供了稳健的平衡。作者强调，单阶段训练、高效轨迹生成以及鲁棒的推理时选择（通过热启动和可行性修正）的结合，使得基于捷径的规划成为高效离线强化学习的一个极具前景的方向。