🤖 machine learning

BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning

BiTrajDiff 是一种用于离线强化学习的新型数据增强框架，它利用双向扩散模型从中间状态生成未来和过去的轨迹，从而通过探索多样化的行为模式来克服数据集分布偏差并提升策略的泛化能力。

原作者： Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于BiTrajDiff论文的解释，将其拆解为简单概念并辅以富有创意的类比。

核心难题：机器人学习的“单行道”

想象一下，你正在教机器人如何穿越迷宫。你只有一段人类穿越迷宫的视频记录。但问题在于：视频中的人类只走过左边的走廊或右边的走廊，他们从未穿过中间的连接门。

在**离线强化学习（Offline RL）**领域，这是一个常见问题。机器人从静态数据集（视频）中学习，因为害怕犯错（“分布外”错误）而不敢尝试任何新事物。因此，它被困在左边或右边的走廊里，从未发现穿过那扇门可以获得更好的奖励。

现有方法试图利用 AI 来“想象”新路径。然而，大多数这些方法就像单行道生成器。

如果从左边开始，它们只会想象更多向左走的路径。
如果从右边开始，它们只会想象更多向右走的路径。
它们很少能构思出一条从左边 $\rightarrow$ 门 $\rightarrow$ 右边的路径。它们保留了原始劣质数据中的“连通性”。

解决方案：BiTrajDiff（“双向缝合器”）

作者提出了一种名为BiTrajDiff的新方法。该方法不再仅仅向前或向后看，而是同时向两个方向观察，以在断开的路径之间搭建桥梁。

这就像一位裁缝用两块不同的布料缝制一件新裙子：

锚定点（针）：AI 从原始视频中选取房间中间的一个特定点（状态）。我们称之为“锚点”。
前向线程（未来）：AI 问道：“如果我站在这个锚点上，一个好的未来是什么样子的？”它从该点生成一条向前移动的路径。
后向线程（历史）：AI 问道：“如果我站在这个锚点上，我是如何到达这里的？”它从该点生成一条向后移动的路径。
缝合：当 AI 在锚点处将这两条线程缝合在一起时，奇迹发生了。突然，它创造了一条全新的完整路径，将“左走廊”通过门连接到“右走廊”——这是一条在原始视频中从未存在过的路径。

工作原理（分步解析）

培训裁缝：系统训练了两个独立的"AI 裁缝”（扩散模型）。一个是预测未来的专家，另一个是重构过去的专家。
生成部件：系统从旧数据中随机选取一个点。它要求“未来裁缝”绘制一条向前的路径，同时要求“过去裁缝”绘制一条向后的路径。
填补空白：AI 随后使用“逆向动力学”工具来推断需要哪些动作（移动）和奖励（分数）才能使这些绘制出的路径变为现实。
质量控制（守门员）：并非每条缝合的路径都是好的。有些可能看起来很奇怪或不可能。系统设有一个“守门员”（过滤器）来检查两点：
- 是否真实？（它看起来像是在迷宫中实际可能发生的情况吗？）
- 是否优质？（它能带来高分吗？）
- 如果答案是否定的，该路径就会被丢弃。如果是肯定的，它就会被添加到训练数据集中。

为何更优

该论文在D4RL 基准测试（一套标准的机器人控制任务集，包括行走、奔跑和穿越迷宫）上对此进行了测试。

结果：通过将前向和后向路径缝合在一起，BiTrajDiff 在以前相互隔离的行为之间创建了“桥梁”。
类比：如果旧数据是一座拥有两个互不往来的图书室的图书馆，那么 BiTrajDiff 就建造了一条连接它们的走廊。现在，机器人可以阅读左图书室的书，穿过新走廊，再阅读右图书室的书。
成果：使用这种新的“缝合”数据训练的机器人，比仅使用旧数据或使用单向方法生成数据训练的机器人学得更快、表现更好。它们能够解决（例如穿越迷宫中的门）那些原始数据声称不可能完成的任务。

总结

BiTrajDiff是一种通过“想象”新体验来教导机器人的新方法。它不再仅仅猜测接下来会发生什么，而是同时猜测之前发生了什么以及接下来会发生什么，然后将它们缝合在一起，创造出一个完整且高质量的故事。这使得机器人能够从原始训练视频中缺失的“如果”情景中学习，从而克服过去经验的局限性。

技术摘要：BiTrajDiff

问题陈述

离线强化学习（RL）旨在从静态的预收集数据集中学习有效的策略，而无需进一步与环境交互。该领域的主要挑战是分布外（OOD）问题，即学习到的策略会遇到日志数据中不存在的状态 - 动作对，从而导致外推误差和价值高估。为了缓解这一问题，现有方法通常强制实施保守约束，但这无意中限制了学习过程，使其局限于数据集的结构偏差，从而限制了行为多样性和泛化能力。

最近的数据增强（DA）方法试图通过使用生成模型（特别是扩散模型）来合成新的转换，以解决这一问题。然而，当前的 DA 方法主要在单步展开范式（前向未来或后向历史）内运行，且以数据集中的状态为条件。因此，这些方法倾向于保留数据集原有的轨迹级连通性。它们能在现有的行为模式内生成局部变化，但无法恢复不同、不相连的行为模式之间的连接（例如，在导航任务中连接两个独立的房间，而原始数据中不存在跨门的轨迹）。

方法论

作者提出了BiTrajDiff（双向轨迹扩散），这是一种新颖的 DA 框架，旨在通过合成能够桥接先前不相连行为模式的轨迹，显式地恢复全局轨迹级连通性。

核心框架

BiTrajDiff 将轨迹合成分解为两个独立但互补的扩散过程：

前向 - 未来扩散：建模从中间状态开始的未来状态序列的生成。
后向 - 历史扩散：建模以同一中间状态结束的过去状态序列的重建。

这两个过程均以从离线数据集中采样的相同中间锚点状态（ $s_t$ ）以及目标累积回报信号为条件。

关键组件

双向扩散训练：
- 两个独立的扩散模型（前向为 $\epsilon_{\theta_f}$ ，后向为 $\epsilon_{\theta_b}$ ）在离线数据集上进行训练。
- 前向模型以初始状态 $s_t$ 和目标回报 $R_f$ 为条件，生成轨迹 $\{s_t, \dots, s_{t+H-1}\}$ 。
- 后向模型以终止状态 $s_t$ 和目标回报 $R_b$ 为条件，生成轨迹 $\{s_{t-H+1}, \dots, s_t\}$ 。
- 训练利用无分类器引导（CFG）来处理条件生成和无条件生成，其中累积回报作为主要条件。
双向轨迹生成与拼接：
- 在推理过程中，从数据集中采样一个锚点状态 $s_t$ 。
- 前向模型生成未来片段，后向模型生成历史片段。
- 这些片段在共享的锚点状态 $s_t$ 处进行拼接，形成完整的双向轨迹： $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$ 。
- 这种拼接机制允许合成那些在原始数据集中之前无法到达或不相连的状态之间的轨迹。
轨迹补全：
- 由于扩散模型生成的是状态序列，因此使用**逆动力学模型（IDM）**根据状态转换（ $s_t, s_{t+1}$ ）预测动作（ $a_t$ ）。
- **奖励模型（RM）**预测状态 - 动作对的奖励（ $r_t$ ）。
- 这通过动作和奖励信号补全了轨迹，形成完整的转换元组。
双向轨迹过滤：
为了确保增强数据的质量，应用了两阶段过滤机制：
- OOD 过滤器：使用孤立森林检测并移除与原始数据分布显著偏离的轨迹（新颖性检测）。
- 贪婪过滤器：根据最高累积回报选择顶级轨迹，确保增强数据将策略引导至高绩效行为。

主要贡献

局限性识别：作者指出，单步展开的 DA 方法保留了原始的轨迹级连通性，未能探索不同行为模式之间的连接。
双向合成：提出了 BiTrajDiff，该方法将生成过程显式分解为以共享锚点为条件的前向和后向过程，从而能够合成桥接不相连行为模式的轨迹。
实证验证：在 D4RL 基准测试上的大量实验表明，BiTrajDiff 在各种离线 RL 骨干网络（IQL、TD3BC、CQL、DT）上，始终优于先进的 DA 基线方法（包括 Synther、DiffStitch 和 RTDiff）。

实验结果

该论文在 D4RL 基准测试上评估了 BiTrajDiff，涵盖了运动控制、导航（Maze2D、AntMaze）和操纵（Kitchen）任务。

性能提升：BiTrajDiff 在大多数任务和算法中实现了最高的平均回报。例如，在运动控制任务中，它始终优于单方向基线。在 Maze 和 Kitchen 等稀疏奖励环境中（数据质量至关重要），BiTrajDiff 在稳定性和性能方面显示出显著改进。
消融研究：
- 方向性：BiTrajDiff（双向）始终优于仅前向和仅后向的变体，验证了拼接过去和未来片段以恢复全局连通性的必要性。
- 过滤：OOD 和贪婪过滤器的组合被证明优于单独使用其中一种或完全不使用过滤器，在多样性与可靠性之间取得了平衡。
- 增强比例：增强数据与原始数据的比例为 30%（ $\sigma=30\%$ ）时，能产生最佳稳定性和性能；过度的增强（100%）会引入噪声，从而降低性能。
n 步 TD 估计器：即使随着 n 步时域的增加，BiTrajDiff 仍保持相对于基线的性能优势，这表明生成的轨迹比其他 DA 方法生成的轨迹具有更高的质量，且与底层动力学更一致。
多样性与准确性：可视化指标（动态误差和 L2 距离）显示，BiTrajDiff 生成的轨迹具有显著更高的多样性（与原始数据的 L2 距离更大），同时保持了具有竞争力的动态准确性，而单方向方法往往倾向于过拟合原始分布。

意义与主张

该论文声称，BiTrajDiff 解决了离线 RL 数据增强中的一个根本性局限：单过程展开无法桥接不相连的行为模式。通过围绕共享锚点状态显式建模并拼接前向 - 未来和后向 - 历史轨迹，BiTrajDiff 恢复了原始数据集中缺失的全局轨迹级连通性。

作者断言，这种方法使离线 RL 算法能够从更多样化的行为模式中学习，同时不牺牲物理一致性，从而在广泛的任务和算法中带来显著的性能提升。这项工作被视为通过生成式数据增强克服保守离线学习的结构偏差的进步。未来的工作将探索在多任务设置中具有更广泛行为模式的双向生成。