🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRect 是一种无需训练的算法，它通过利用后退时界去噪（receding-horizon denoising）仅对最终的清晰轨迹施加约束，从而确保扩散模型中的安全规划，进而避免了现有方法中常见的因过度约束中间步骤而导致样本质量下降的问题。

原作者： Paolo Giaretta, Zeyang Li, Navid Azizan

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Paolo Giaretta, Zeyang Li, Navid Azizan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿过拥挤的房间去拿一杯咖啡。你有一个非常聪明的机器人，它已经看过了成千上万段人们这样做过程的视频。它知道如何运动的大致规律，但它并不知道现在这个房间里具体的椅子或桌子在哪里。

如果你只是要求机器人“去拿咖啡”，它可能会因为试图表现得很有“创造力”而直接撞上一张桌子。如果你试图在它规划路径的每一步都去阻止它撞到桌子，你可能会导致机器人变得僵硬、停顿，或者走出一条奇怪、颠簸的路径，因为你在过度微观管理它的每一个念头。

这就是 DiRecT 这篇论文所要解决的问题。

问题所在：“过度纠正”陷al（The "Over-Correction" Trap）

作者解释说，现有的让 AI 规划器变得安全的方法，就像是一个过度紧张、抓得太紧的家长在牵着孩子的手。

旧方法： 当机器人规划路径（分步进行）时，计算机会检查：“这一步安全吗？”如果不对，它会立即强迫机器人改变那一个特定的步骤。
缺陷： 机器人的规划过程包含大量的“噪声”或草稿。在这些草稿阶段就检查安全性，就像是在画家还在调色盘上混合颜色时，告诉他：“不要画出任何看起来像树的笔触。”这限制了机器人的创造力，并且往往导致最终结果很丑陋、动作颠簸，或者无法达到目标。

解决方案：DiRecT（“收缩时界”教练）

作者引入了 DiRecT，它更像是一位睿智的教练，而不是一个紧张的家长。

1. “清晰轨迹”的愿景（The "Clean Trajectory" Vision）
DiRecT 不会在每一个粗糙的草稿阶段检查安全性，而是等待机器人心中形成一个最终的、清晰的计划后，再问：“如果完全按照这个计划执行，我会撞到桌子吗？”

类比： 想象机器人在纸上画一条路径。旧方法试图在铅笔触碰纸面的那一刻，只要线条看起来稍微有点歪就立刻擦掉。DiRecT 则让铅笔自由绘制，然后观察完成后的画作。如果完成后的画作撞到了桌子，它才会整体地轻轻推动整个图形，使其避开障碍。

2. “收缩时界”技巧（The "Receding Horizon" Trick）
论文使用了一个叫做“收缩时界”（Receding-Horizon，受模型预测控制启发）的概念。

类比： 想象你在黑夜中开车，只有雾蒙蒙的前照灯。你只能看到前方几英尺的路。
- 旧方法： 你试图现在就为整个 100 英里的旅程规划完美的路线，尽管你根本看不清路。
- DiRect： 你观察眼前的路，为接下来的几秒钟规划一条安全的路径，行驶这段路，然后重新规划接下来的几秒钟。你根据当下所见不断更新你的计划，确保你永远不会撞墙，但你也不会强迫汽车在路面弯曲时非要走直线。

3. “无需训练”的超能力（The "Training-Free" Superpower）
最棒的部分是？DiRect 不需要重新教导机器人。它利用机器人现有的知识（“预训练模型”），只是在其规划过程之上增加了一个安全层。

类比： 这就像给一位经验丰富的司机配备了一个会提醒障碍物的 GPS。你不需要重新教司机如何开车，你只是给了他们一个工具来避开这座城市特有的坑洼。

实际应用效果

论文在多个机器人任务上测试了这一点：

迷宫导航： 一个小球在有新的、意料之外的墙壁的迷宫中滚动。DiRect 成功地导航了迷宫而没有撞墙，而其他方法则会陷入困境或发生碰撞。
机械臂： 一个机械臂在移动去抓取物体的同时避开柱子。即使柱子被放置在棘手的位置，DiRect 也确保了机械臂从未触碰到柱子。
多机器人集群： 一组机器人一起移动而不互相碰撞。即使在机器人数量增加的情况下，DiRect 也能保持它们的安全性与高效性。

核心结论

DiRect 是一种让 AI 规划器变得安全的新方法。它不是通过不断中断 AI 的思考过程来检查安全性（这会让 AI 变得笨拙），而是让 AI 自由思考，然后轻轻修正其最终计划以确保安全。这就像是允许学生在写草稿时不受恐惧束缚，然后在最后编辑版本时帮助他们完善，以确保完美，而不是在他们写完每一句话后就去打断他们。

其结果是，机器人既是安全的（不会发生碰撞），又是熟练的（动作流畅且能完成任务）。

技术摘要：DiRecT —— 基于收敛时界去噪的安全扩散规划

问题陈述

扩散模型已成为通过学习动作和轨迹的多模态分布来进行规划与控制的强大框架。然而，在安全关键型任务中部署这些模型面临着一个重大障碍：可靠的推理时安全性强制执行。现有的约束扩散采样方法通常通过将每个噪声中间去噪迭代投影到可行集上来强制执行可行性。这造成了根本性的不匹配：规划约束是定义在最终的干净轨迹上的，而中间样本本质上是带有噪声的，并不需要满足可行性。在整个采样过程中强制执行约束会过度限制学习到的逆向动力学，从而扭曲生成过程并显著降低样本质量。此外，基于投影的方法通常缺乏处理硬约束与附加软奖励或代价的统一机制。

方法论：DiRecT

为了解决这些局限性，作者引入了 DiRecT（基于收敛时界去噪且具有终端约束的扩散规划），这是一种无需训练的约束采样算法。

核心公式

DiRecT 通过 随机最优控制 (SOC) 的视角重新审视了推理时的约束强制执行。学习到的逆向扩散过程作为标称随机动力学，而控制输入则引导采样器向最终干净轨迹的可行性靠拢。至关重要的是，约束仅施加在终端干净样本上，从而避免了对噪声中间迭代进行不必要的限制。其目标是找到一个最优控制漂移 $u^*$ ，在满足最终状态 $X_0$ 位于可行集 $S$ 内的约束下，最小化代价函数（平衡终端代价与控制能量）。

算法推导

由于神经动力学的高维、非凸性质以及对所有随机路径的期望，求解完整的项约束 SOC 问题在计算上是难以实现的。DiRecT 受 模型预测控制 (MPC) 的启发，通过两个关键近似推导出了一个可扩展且易于处理的代理方案：

收敛时界代理 (Receding-Horizon Surrogate)： DiRecT 不求解全时界优化问题，而是将其分解为一系列单步子问题。在每个去噪步骤 $i$ ，它使用 Tweedie 公式 ( $\hat{x}^\theta_0(X_i, t_i)$ ) 预测当前噪声迭代所隐含的最终干净轨迹。
数据域优化 (Data-Domain Optimization)： 为了避免通过神经去噪映射重复求解约束优化问题，该算法通过不动点论证近似地反转了 Tweedie 公式。这使得优化可以从潜空间转移到 数据域。具体而言，潜在位移被近似为预测干净样本之间的缩放差值。

生成的算法（算法 1）运行如下：

采样一个先验噪声向量。
从 $t_N$ $t_{N}$ 向后迭代至 $t_0$ $t_{0}$ ：
- 计算不受控的去噪提议。
- 使用评分模型估计相应的干净样本。
- 在数据域内求解一个约束优化问题，以找到既满足硬约束 $S$ 又使代价 $C$ 最小化，同时保持接近不受控预测的精细化干净样本。
- 将此精细化过程转化回当前噪声迭代的受控更新。
返回最终的可行样本。

这种设计将随机去噪与约束满足清晰地分离，在不扭曲学习到的扩散动力学的情况下，逐步引导样本向可行最终轨迹靠拢。

核心贡献

识别关键局限性： 本文指出，在噪声中间去噪迭代上强制执行可行性会过度限制采样动力学并降低样本质量。作者提出将约束扩散规划建模为一个项约束 SOC 问题。
DiRecT 算法： 一种无需训练的约束扩散采样器，它将难以处理的约束 SOC 问题简化为一系列易于处理的干净轨迹优化子问题。它在不扭曲学习到的去噪过程的情况下，引导样本实现约束满足。
灵活性： 该方法支持现成的及特定领域的优化器，处理等式和不等式约束，并能整合环境特定的动力学先验，以及在推理时优化额外的软奖励或代价。
实验验证： 大量实验表明，与现有的基于扩散的规划基准相比，DiRect 在部署安全性及任务性能方面有显著提升。

实验结果

作者在四个不同的机器人规划基准测试中评估了 DiRecT：

安全迷宫导航 (Maze2D)： 在包含测试时障碍物的“宽”和“窄”迷宫变体中，DiRect 分别实现了 0.970 和 0.940 的安全性率 (SR)，且违规次数接近于零（分别为 0.45 和 0.23）。相比之下，Diffuser、梯度引导 (Gradient Guidance) 和投影扩散 (Projected Diffusion) 等基准方法的 SR 范围在 0.00 到 0.78 之间，且违规次数明显更高。DiRect 在确保安全性的同时保持了强大的任务得分。
安全机器人操作 (D3IL)： 在要求机械臂在避开柱体和其他约束的同时到达目标的任务中，DiRect 实现了 100% 的安全性率和 100% 的任务成功率，优于所有显示出安全性显著下降（例如梯度引导为 0.88 SR）的基准方法。
多机器人运动规划 (MRMP)： 在多达 20 个智能体的环境中进行测试，DiRect 在 约束安全性 和 成功率 方面始终优于包括 MMD-CBS 和投影耦合扩散 (Projected Coupled Diffusion) 在内的基准方法，特别是在智能体数量增加时。它在满足复杂碰撞和速度约束的同时，保持了对预期运动模式的高度遵循。
富接触操作 (PushT)： 在涉及多样化、非相交轨迹的耦合生成任务中，DiRect 变体（DiRect-LB 和 DiRect-DPP）实现了 100% 的约束满足，同时相比其他约束采样器提高了多样性（通过 DTW 和 DFD 衡量）和任务完成得分。

意义与主张

本文声称 DiRect 通过将随机去噪过程与约束满足解耦，为安全扩散规划提供了一种原则性的方法。通过仅在最终干净样本上强制执行约束，它避免了现有基于投影的方法所存在的过度限制中间动力学的问题。

作者强调 DiRect 是 无需训练 (training-free) 的，这使其能够广泛应用于现有的预训练扩散模型，而无需重新训练或微调。虽然这种灵活性引入了额外的推理时计算量（求解优化子问题），但该方法通过确保硬约束满足，为安全关键型规划提供了更强的保障，同时保留了整合软目标和特定领域动力学的灵活性。这项工作凸显了在即使一次约束违规也可能导致灾难性失败的安全关键任务中，可靠部署扩散模型的潜力。