🤖 AI

Closed-Loop Action Chunks with Dynamic Corrections for Training-Free Diffusion Policy

本文提出了 DCDP 框架，通过结合基于块的动作生成与实时动态修正机制，在不重新训练的情况下显著提升了扩散策略在动态机器人操作场景中的适应性和响应速度。

原作者： Pengyuan Wu, Pingrui Zhang, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengyuan Wu, Pingrui Zhang, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 DCDP 的新方法，旨在让机器人变得更聪明、反应更灵敏，特别是在面对“突发状况”时。

为了让你轻松理解，我们可以把机器人做任务的过程想象成一位正在开车去目的地的司机。

1. 以前的困境：要么“死板”，要么“太累”

在传统的机器人控制（Diffusion Policy）中，存在两个主要问题：

问题一：开“盲车”（Open-Loop）
- 比喻：想象司机在出发前，一次性规划好了未来 10 分钟的所有驾驶动作（比如：先直行 5 秒，再左转 3 秒，再加速 2 秒……）。一旦开始执行，他就不管路上的情况了。
- 后果：如果路上突然冲出一只猫，或者前面有个坑，司机因为已经“定好”了动作，根本来不及反应，结果就是撞车（任务失败）。
- 现状：很多机器人就是这样，虽然能规划长远的路线，但缺乏实时反应能力。
问题二：频繁“急刹车”重规划（Closed-Loop but Heavy）
- 比喻：为了解决上面的问题，另一种方法是让司机每走一步（甚至每走一米）就停下来，重新思考一遍未来的路线。
- 后果：虽然反应快了，但司机的大脑（计算资源）负荷太重了，思考时间太长，导致车开得断断续续，甚至因为犹豫而错过最佳时机。而且，频繁重规划会让动作变得不连贯，像机器人一样僵硬。

2. DCDP 的解决方案：给老司机配一个“超级副驾”

这篇论文提出的 DCDP 方法，就像给那位擅长规划长路线的“老司机”（Diffusion Policy），配了一位反应极快的“超级副驾”。

这个副驾不需要重新培训老司机（Training-Free/无需重新训练），只需要在开车过程中实时工作。

核心机制拆解：

老司机（慢速策略）：
- 负责大局观。他依然按照原来的习惯，一次性规划好未来很长一段路（比如未来 1 秒的动作序列）。这保证了动作的连贯性和流畅性，就像老司机开车很稳。
超级副驾（动态特征编码器）：
- 负责盯紧路况。他手里拿着一个“后视镜”（History Bank），时刻观察过去几秒内发生了什么变化（比如：物体是不是在动？风是不是变大了？）。
- 动态修正：副驾发现路况有变（比如杯子突然被推了一下），他会立刻给老司机递个纸条：“嘿，刚才规划的那步动作有点危险，微调一下方向！”
- 关键点：副驾只负责微调，不需要老司机重新规划整条路。
无缝配合（动态注入与解码）：
- 老司机把规划好的“动作草稿”交给副驾。
- 副驾结合刚才看到的“路况变化”，对草稿进行实时修正。
- 修正后的动作立刻执行。

3. 这个方案好在哪里？（用大白话总结）

不用重新学（Training-Free）：
- 就像你不需要让老司机重新考驾照，只需要给他加个副驾和一套新的通讯设备。原来的机器人模型完全不用动，直接就能用。
反应快且稳（Dynamic Correction）：
- 既有老司机的“长远规划”（动作连贯），又有副驾的“实时反应”（遇到突发情况能马上调整）。
- 比喻：就像打乒乓球。你既要有预判对手球路的长远策略（规划），又要在球飞过来的瞬间根据对手的假动作微调手腕（修正）。DCDP 把这两者完美结合了。
计算量小（Lightweight）：
- 副驾只需要做简单的“微调”工作，不需要像重新规划那样烧脑。
- 数据说话：论文显示，这种方法只增加了 5% 的计算量（相当于给车加了个很轻的导航仪），但在动态环境下的成功率却提高了 19%。

4. 实际效果如何？

作者在实验中测试了两种场景：

推 T 型积木（PushT）：积木被推来推去，或者被随机撞击。
- 结果：以前的机器人容易撞飞或推歪，用了 DCDP 后，机器人能像有“肌肉记忆”一样，灵活地把积木推回正确位置。
真实世界任务：
- 移动杯子接水：杯子在动，机器人要准确接住。
- 倒水进移动杯子：杯子乱动，机器人要精准倒水。
- 结果：机器人表现得非常灵活，即使杯子乱晃，也能稳稳完成任务。

总结

DCDP 就像给原本只会“按剧本演戏”的机器人，加上了一套“即兴发挥”的神经系统。

它不需要推翻重来（无需重新训练），而是通过一个轻量级的“副驾系统”，让机器人在保持动作流畅的同时，拥有了像人类一样见招拆招的实时反应能力。这让机器人在面对真实世界中那些 unpredictable（不可预测）的混乱场景时，变得更加可靠和智能。

这是一份关于论文《Closed-Loop Action Chunks with Dynamic Corrections for Training-Free Diffusion Policy》（用于免训练扩散策略的带动态修正的闭环动作块）的详细技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
基于扩散模型（Diffusion Policy）的机器人策略在静态环境下的长时序动作生成方面表现优异，但在动态场景（如抓取移动物体、应对突发干扰）中面临严重挑战。

现有方法的局限性：

开环执行（Open-loop）： 传统的扩散策略通常生成一个完整的“动作块”（Action Chunk，即未来 $H$ 步的动作序列）并在执行前一次性生成。一旦开始执行，后续动作无法根据最新的观测进行动态调整，导致在环境变化时响应滞后或任务失败。
时序建模不足： 现有方法往往依赖单帧或少量静态观测，未能充分利用连续的时间序列信息来捕捉环境的高频动态变化。
现有改进方案的缺陷：
- 缩短预测 horizon 或减少去噪步数： 虽然提高了响应速度，但牺牲了动作生成的质量和连贯性。
- 时序集成或双向解码： 虽然实现了某种程度的闭环，但要么受限于历史推断信息（非实时），要么需要单次推理采样多个序列，导致巨大的计算开销。

目标： 在不重新训练原有扩散策略的前提下，实现长时序规划的连贯性与实时动态修正能力的平衡。

2. 方法论 (Methodology)

作者提出了 DCDP (Dynamic Closed-Loop Diffusion Policy) 框架。该框架采用两阶段设计，核心思想是**“冻结预训练扩散策略 + 插入轻量级动态修正模块”**。

核心架构

DCDP 将策略分为“慢速路径”（Slow Policy）和“快速路径”（Fast Policy），并在推理阶段进行融合。

阶段一：快速动态感知策略训练 (Stage 1: Fast Dynamic-Aware Policy Training)
此阶段训练一个轻量级的辅助模块，用于提取环境动态特征并修正动作。

历史银行 (History Bank)： 维护一个包含最近 $M$ 帧观测的滑动窗口 $O_{t-M+1:t}$ 。
动态特征提取器：
- 差分特征计算： 计算连续帧特征图的差值 ( $\Delta X_t$ )，捕捉高频环境变化。
- 时序注意力 (Temporal Attention)： 学习帧与帧之间的长程依赖关系。
- 融合交叉注意力 (Fusion Cross-Attention)： 将差分动态特征与历史上下文特征进行融合，生成动态感知特征 $F_M$ 。
自监督学习 (Self-Supervised)： 利用帧间差分作为监督信号，通过 KL 散度损失函数，迫使模型学习捕捉环境变化的能力，无需额外人工标签。
变分自编码器 (VAE)：
- 使用非对称的编码器 - 解码器结构。
- 编码器： 将原始动作序列压缩为潜在向量 $z$ 。
- 解码器： 结合潜在向量 $z$ 和动态特征 $F_M$ 重构动作。通过重构损失和 KL 散度约束，强制解码器依赖最新的动态观测来生成动作。

阶段二：免训练动态注入推理 (Stage 2: Training-Free Dynamic Injection)
在推理阶段，冻结预训练的扩散策略和 VAE 编码器，仅利用训练好的动态模块进行实时修正。

慢速路径生成： 冻结的扩散策略 $\pi_s$ 基于当前观测 $o_t$ 生成一个开环的动作块 $A_{t:t+H-1}$ 。
动作编码： 使用冻结的 VAE 编码器将生成的动作块编码为潜在向量 $z_t$ 。
动态修正 (Dynamic Correction)：
- 在动作块执行的每一步 $s$ ，利用最新的观测窗口重新计算动态特征 $F_{t+s}$ 。
- 使用冻结的 VAE 解码器 $D$ ，结合潜在向量 $z_t$ 和实时动态特征 $F_{t+s}$ ，解码出修正后的动作 $\hat{a}_{t+s}$ 。
闭环执行： 这种机制使得每个时间步的动作都能根据最新的环境状态进行微调，实现了闭环控制，而无需重新规划整个序列。

3. 关键贡献 (Key Contributions)

动态闭环框架 (Dynamic Closed-Loop Framework)：
- 首次将长时序规划（扩散策略）与实时动态修正（轻量级动态模块）无缝结合。
- 既保留了扩散模型生成连贯动作序列的优势，又赋予了系统对突发环境变化的快速响应能力。
动态特征提取与动作修正机制：
- 设计了自监督的动态特征编码器，利用差分特征和注意力机制捕捉高频环境动态。
- 通过非对称 VAE 结构，将动态信息注入到动作生成过程中，使模型能灵活适应扰动和移动目标。
免训练与模块化设计 (Training-Free & Modular)：
- 无需重训： 不需要重新训练昂贵的扩散策略，只需在推理阶段插入动态修正模块。
- 即插即用： 模块化设计使其能够兼容各种基于动作块的策略，平衡了长期规划与实时控制。

4. 实验结果 (Results)

实验在 PushT 动态仿真任务及两个真实世界操作任务（移动杯子抓取、向移动杯子倒水）上进行评估。

主要数据表现：

成功率提升： 在动态扰动场景下，DCDP 相比原始扩散策略（Open-Loop）成功率提升了 19%（例如在随机扰动下从 52.8% 提升至 71.9%）。
计算开销极低： 仅增加了 5% 的额外计算量。
推理延迟： 单步推理延迟仅为 7.39ms，远低于传统闭环策略（约 53ms），支持高频闭环控制。
静态场景表现： 在静态场景下，DCDP 同样保持了高成功率（92.5%），优于原始开环策略（88.4%），证明了其闭环特性并未损害静态任务性能。

消融实验：
验证了时序注意力（TA）、自监督差分损失（SSD）和差分交叉注意力（DCA）每个模块的有效性，移除任一模块均会导致性能下降。

真实世界验证：
在 UMI 机械臂上进行的“抓取移动杯子”和“向移动杯子倒水”任务中，DCDP 展现了显著的鲁棒性，能够成功应对连续和随机的扰动。

5. 意义与价值 (Significance)

解决动态适应难题： 为基于扩散模型的机器人控制提供了一个高效、低成本的解决方案，使其能够适应非结构化、动态变化的真实世界环境。
打破算力与性能的权衡： 证明了在不重新训练大模型（扩散策略）的情况下，仅通过轻量级模块即可显著提升系统的实时响应能力，降低了部署门槛。
通用性强： 该框架的“即插即用”特性使其具有广泛的适用性，可推广至其他基于动作块的机器人策略中，为未来机器人系统的动态控制提供了新的范式。

总结： DCDP 通过巧妙的“冻结主干 + 动态微调”策略，成功解决了扩散策略在动态环境中的滞后问题，实现了高精度、低延迟且无需重训的闭环控制，是机器人模仿学习领域的一项重要进展。