💻 computer science

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections

本文提出了一种集合监督扩散策略（Set-Supervised Diffusion Policy, SDP），这是一种利用人类纠正动作块与机器人非理想动作块的配对对比学习来训练扩散策略的新型框架，旨在使策略对分布偏移和噪声数据具有更强的鲁棒性。

原作者： Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaoting Li, Gang Chen, Javier Alonso-Mora, Cosimo Della Santina, Jens Kober

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人完成一项精细的任务，比如组装一件家具或将一个方块推到特定位置。你扮演老师的角色，而机器人则是你的学生。

问题所在：“完美模仿者”陷阱

传统上，当我们教机器人时，会使用一种叫做**行为克隆（Behavior Cloning）**的方法。这就像是一个学生试图完美复制老师的手写字迹。如果老师写的数字“5”因为手抖而看起来有点像“6”，机器人也会试图精确地模仿那个颤抖的“6”。

在机器人领域，这是一个大问题。

偏离航线： 如果机器人犯了一个微小的错误，它就会进入一个老师从未见过的全新情境。机器人会陷入恐慌，从而犯下更大的错误。
忽略“不”： 当机器人出错时，你会介入并纠正它。你会展示正确的移动方式。但传统的训练方法只关注你做出的“正确”动作。它们完全忽略了机器人刚刚做出的“错误”动作。这就像老师说“做得好，修好了”，却从未解释为什么最初的尝试是错误的。机器人只会不断尝试复制那些“完美”的动作，却无法学会应该避免什么。

解决方案：“安全区”（集合监督扩散策略）

该论文的作者 Zhaoting Li 及其同事提出了一种新的教学方法，称为集合监督扩散策略（Set-Supervised Diffusion Policy，简称 SDP）。

他们不再告诉机器人：“请完全按照这一个特定的动作来做”，而是告诉它：“只要在这个安全区内，做任何动作都可以。”

以下是其工作原理，使用了一个简单的类比：

1. “红区”与“绿区”

想象机器人正在尝试停车。

机器人的错误（负面动作）： 机器人试图向左靠得太近，撞到了路缘石。
你的纠正（正面动作）： 你接过方向盘，将其转向中心位置。

在旧的方法中，机器人只是记住了“转向中心”。
而在 SDP 中，机器人学习的是一个安全区。它明白：“好吧，撞到路缘石（左侧）是不好的。中心是好的。所以，只要我不撞到路缘石，我可以在中间区域的任何地方停车。”

这个“安全区”被称为期望动作集合（Desired Action Set）。它赋予了机器人灵活性。它不需要做一个完美的模仿者，它只需要保持在规则区域内即可。

2. “扩散”的魔力

机器人是如何学习留在该区域内的呢？他们使用了**扩散（Diffusion）**技术。
把扩散想象成一位雕塑家在处理粘土。

起点： 机器人从一团随机、混乱的粘土（随机噪声）开始。
过程： 机器人分步进行“去噪”，通过剔除坏的部分来塑造形状。
转折点： 在 SDP 中，当机器人塑造粘土时，它有一个规则：“如果你开始将粘土塑造成撞到路缘石的形状（负面动作），请停止并将它推回安全区。”

这个过程被称为反射扩散（Reflected Diffusion）。这就像球在房间里弹跳一样。如果球撞到了墙壁（“坏区域”的边界），它会弹回房间内（“好区域”）。这确保了机器人生成的动作始终是安全且可接受的，即使它并不与你的动作完全一致。

3. 从错误中学习（对比数据）

SDP 的关键创新在于它同时利用了机器人的错误和你的纠正。

旧方法： “这是正确的动作。去复制它。”
SDP 方法： “这是错误的动作（不要这样做）以及这是正确的动作（这样做）。你的目标是找到任何一个比错误动作更好、且接近正确动作的动作。”

通过学习“不该做什么”，机器人变得更加鲁棒（健壮）。如果你的纠正动作有些颤抖或带有噪声，机器人不会陷入恐慌。它只会知道：“好吧，我需要保持在这个大致区域内”，而不是试图去复制那只颤抖的手。

他们发现了什么？

研究人员在机器人执行推物体和组装家具等任务时测试了该方法。

更好地处理噪声： 当人类老师出现失误或数据存在“噪声”（颤抖）时，SDP 机器人依然表现良好。旧有的“模仿者”机器人则会失败，因为它们试图去复制那些错误。
更好的数据收集： 由于 SDP 机器人被允许在“安全区”内进行探索，而不是仅仅复制老师，因此它能收集到更广泛的经验。这为未来的训练创造了更好的“教科书”。
现实世界的成功： 他们在真实机器人上测试了将 T 形物体插入孔中的任务。结果显示，SDP 机器人的成功率高于标准机器人，尤其是在该任务难度最大的版本中。

总结

简而言之，SDP 改变了我们教导机器人的方式——从“复制我精确的手部动作”转变为“留在这个安全区域内并避开坏的部分”。通过将机器人的错误作为边界线，并将人类的纠正作为引导，机器人学会了变得更加灵活、更加鲁棒，并且在情况变得混乱时不太容易失败。

技术摘要：集合监督扩散策略 (Set-Supervised Diffusion Policy, SDP)

问题陈述

扩散策略 (Diffusion Policies, DP) 已成为机器人操控领域的一种鲁棒框架，特别是在高维连续动作块（action-chunk）空间中。然而，与其他的行为克隆 (Behavior Cloning, BC) 方法一样，DP 容易受到分布偏移的影响，即在部署过程中，策略诱导的状态分布会偏离训练数据。一种常见的缓解策略是引入人类在环干预，即由教师在机器人失败时进行纠正。

目前的数据聚合流水线和标准的 BC 损失函数在很大程度上忽略了干预过程中机器人错误动作所提供的“负信号”。它们通常只记录教师的纠正动作，从而使学习过程偏向于教师特定的分布。这导致了对可能并不完美或带有噪声的专家数据的过拟合，并增加了对高成本、高质量干预的依赖。此外，现有的试图从偏好或纠正中学习的方法（例如直接偏好优化 DPO 或基于能量的模型 EBM 如 CLIC）在处理高维动作块方面存在困难，或者缺乏使 DP 如此有效的动作块机制的稳定性与集成度。

方法论：集合监督扩散策略 (SDP)

作者提出了 集合监督扩散策略 (SDP)，这是一个利用对比性动作块数据（成对的正向动作与负向动作）来训练扩散策略的框架。SDP 不再将教师的动作视为单一、精确的目标，而是构建了一个期望动作块集合，将其作为策略学习的集合值目标。

1. 将期望动作集扩展至动作块

基于 CLIC（其操作对象为单步动作）中的集合值监督概念，SDP 将其扩展到了动作块（动作序列 $A_t = [a_t, \dots, a_{t+T-1}]$ ）。

给定观测值 $O_t$ 和一对动作块（来自机器人的负向动作 $A^-$ 和来自人类的正向动作 $A^+$ ），SDP 定义了一个期望动作集 $\hat{A}_t$ 。
该集合被构建为一个单步期望集合 $\hat{A}^s_{t+i}$ 的序列，其中每一步都由负向动作与正向动作之间的距离定义。
如果一个动作块内的每一个单步动作都落在相应的单步期望集合内，则该动作块属于该集合。这放宽了必须匹配精确教师动作的要求，允许存在同样理想的其他替代动作。

2. 训练目标与采样

训练一个旨在最大化采样该集合概率的扩散策略并非易事，因为扩散模型并不提供标准 KL 散度损失（用于能量模型）所需的显式似然估计。

近似方法： SDP 通过最大化从目标分布中抽取的采样期望动作块列表的似然度来近似该目标。
约束采样： 为了生成这些样本，SDP 采用了反射扩散采样 (reflected diffusion sampling) 程序。在去噪过程中，如果中间样本跨越了边界，则将其投影回期望集合内。具体而言，如果去噪步骤落在集合之外，则将其投影到对应的正向动作 ( $a^+$ ) 上。这确保了生成的样本既保持在期望集合内，又贴近当前的策略分布。
损失函数： 策略使用标准的去噪损失（类似于 BC），但作用于这些采样的动作块而非原始的教师动作。

3. 数据聚合流水线

SDP 与在线交互式学习循环集成：

当人类进行干预时，系统会记录同一时间步下的教师动作 ( $A^+$ ) 和机器人未执行的动作 ( $A^-$ )。
这些配对构成了用于构建期望动作集的对比数据集。
该框架同时支持在线学习（在执行期间聚合数据）和离线学习（通过合成负向动作来增强现有的演示数据集）。

核心贡献

针对扩散策略的集合值监督： 本文引入了一个全新的框架，将集合值监督（此前仅限于 EBM 和单步动作）适配到了操作高维动作块空间的扩散策略中。
从纠正中进行对比学习： SDP 有效地利用了人类干预过程中机器人失败所提供的负向信号，而不是将其丢弃。这减少了对特定教师动作的过拟合，并提高了对噪声数据的鲁棒性。
反射采样策略： 作者提出了一个实用的训练流水线，涉及带有反射算子的约束去噪过程，用于生成用于训练扩散模型的有效期望动作块。
提升数据质量： 该方法通过鼓励在期望动作集内进行探索，在在线学习期间诱导产生更高质量的聚合数据集，从而实现比标准 BC 方法更广泛的状态覆盖。

实验结果

作者在多个模拟操控任务（Push-T, Square, PickCan, TwoArmLift）和真实世界任务（Insert-T, Round-table Assembly）中评估了 SDP。

在线交互式学习： 在准确反馈和噪声反馈设置下，SDP 在各项指标上均一致优于最先进的基准模型（DP, DP-DPO, CLIC, IBC）。值得注意的是，与标准 DP 相比，SDP 在噪声反馈下的性能下降显著减小，展示了卓越的鲁棒性。
离线学习： 在由 SDP 智能体收集的数据集上训练的策略，其表现优于在标准 DP 智能体收集的数据集上训练的策略。这表明 SDP 生成的数据集具有更好的状态覆盖度和泛化特性。
真实世界表现： 在真实世界的长程任务中，SDP 取得了比 DP 更高的成功率，特别是在包含人类纠正的数据集训练下。研究表明，该方法在利用纠正数据来提升困难任务性能方面更为有效。
消融实验： 实验证实，基于反射的采样策略对于性能至关重要，其表现优于分类器引导 (classifier guidance) 等替代方案。

意义与主张

本文主张对比监督 (contrastive supervision) 是机器人策略学习中一种强大但尚未被充分利用的信号。通过从逐点模仿转向集合值监督，SDP 缓解了标准行为克隆固有的过拟合问题。作者认为，这种方法允许策略在保持扩散模型稳定性和表达能力的同时，实现超越训练数据质量的提升（类似于强化学习）。

这项工作证明，通过人类纠正来显式建模“可接受动作”的空间，可以产生更鲁棒的策略和更高质量的训练数据，从而减少对完美专家演示的依赖。作者也承认了其局限性，例如在训练期间采样期望动作块的计算成本，以及假设使用的是绝对（而非相对）的纠正反馈。