🤖 machine learning

RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback

本文介绍了 RoDiF，这是一种针对扩散策略（diffusion policies）的鲁棒微调方法，它利用统一的 MDP 公式化表述来实现无奖励的直接偏好优化（Direct Preference Optimization），并采用几何假设切割策略来有效处理长时程机器人任务中受损的人类反馈。

原作者： Amitesh Vatsa, Zhixian Xie, Wanxin Jin

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amitesh Vatsa, Zhixian Xie, Wanxin Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教导一个拥有“嘈杂老师”的机器人

想象一下，你有一个非常有天赋的机器人厨师，它是通过看电视上的名厨烹饪过程来学习的。这个机器人非常擅长遵循食谱（这就是扩散策略 Diffusion Policy）。然而，有时机器人做出的菜肴虽然“还可以”，但并不完全符合你的口味。比如，你可能更喜欢五分熟的牛排，但机器人却一直做成三分熟。

为了解决这个问题，你想教会机器人你特定的口味。你通过向它展示两份餐点并说：“我更喜欢这一个”（这就是人类反馈 Human Feedback）来进行教学。

面临的问题：

机器人的大脑非常复杂： 与简单的食谱不同，这个机器人厨师不仅仅是挑选一道菜，它还会通过许多微小的、不可见的步骤来“烹饪”这道菜（就像通过不断去除模糊照片中的噪声，直到照片变得清晰一样）。标准的教学方法会被这种多步处理过程搞糊涂。
老师很疲惫： 人类会犯错。有时你会感到疲倦，或者改变主意，或者不小心把一份糟糕的餐点标记为“好”。如果机器人试图从这些错误中学习，它可能会开始做出糟糕的食物，并认为那才是你真正想要的。

解决方案：RoDiF
作者创造了一种名为 RoDiF（鲁棒直接微调 Robust Direct Fine-Tuning）的新方法。你可以把它想象成一个超级聪明的教学助手，它能帮助机器人从一个可能会犯错的老师那里学习。

RoDiF 是如何工作的：三个简单步骤

1. “统一地图”（统一 MDP）

通常情况下，机器人的内部烹饪步骤与现实世界的厨房环境被视为两个独立的事物。这使得应用标准的教学规则变得困难。

类比： 想象一下，如果你在试图开车穿过城市的同时，还要在车内同时解开一个复杂的拼图。这会让人感到非常混乱。
解决方法： RoDiF 绘制了一张单一的、巨大的地图，将拼图求解步骤和驾驶步骤合并成一段连续的旅程。这使得机器人能够直接将其复杂的脑部逻辑应用到一种强大的新教学规则（称为 DPO）上，而不会迷失方向。

2. “假设切割”游戏

RoDiF 的核心思想在于机器人如何处理你的反馈。

类比： 想象机器人有一个装有数千种不同“性格设置”（假设）的大盒子。每当你通过说“我更喜欢餐点 A 而不是餐点 B”时，就像是用一把刀切掉盒子里包含所有会导致选择餐点 B 的性格的大块区域。
目标： 你不断地切掉那些“错误”的性格，直到盒子里只剩下“正确”的那一个。

3. “保守的切割者”（处理错误）

这是最重要的一部分。如果因为你犯了错，导致你意外地切掉了“正确”的性格怎么办？

问题： 在标准方法中，一次错误的切割可能会毁掉整个盒子。如果你不小心说了“我讨厌这份好吃的餐点”，机器人可能会永远丢弃它最好的那个性格。
RoDiF 的解决方法： RoDiF 使用了一种保守策略。它并不要求每一次切割都必须完美，而是询问：“如果我忽略掉最糟糕的 20% 的切割（即可能的错误），那个正确的性格是否依然存在？”
结果： 即使 30% 的反馈是错误的（受损的），RoDiF 也会观察所有反馈的“投票”情况。它会忽略那些嘈杂、冲突的投票，并保留那个满足大多数可靠切割的性格。这就像一位法官，他会忽略喧闹、愤怒的群众，只倾听那些冷静且一致的证人。

他们证明了什么？

作者在机器人执行长时、复杂任务（如堆叠积木、分类物品和推动物体）的过程中测试了该方法。

更好的对齐性： 他们展示了 RoDiF 可以成功引导机器人做出完全符合人类意图的行为（例如，“先堆叠红色积木”），即使机器人原本倾向于做其他事情。
卓越的噪声抵抗力： 当他们故意弄乱 30% 的反馈标签（告诉机器人错误的信息）时，标准方法失效了，导致机器人变得困惑。然而，RoDiF 表现依然出色，仿佛它能“看穿”这些谎言。
适用于不同的“大脑”： 他们在三种不同的机器人“大脑”（架构）上进行了测试，结果在所有架构上都有效。

总结

RoDiF 是一种利用人类偏好来教导机器人的新方法。它解决了两个大问题：

它找到了如何教导那些以复杂多步方式思考的机器人。
它足够强韧，能够忽略人类的错误。它不会因为你给出了错误的建议而惊慌失措；相反，它会过滤掉噪声，并最终学会正确的教训。

这使得利用人类反馈来训练处理现实世界工作的机器人变得更加安全和可靠。

技术摘要：RoDiF —— 基于受损人类反馈的鲁棒直接扩散策略微调

1. 问题陈述

扩散策略已成为机器人控制领域的一种强大范式，与传统的高斯或确定性策略相比，它在捕捉多模态分布和处理高维动作空间方面表现出卓越的能力。然而，将这些预训练策略微调以对齐特定人类偏好时，面临着两个根本性的挑战：

结构失配（Structural Mismatch）： 与自回归语言模型不同，扩散策略通过嵌套在环境马尔可夫决策过程（MDP）中的多步去噪链进行操作。现有的直接偏好优化（DPO）方法并未原生考虑这种双重时间结构（内部去噪步骤与外部环境动力学），使得推导可处理的 DPO 目标函数变得并非易事。
受损的人类反馈（Corrupted Human Feedback）： 机器人控制中的人类反馈通常是随机的，并且包含超出标准噪声假设的不一致性（例如：标签翻转、标注者分歧或非平稳准则）。盲目地在这些数据上进行微调会导致模型过拟合于冲突的比较，从而实际上是在针对错误的约束进行优化，而非针对人类意图，这会降低对齐效果并损害任务性能。

2. 方法论

所提出的框架 RoDiF (Robust Direct Fine-Tuning) 通过统一的理论公式和基于几何基础的优化策略来解决这些挑战。

2.1 统一 MDP 公式化

为了使 DPO 适用于扩散策略，作者引入了一个 统一 MDP (Unified MDP)，将扩散去噪链与环境动力学连贯地整合在一起。

状态与动作定义： 统一状态 $s^+$ 结合了当前环境状态 $s_t$ 和初始噪声向量 $a^K_t$ 。统一动作 $a^+$ 代表去噪序列 $(a^{K-1}_t, \dots, a^0_t)$ 。
转移动力学： 转移函数将该过程扁平化，将随机噪声注入和环境转移视为单个步骤。
策略分解： 统一策略 $\pi_\theta(a^+|s^+)$ 被分解为每一步条件去噪概率的乘积，从而允许在无需显式奖励模型的情况下，将标准的 DPO 重参数化技巧应用于扩散过程。

2.2 几何假设切割视角

RoDiF 通过几何视角重新诠释了 DPO 目标。

假设空间： 扩散策略的参数空间被视为一个假设空间 $\Theta$ 。
偏好即“切割”（Cuts）： 每个人类偏好对（获胜轨迹 $\tau_w$ 对失败轨迹 $\tau_l$ ）都会在参数空间上诱导一个不等式约束（即一个“切割”）。一个有效的策略参数必须满足对于该偏好对 $\Delta Q_\theta \geq 0$ 。
噪声问题： 在存在受损标签的情况下，单个错误的偏好可能会创建一个“错误切割”，将真实的优化参数 $\theta_H$ 排除在所有切割的交集之外，从而不可逆转地破坏学习过程。

2.3 保守投票策略

为了在不假设特定噪声分布的情况下实现鲁棒性，RoDiF 采用了 保守切割策略：

投票机制： 该方法并不要求参数必须满足所有偏好切割（因为如果存在任何标签受损，这将会失败），而是将每个切割视为一次投票。
保守阈值： 引入了一个保守程度 $\gamma \in [0, 1]$ ，代表对损坏率的估计上限。优化目标被放宽为保留至少满足 $\lfloor(1-\gamma)N\rfloor$ 个切割的参数。
鲁棒损失函数： 标准 DPO 损失被修改为鲁棒损失 $L_{RoDiF}$ 。用于计数投票的非微分阶跃函数（Heaviside step function）通过使用 Sigmoid 函数进行软化，以实现基于梯度的优化。这使得策略能够忽略最多 $\gamma N$ 个不一致的标签，同时仍能向真实的人类对齐策略收敛。

3. 核心贡献

统一 MDP 公式化： 一种新型公式化方法，将扩散去噪步骤与环境转移集成，从而为扩散策略推导出可处理的、无奖励的 DPO 目标。
RoDiF 算法： 一种基于几何基础的算法，通过利用保守假设切割来鲁棒地微调扩散策略。它减轻了不一致偏好标签的影响，且不需要预先了解噪声分布。
实验验证： 广泛的实验表明，在处理高维、长程操纵任务时，RoDiF 显著优于最先进的基准方法（包括标准 DPO、CPO、IPO 和 SimPO），即使在 30% 的偏好标签受损情况下也能保持高水平的对齐性能。

4. 实验结果

该方法在三个不同的扩散骨干网络（UNet、Transformer、MLP）上，针对五个长程操纵任务（避免、推动、分类、对齐、堆叠）进行了评估。

对齐有效性： RoDiF 成功地引导预训练策略转向用户指定的模式，即使这些模式在预训练策略中并非主导模式（例如，在“避免”任务中，当基准方法的对齐度小于 21% 时，RoDiF 实现了 >84% 的模式对齐）。
对噪声的鲁棒性：
- 在 0% 损坏情况下，RoDiF 的表现与标准 DPO 相当。
- 在 20% 和 30% 损坏情况下，标准 DPO 和其他基准方法（如 SimPO）性能显著下降（例如，在 20% 噪声下，SimPO 的成功率从 43% 降至 10%）。
- RoDiF 在所有噪声水平下均保持了高性能（>84% 的成功率），有效地隔离了系统性标签噪声中的转向信号。
架构无关性： 该方法在多种扩散架构（UNet、Transformer、MLP）上均证明了其有效性。
样本效率： 该框架展示了高样本效率，在特定任务中仅需 10 个“胜者-败者”对即可实现强大的对齐。

5. 重要性与主张

本文声称 RoDiF 提升了基于偏好的机器人学习的安全性和可靠性。通过显式缓解错误或不一致的人类反馈的影响，该框架降低了策略更新脆弱或不稳定的风险。这被视为在现实世界、安全敏感的环境中部署机器人系统的关键一步，因为在这些环境中，人类标注者可能会提供不完美的数据。该工作强调 鲁棒性 是负责任部署的基础要求，并提供了一种不依赖于完美数据或复杂奖励模型的解决方案。