💻 computer science

WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation

本文介绍了 WARP-RM，这是一种全自监督奖励模型，它通过从时间扭曲的成功演示中生成稠密相对进度信号，从而实现 WARP-BC，一种通过对混合质量数据中的动作块进行过滤和重加权，显著提升机器人在长程任务上表现的行为克隆方法。

原作者： Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing, Qianzhong Chen, Mac Schwager, Fred Shentu, Philipp Wu, Ken Goldberg

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Justin Yu, Andrew Goldberg, Kavish Kondap, Karim El-Refai, Ethan Ransing, Qianzhong Chen, Mac Schwager, Fred Shentu, Philipp Wu, Ken Goldberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人一直在努力学习如何通过观察人类来学习。虽然人类只需瞥一眼任务就能理解动作的流程，但基于视频数据训练的机器人往往会将错误与成功一并学习。如果人类操作者在思考时停顿、在处理物体时手忙脚乱，或者在成功之前尝试了一种笨拙的抓握方式，机器人会将这些犹豫视为正确路径的一部分。对于像折叠衣物或组装物体这样长而复杂的任务，这尤其是一个问题，因为一个瞬间的困惑就可能导致整个序列脱轨。多年来，研究人员一直试图教机器人忽略这些糟糕的时刻，但大多数方法需要昂贵的人工标注来精确标记错误发生的地点，或者如果视频片段中包含任何错误，他们就会丢弃整个视频片段，从而浪费了隐藏在不完美演示中的宝贵恢复动作。

加州大学伯克利分校和斯坦福大学的研究团队开发了一种新方法，可以教机器人区分生产性动作与浪费时间，且无需任何人工标签。他们创建了一个名为 WARP 的系统，全称为“扭曲增强相对进度”（Warp-Augmented Relative Progress）。研究人员并没有要求人类观看数小时的视频并在好坏时刻画框，而是教会计算机通过以不同的速度甚至反向播放视频来理解进度和方向。通过训练机器人识别与“向后”或停滞运动相比，“向前”进度是什么样子的，该系统学会了为视频中的每一帧分配一个分数。这个分数告诉机器人任务进展得有多快、是否处于停滞状态，或者是否实际上正在倒退。

研究人员在一个拥有两个手臂的物理机器人上测试了这个想法，要求它折叠装在箱子里的皱巴巴的 T 恤。他们创建了质量各异的训练数据集。在最好的数据集中，人类的演示是快速且高效的。在最差的数据集中，人类的演示充满了停顿、重试和长时间的笨拙操作。当他们用这些杂乱、低质量的视频训练标准的机器人学习系统时，机器人几乎完全失败了。它会陷入微小且无意义的调整循环中，无法完成任务。然而，当他们使用新的 WARP 系统来过滤数据时，结果发生了戏剧性的变化。该系统自动识别了视频中缓慢、犹豫的部分并降低了它们的重要性，同时保留了快速、果断的时刻。在标准机器人二十次中失败二十次的那些杂乱数据集中，经过 WARP 训练的机器人二十次中成功了十九次。此外，在面对同样质量较差的数据时，它折叠衬衫的速度比标准机器人快了近十八倍。

团队并未止步于 T 恤。他们还在一个机器人需要将塑料瓶放入箱子的任务上测试了该方法。在现实世界中，新系统将八十个瓶子中的七十四个放入了箱中，而标准系统仅成功放入了五十九个。新机器人的放置速度更快，也更具一致性。为了确保这些结果不仅仅是特定机器人硬件的偶然现象，研究人员进行了包含五百一十二种不同场景的大规模模拟。在这次虚拟测试中，新系统每小时放置 290 个瓶子，明显优于每小时只能放置 237 个瓶子的标准系统。即使与其他尝试清理数据的先进方法相比，这种新方法也始终产生了最快且最可靠的结果。

该系统之所以奏效，一个关键部分在于它如何识别进度。研究人员并没有告诉计算机“折叠好的衬衫”看起来是什么样的。相反，他们提取了人类折叠衬衫的成功视频，并以随机速度回放，有时将其减慢到极慢的速度，有时则加速。他们还播放了一些倒放视频。随后，计算机被要求猜测从片段开始到当前时刻过去了多少时间。通过学习在这些扭曲、被扰乱的视频版本中预测流逝的时间，计算机学会了理解任务的自然节奏。它学会了快速、流畅的动作通常意味着任务正在向前推进，而缓慢、颠簸的动作或向后的运动则意味着任务处于停滞或失败状态。这使得系统能够为视频的每一帧生成一个连续的分数，告诉机器人哪些部分是值得关注的，哪些应该忽略。

研究人员发现，仅仅丢弃糟糕的视频是不够的。最有效的策略是保留这些杂乱的视频，但改变机器人学习的方式。系统会提取视频中的一段动作，并查看该段末尾的进度分数。如果分数很高，意味着任务正在快速向前推进，机器人就会全力以赴地学习该段内容。如果分数很低或为负值，意味着机器人在犹豫或向后移动，系统要么完全忽略该段，要么进行极轻微的学习。这种方法让机器人能够从人类掉落衬衫又重新捡起的恢复动作中学习，而不会学到导致掉落的恐慌和犹豫。

这项工作表明，机器人不需要完美的演示也能学习复杂的技能。如果它们有一种理解数据中时间和进度流向的方法，它们就可以从杂乱的现实世界数据中学习。研究人员指出，他们的方法依赖于一种特定的数据增强类型，即视频被倒着播放，这对于真实的机器人来说在物理上是不可能的。然而，系统仍然从这种人工训练中学习到了有用的模式。虽然该方法并非适用于所有可能任务的神奇解决方案，但它提供了一个强大的新工具，让机器人能够忽略人类错误的噪声，并专注于成功行动的信号。该团队已公开了他们的代码和数据，以便其他研究人员可以在自己的机器人和任务上测试这些想法，这可能引领新一代机器人能够从不完美的日常世界中快速学习。

技术摘要：WARP-RM

问题陈述

由于人类遥操作演示质量参差不齐，扩展长程机器人操控的模仿学习面临挑战。现实世界的数据不可避免地包含犹豫、重试、停顿和次优策略。虽然策略可以从这些数据集中学习，但它们往往会模仿这些错误，导致性能下降。

现有的数据策展方法面临两个主要局限：

轨迹级过滤： 丢弃低于质量阈值的整个回合（episode）过于粗糙。它会移除嵌入在整体次优回合中的高优势片段，并且无法剔除保留演示中的局部犹豫。
帧级进度模型： 大多数现有方法依赖于绝对进度（例如归一化时间或人工标注的子任务边界）。这引入了显著的标签噪声，因为由于操作者策略或停顿的不同，相同的归一化时间戳在不同演示中可能对应完全不同的任务状态。此外，需要人工标注子任务边界的方法无法实现规模化。

方法论：WARP-RM 与 WARP-BC

作者提出了 WARP（Warp-Augmented Relative Progress，扭曲增强相对进度），这是一个完全自监督的框架，它直接从成功的演示中学习稠密的、有符号的相对进度量级，无需人工标注。

1. WARP 算法（自监督学习）

其核心创新是用于生成训练目标的**时间扭曲增强（time-warping augmentation）**策略：

时间扭曲采样器（Time-Warp Sampler）： 该算法使用非均匀播放调度对成功的演示进行重采样。它改变播放速度（从慢动作到快进）和方向（包括反向播放）。
信号生成： 通过以可变速度和方向重放演示，系统为每一帧生成一个“伪标签”，代表相对于采样窗口起始点的归一化时间位移。
- 正值： 表示向前进展（果断的运动）。
- 接近零值： 表示停滞（停顿、笨拙动作）。
- 负值： 表示退步（状态回退）。
训练目标： 模型（WARP-RM）被训练通过视觉观测来预测这些归一化时间增量。该模型使用冻结的 DINOv3 视觉主干网络和一个双向 Transformer 来输出关于累积进度分箱（bins）的概率分布。

2. WARP-RM（奖励模型）

训练好的模型 WARP-RM 接收一系列帧，并输出一个稠密的、逐帧的有符号进度速度 ( $\hat{v}_t$ )。

$\hat{v}_t \approx 1$ ：匹配平均参考演示的节奏。
$\hat{v}_t \approx 0$ ：进度停滞。
$\hat{v}_t < 0$ ：进度退步。
聚合： 来自重叠窗口的预测被聚合在一起，从而为回合中的每一帧产生一个稳定的、稠密的信号。

3. WARP-BC（行为克隆）

作者引入了 WARP-BC，这是一种利用 WARP-RM 信号来过滤和重新加权动作块（action chunks）的行为克隆变体：

过滤/重加权： 动作块根据其终止帧的进度速度 ( $\hat{v}_{end}$ ) 进行加权。
损失函数： 标准的流匹配（flow-matching）损失由 $w(s, a) = \hat{v}_{end} \cdot \mathbb{I}(\hat{v}_{end} > \tau)$ 进行加权。进度速度低或为负的动作块会被降权或完全过滤掉。
优势： 这种方法将进度速度视为优势（advantage）的代理，使策略能够专注于生产性片段，同时忽略或减弱那些不推进任务的犹豫和恢复行为。

核心贡献

WARP 算法： 一种通过创新的时间扭曲增强来学习稠密相对任务进度信号的全自监督方法，消除了对人工标注或绝对时间对齐的需求。
WARP-BC： 一种行为克隆框架，根据终止帧的进度速度对动作块进行门控和重加权，证明了这种特定的聚合策略优于块均值（chunk-mean）聚合。
现实世界评估： 在执行折叠 T 恤和瓶子入筐任务的双臂机器人上进行了广泛评估。
模拟基准测试： 使用开源 ABC 栈构建了可复现的 MuJoCo 瓶子任务模拟，提供了一个受控环境用于比较策展方法。

实验结果

T 恤折叠（现实世界）

作者评估了三个训练层级（D1, D2, D3）的表现，随着次优演示（更长的回合长度）比例增加：

鲁棒性： 随着数据集中包含更多低效演示，Vanilla BC 的性能发生崩溃（成功率从 D1 的 20/20 降至 D3 的 0/20）。
WARP-BC 表现： 保持稳健，在最困难的层级（D3）中实现了 14/20 的成功率。
吞吐量： 在存在次优数据的情况下，WARP-BC 将成功的折叠吞吐量提高了高达 ~18×。
效率： 成功尝试的平均完成时间（TTC）在使用 WARP-BC 时显著降低（例如，D1 中为 63.9s vs 113.8s）。

瓶子入筐（现实世界与模拟）

现实世界： WARP-BC 放置了 74/80 个瓶子，而 Vanilla BC 为 59/80，吞吐量从 147.8 增加到 237.8 瓶/小时。
模拟（512 个配对场景）：
- 吞吐量： WARP-BC 达到了 290 瓶/小时，优于 Vanilla BC (237) 和 SCIZOR (270)。
- 完成率： WARP-BC 在 25.0% 的场景中清空了所有六个瓶子，而 Vanilla BC 仅为 9.4%。
- 数据效率： 所有策展方法仅保留了 31.5% 的数据，但 WARP-BC 仍优于使用 100% 数据（Vanilla BC）以及其他策展基准方法。

消融实验

聚合方式： 使用终止帧速度 ( $\hat{v}_{end}$ ) 进行加权优于使用块内的平均速度。
采样器： 使用时间相关的 AR(1) 过程进行时间扭曲，比独立同分布（IID）采样具有更高的吞吐量（27.4 vs 22.8）和更高的数据保留效率。
验证： 帧级预测在区分生产性窗口与错误方面的 AUROC 为 0.83，优于本体感受速度和衣物面积变化指标。

重要性与主张

本文声称 WARP-RM 为模仿学习中的“混合质量数据”问题提供了一个可扩展的自监督解决方案。通过从绝对进度（具有噪声且依赖对齐）转向相对进度速度，该方法能够识别并优先处理果断的前进运动，同时抑制停滞和退步。

作者强调：

该方法无需人工标注子任务边界。
它是完全自监督的，仅依赖于成功的演示。
它显著提高了策略针对次优数据的鲁棒性，防止了标准行为克隆在训练噪声数据集时出现的“崩溃”现象。
该方法适用于长程、可变形物体操控（折叠 T 恤）和标准放置任务（瓶子）。

作者指出了局限性，特别是负进度信号源于反向播放（这是一种可能与现实世界因果动力学不同的近似），并且由此产生的策略仍受限于训练集中的行为。他们建议未来的工作可以整合 DAgger 或离线/在线强化学习，以超越初始演示进行泛化。