💻 computer science

Adaptation of Generalist Robot Policies with Minimal Data

本文介绍了 MiDAS，一种简单的离线到在线强化学习框架，它使通用机器人策略能够快速适应新任务，并实现从仅需一次人类演示开始的稳健自主提升。

原作者： Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再仅仅遵循人类工程师编写的僵化脚本，而是像我们一样能够自主学习和进步。这就是机器人技术的“圣杯”：构建能够走进一个新房间，弄清楚需要做什么，并通过试错不断改进自己的机器。为了理解这是如何运作的，可以将机器人的大脑想象为由两个主要部分组成。首先，它需要一个“通用知识”库，就像一个关于世界运作方式的图书馆，它通过观看数百万段人类做事的视频来学习。其次，它需要学习特定的技能，比如如何打开一个特定的罐子或堆叠一组特定的积木。科学家面临的巨大挑战是，虽然机器人在获取这种通用知识方面已经做得很好，但在自主学习新特定任务方面仍然表现得很糟糕。如果你要求机器人做一件它从未见过的任务，它往往只会原地发呆或胡乱挥舞，因为它不知道从哪里开始。这就像是给一个人一张全世界的地图，却没告诉他现在在哪条街上；他拥有所有的导航工具，但如果没有一点点帮助，他就无法迈出第一步。

这是一个名为 MiDAS 的新方法的故事，它试图解决这个“第一步”问题。研究人员提出了一个简单的问题：如果我们只给机器人一段展示如何成功完成任务的视频，然后让机器人自己去摸索剩下的部分，会发生什么？通常，一段视频是不够的。这就像是看别人解了一次魔方，然后就被要求自己去解；你可能知道大概的意思，但在掌握之前很可能会经历多次失败。论文指出，通过将这段单次视频与一种聪明的从错误中学习的方法相结合，机器人实际上可以学会可靠地完成任务。他们在计算机模拟和一台双臂真实机器人上进行了测试，结果发现，即使只有一次示例，机器人也能在经过几个小时的练习后学会成功，而其他方法则会立即放弃。

问题所在：机器人的“眼神空洞”

想象一下你正在教一个机器人做三明治。你有一个超级聪明的机器人，它已经看过了数百万段人类烹饪的视频。它知道面包长什么样，知道什么是奶酪，也知道刀具是如何工作的。这是它的“预训练”大脑。但如果你走进厨房说：“给我做一个带蓝奶酪的三明治，把奶酪放在左边，”机器人可能会只是盯着你看。它知道食材，但它不知道是“这个”特定的三明治。

如果你让机器人尝试自主学习，它可能会反复失败。它可能会抓错面包，掉落奶酪，或者试图把刀插进烤面包机里。在机器人领域，这些失败被称为“稀疏奖励”（sparse rewards）。这就像玩电子游戏，只有在最后看到“你赢了！”的消息时才会得分，过程中没有任何提示或分数。如果机器人在 100 次尝试中有 99 次都失败了，它就永远拿不到那个“你赢了！”的信号，因此永远学不会。它陷入了一个失败的循环。

解决方案：一段视频和一个“残差”助手

开发 MiDAS（最小数据适配策略）的研究人员提出了一个巧妙的两步配方来打破这个循环。

第一步：“锚定”视频
首先，他们向机器人展示一段完成任务的成功视频。他们不仅仅是让机器人观看；他们使用了一种称为“行为克隆”（behavior cloning）的技术。你可以把它想象成机器人进行了一场快速且高强度的突击学习。它观察这段视频并尝试模仿动作。

发生了什么： 机器人的表现变好了。它不再呆呆地看着。它知道要抓面包，然后是奶酪，最后是刀。
代价： 它仍然很笨拙。它可能正确地抓住了面包，但因为握力太紧而掉落了奶酪，或者因为它稍微偏离了中心而没抓到盘子。它有了任务的“概念”，但缺乏“精度”。在论文的测试中，这个“单视频”机器人可以接近目标，但经常无法完成任务。

第二步：“残差”教练
这是见证奇迹的地方。MiDAS 并没有尝试从头开始重新教机器人，而是在机器人的大脑之上添加了一个轻量级的“教练”。

运作方式： 机器人的主脑（即通过那段视频训练出的脑）会说：“我认为我应该这样移动手臂。”新的“教练”（称为残差策略，residual policy）会倾听这个建议并说：“实际上，再向左移动那么一点点。”
学习过程： 机器人随后尝试这个调整后的动作。如果成功了，教练就会得到一分。如果失败了，教练会学习下次如何进行不同的调整。
为什么它很特别： 主脑保持冻结状态（它不会改变），所以机器人不会忘记从视频中学到的东西。教练很小且反应迅速，它只学习那些能将“尝试得不错”转化为“完美成功”的微小修正。

结果：从尝试到精通

团队在两个不同的虚拟世界（称为 LIBERO-Long 和 RoboCasa）以及一台名为 YAM 的双臂真实机器人上测试了这个想法。

在模拟器中：
结果非常出色。仅凭一次演示：

那些试图从零开始学习或仅仅是复制视频的标准方法几乎完全失败（成功率为 0%）。
其他试图微调机器人行为的高级方法仅能完成约 30% 到 40% 的任务。
MiDAS 平均成功完成了 91% 的任务。在某些特定任务中（如将锅放在炉子上），它的成功率达到了 98%。

在现实世界中：
他们将该方法应用于一台双臂机器人。

任务 1： 将一个绿块放入一个容器，将一个蓝块放入另一个容器。机器人看完视频后的初始成功率为 40%。经过大约 6 小时 的自主交互练习后，成功率提升到了 67%。
任务 2： 将一把刀和一个甜甜圈放在盘子里。这更难。机器人最初的成功率仅为 27%。但在 5 到 6 小时 的自主交互后，成功率跃升至 80%。

论文指出，这之所以奏效，是因为机器人的预训练大脑已经知道如何移动手臂以及物体长什么样。单次视频告诉它“要做什么”。而在线学习（教练）则填补了“如何做得完美”的空白。

这意味着什么（以及它不意味着什么）

研究人员谨慎地指出了这种方法能做什么以及不能做什么。

它擅长的地方：

它能将“可能可以”变为“确定可以”，针对的是机器人已有一定通用知识的任务。
它允许机器人进行泛化。如果你移动了物体的位置或改变了光照，机器人仍然可以处理，因为它的大脑足够聪明，可以应对这些变化。
它只需要极少的人类帮助。你不需要记录 100 段视频；一段就足够启动。

它目前还做不到的地方：

它无法教会机器人去做一件它完全没有先验知识的新事物。如果机器人以前从未见过刀或甜甜圈，一段视频是不够的。
如果任务需要一种完全不同的运动方式，它会感到困惑。例如，如果机器人需要以一种与视频相悖的方式交换两个物体的位置，它可能会产生混乱。
“6 小时”的练习对于机器人来说仍然很长。论文表明，虽然这是一个巨大的进步，但我们仍需让学习变得更快、更高效。

大局观

把 MiDAS 看作一座桥梁。在此之前，存在着巨大的鸿沟：一边是“拥有广泛通用知识的机器人”，另一边是“能完成特定工作的机器人”。你要么需要人类编写每一个动作，要么需要数百小时的试错。MiDAS 展示了，如果你给机器人一点点人类的引导（一段视频），并让它配备一个聪明的轻量级教练，它就可以靠自己跨越这座鸿沟。

作者认为，这是首次有人证明机器人可以仅通过单次演示就可靠地适应新任务。它不是解决所有问题的万灵药，但它是一个强大的新工具，表明我们正越来越接近于实现那种只需一点点帮助就能真正向我们学习的机器人。

技术摘要：基于极少量数据的通用机器人策略适配

问题定义：极少量数据适配 (Minimal-Data Adaptation, MDA)

本文探讨了如何使通用机器人策略能够以极少的人类监督来适配新任务。虽然在多样化数据集上预训练的视觉-语言-动作 (VLA) 模型提供了广泛的先验知识，但由于奖励稀疏和探索能力弱，它们在面对新环境时往往无法作为零样本学习者表现出色。相反，完全从零开始的自主学习对于当前的策略而言是难以实现的。

作者提出了极少量数据适配 (MDA) 范式，将其作为实现完全自主改进的可行代理。在这种设定下，预训练策略必须仅通过 $K$ 个成功演示（其中 $K=1$ 是最极端的情况）结合随后的自主在线交互来学习新任务。其目标并非仅仅依靠演示来解决任务，而是将演示作为一种支架，使随后的自主学习变得可行。核心挑战在于，当 $K=1$ 时，初始策略通常过于脆弱，无法一致地到达带有奖励的区域，从而导致策略在稀疏奖励下发生崩溃。

方法论：MiDAS

作者引入了 MiDAS (Minimal-Data Adaptation Strategy)，这是一种两阶段的“离线到在线”强化学习方案，旨在弥合弱预训练策略与鲁棒的任务特定控制器之间的差距。

第一阶段：用于任务锚定的行为克隆 (BC)

目标： 将零样本预训练策略 ( $\pi_{base}$ ) 转化为任务导向策略 ( $\pi^K_{base}$ )，使其能够大致尝试执行任务，即使执行过程较为脆弱。
机制： 使用低秩自适应 (LoRA) 在 $K$ 个演示上对预训练的 VLA 主干进行微调，同时使用标准的流匹配 (flow matching) 对动作头进行微调。
结果： 此阶段恢复了粗粒度的、与任务相关的行为（例如，靠近正确的物体），但无法实现可靠的控制（例如，精确的抓取或对齐）。它起到了将策略“锚定”到任务上的作用，缩小了在线学习的搜索空间。

第二阶段：通过残差强化学习进行在线改进

目标： 通过自主交互学习细粒度的修正，以克服 $\pi^K_{base}$ 的脆弱性。
机制：
- 冻结主干： 冻结任务锚定策略 $\pi^K_{base}$ 。
- 残差执行器 (Residual Actor)： 在冻结的表示之上训练一个轻量级的残差策略 ( $\pi^{res}_{\theta}$ )。与预测微小偏移量的加性残差公式不同，MiDAS 直接预测执行动作，该动作以基准策略的提议为条件（即 $a_{exec} \sim \pi^{res}_{\theta}(\cdot | s, a_{base})$ ）。这使得策略在必要时能够将动作分布移动到基准提议的紧邻邻域之外。
- 基于价值的学习： 系统使用策略无关强化学习 (PA-RL)，并配合通过时序差分 (TD) 学习训练的评论家 (critic) 集成。执行器使用“Best-of-N”蒸馏目标进行更新，其中候选动作通过对 Q 函数进行梯度上升进行精炼，然后被蒸馏回策略中。
稳定技术：
1. 离线预热： 残差执行器和评论家使用包含 $K$ 个演示以及少量来自 $\pi^K_{base}$ 展开轨迹的缓冲区进行初始化。执行器被初始化为复现基准策略的动作 ( $\mathcal{L}_{warm}$ )，以确保早期的探索仍与任务相关。
2. 成功平衡： 为了应对奖励稀疏问题（其中成功率可能低至 2-5%），经验回放池被分为通用缓冲区 ( $\mathcal{B}$ ) 和成功缓冲区 ( $\mathcal{B}_{succ}$ )。评论家更新会从这些缓冲区的混合体中采样，通过对成功轨迹进行过采样，以防止价值函数被失败案例所主导。

核心贡献

定义 MDA： 本文形式化了 MDA 范式，指出它是通用策略实现自主在线学习变得可行的关键阈值（即 $K=1$ 时）。
MiDAS 算法： 一种结合了少样本行为克隆与冻结主干残差强化学习的新颖方案。它证明了当结合预训练表示与价值引导修正时，单个演示即可引导自主学习。
实证验证：
- 仿真环境： 在 LIBERO-Long 和 RoboCasa 上，MiDAS 在单个演示的情况下实现了高成功率（例如，在 LIBERO 上约为 91%），显著优于 Filtered BC、Diffusion-Steering RL (DSRL) 和 DICE-RL 等基准方法。
- 现实世界： 该方法成功迁移到了一个双臂 YAM 平台。从一个在复杂任务（放置刀具和甜甜圈）中成功率仅约 27% 的脆弱策略开始，MiDAS 在约 6 小时的自主交互后，将鲁棒性提升至 80%。
机制洞察： 作者通过实验验证了：
- 预训练 VLA 表示对于样本效率至关重要；通用的视觉预训练（如 DINO）或从零开始训练在 $K=1$ 时无法收敛。
- 行为克隆提供了粗粒度的任务定位，但无法提供可靠的控制。
- 在线残差强化学习对于学习位于少样本策略有效支撑集之外的动作是必要的，而 DSRL 等基准方法缺乏这种能力。

结果与泛化性

性能： MiDAS 在各种长程任务中始终能恢复强大的性能。在“单演示”设定下，它在许多零样本和标准基准完全失效的任务中，实现了接近完美的成功率。
泛化性：
- 观测偏移： 该方法继承了来自冻结 VLM 主干的对视觉（颜色、纹理）和语言偏移的鲁棒性。
- 状态偏移： 在线强化学习提高了对中度状态偏移（如物体位置、形状变化）的鲁棒性，因为此时所需的操纵策略保持相似。然而，对于需要根本性新策略的偏移（如物体更换或类别改变），性能会下降，这表明了单个演示的局限性。
- 课程学习： 论文展示了通过在在线强化学习期间逐步扩大重置分布，可以在不需要额外人类数据的情况下，恢复到与使用 50 个演示训练的策略相当的泛化性能。

意义与主张

本文声称，这是利用通用预训练策略实现可靠机器人策略从单个任务演示中进行适配的首次展示。

作者认为，MDA 代表了一个关键阶段，其中三个要素的相互作用实现了自主改进：

预训练： 提供可重用的特征和广泛的动作先验。
演示： 将策略锚定到特定任务，使任务相关的行为变得可达。
自主交互： 提供必要的修正，以实现鲁棒性并处理分布偏移。

这项工作表明，现代预训练机器人策略已达到成熟水平，它们已经“足够接近”任务成功，使得在设计良好的适配策略（MiDAS）辅助下，通过在线交互可以填补剩余的差距，从而使单个演示足以驱动自主学习。论文保持了谦逊的态度，承认虽然 MDA 适用于在预训练分布中表现良好的行为，但对于需要全新行为模式或灵巧操作的任务，可能仍需要更多的监督或不同的机制。