DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
DISEIL 是一个样本高效的交互式模仿学习框架，它能够自主识别循环出现的失败模式，利用视觉语言模型生成针对性的专家演示请求，并将这些请求针对任务约束进行验证，从而以最少的专家时间实现成功率的最大化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
教机器人完成一项新任务，往往感觉就像教一个孩子骑自行车。你向他们展示如何保持平衡，他们尝试，他们摇晃，然后摔倒。如果你只是简单地记录每一次摇晃和摔倒，并强迫机器人记住这些精确的时刻，它最终会学会避免在那些特定地点摔倒，但一旦遇到稍微不同的颠簸或新的阵风，它仍会显得束手无策。这是机器人领域中一个被称为“协变量偏移”（covariate shift）的基本问题。机器人学会了导航它被展示过的路径，但一旦它犯了一个微小的错误，它就会漂移到一个它从未见过的境地，在那里它的训练无法提供任何指导，从而导致一系列连锁错误。
为了解决这个问题，研究人员使用了一种称为交互式模仿学习的方法。机器人不仅仅是观看视频，它还会尝试执行任务，当它开始出错时，人类专家或完美的计算机程序会介入，展示正确的动作。然后机器人再次练习。然而，这种方法有一个隐藏的代价：专家的时间是最稀缺的资源。人类老师不能永远都在，即使是完美的计算机程序也需要时间来生成演示。因此，关键问题不仅在于请求帮助多少次，而在于究竟该请求什么。如果你在机器人每次踉跄时都请求帮助，你可能会一遍又一遍地请求相同的纠正，在机器人已经解决的问题上浪费宝贵的时间，同时忽略了它一直在犯的另一个更危险的错误。
来自澳大利亚迪肯大学（Dequin University）的一个研究小组提出了一种管理这种有限资源的新方法，称其系统为 DISEIL。他们的工作在系列计算机模拟中进行了测试，结果表明，高效学习的关键不仅在于对失败做出反应，还在于理解背后的模式。DISEIL 并不将每一次错误视为孤立事件，而是观察一组失败尝试，并根据它们出错的方式和位置将其归类。然后，它向专家请求一次专门针对最常见或最危险的失败类别的演示，而不是仅仅修复刚刚发生的单个错误。
过程始于机器人尝试一项任务并失败。系统不会立即呼叫帮助。相反，它会等待机器人积累一小组失败尝试。然后，它分析这些失败，以寻找共同点。想象一下机器人试图将一个方块推过桌面。它可能失败是因为推得太用力，因为失去了抓力，或者因为它开始的角度不对。DISEIL 使用机器人位置和物体位置的数学描述，将这些错误分类。它可能会发现，一半的失败是因为机器人在运输过程中失去了与方块的接触，而另一半则是由于方块被推出了桌面。
一旦失败被分组，系统必须决定先修复哪一组。它寻找出现频率最高或导致最严重错误的组。然后，它使用一种能够理解文本和图像的大型语言模型（一种人工智能类型）来阅读该组失败的细节。该模型用通俗易懂的语言描述发生了什么，例如“机器人在运输过程中失去了与方块的接触”。这种描述有助于系统理解问题的性质。
接下来的步骤是最具创新性的：决定专家应该从哪里开始新的演示。在传统方法中，专家在机器人失败的那一刻被召唤，且演示从那个精确的失败点开始。这通常意味着专家不得不展示如何从已经造成的混乱中恢复。然而，DISEIL 要求专家从更早的阶段开始演示，即从一个机器人仍处于正确轨道、但即将犯下该重复出现的特定错误的状态开始。这就像一名驾驶教练不会等到汽车撞到路缘才介入，而是在驾驶员即将偏离车道时介入，展示如何保持航向，从而在错误发生前纠正。
为了确保请求是切合实际的，系统会检查关于物理世界的规则集。它验证专家被要求演示的起始位置对于机器人来说是否确实是可达的，并且通往目标的路径是畅通的。如果请求是不可能的，系统会不断修正，直到其可行为止。只有在那之后，它才会向专家请求演示。整个分析、分组和规划的过程都在呼叫专家之前完成，确保专家的每一分钟时间都花在最有价值的教训上。
研究人员在五种不同的模拟任务中测试了这种方法，范围从简单的网格导航游戏到复杂的机器人手臂动作，如抬起立方体、擦拭表面或打开门。他们将 DISEIL 与几种现有的决定何时寻求帮助的方法进行了比较。在每一次测试中，这种新方法在接受相同数量的演示后，都使机器人的成功率更高。当允许的演示次数较少时，这种优势最为显著。在仅有十次演示的严格预算下，DISEIL 的表现比次优方法高出近九个百分点。随着预算增加，差距缩小，但这种新方法仍然是最有效的。
研究还揭示了系统中哪些部分在发挥核心作用。研究人员通过逐一移除 DISEIL 的不同组件进行了测试。他们发现，最关键的部分是能够将失败归入循环模式的能力。当他们移除这个分组步骤并仅仅选择修复最严重的单个失败时，机器人的性能显著下降。用于描述失败并编写请求的语言模型虽然很有帮助，但它们并不是成功的驱动力。真正的突破在于将有限的演示分配到机器人正在犯下的不同类型的错误中，而不是让机器人陷入反复修复同一个错误的过程。
这项工作目前仅限于计算机模拟。研究人员使用了人类专家、脚本化的计算机程序和已学习的计算机策略来充当老师。在现实世界中，人类老师可能会疲劳、表现不稳定或无法完美执行任务，而真实的机器人必须利用摄像头和传感器来估计自己的位置，这引入了模拟中不存在的误差。研究人员承认，从完美的数字世界转向混乱的物理世界是一个巨大的挑战。他们还指出，他们的系统目前专注于一次练习一个回合，尚未实现对机器人长期（数月或数年）学习情况的追踪。
尽管存在这些局限性，研究结果仍为提高机器人学习效率提供了清晰的路径。核心思想是，监督是一种设计选择，而不只是对失败的反应。通过仔细选择纠正哪个失败以及从哪里开始课程，我们可以用更少的投入教会机器人更多知识。在一个专家时间昂贵而数据丰富的世界里，能够在正确的时间提出正确的问题，可能就是让机器人学习缓慢与学习快速之间的区别。这项研究表明，机器人学习的未来不在于收集更多的数据，而在于用智能进行策展，确保每一次演示都发挥作用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。