Guided Discovery of New Behaviors using Diffusion Policies
本文提出了一个结合了 Feynman-Kac 修正器、一种新型引导势能以及迭代轨迹优化的框架，旨在系统地引导扩散策略去发现那些在训练数据有限时经常被忽视的多样化且可执行的行为。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个机器人，它通过观察人类做几次动作就学会了完成任务。这个机器人使用一种特殊的“大脑”，叫做扩散策略（Diffusion Policy）。你可以把这个大脑想象成一位记住了几道拿手菜谱的大厨。如果你请这位大厨做晚饭，他们几乎总是会做那道最著名的菜（即“主导行为”），因为那是他们最熟悉的。
然而，有时完成同一项任务还有其他有效的方法——比如切菜的方式不同，或者翻煎饼的方式很独特——而这些都是机器人在训练视频中从未见过的。这些就是“罕见行为”。问题在于，机器人的大脑倾向于忽略这些罕见的选项，只固守在安全、常见的路径上。
这篇论文介绍了一种名为 GDNB（引导发现新行为）的新方法，旨在帮助机器人发现这些隐藏的、罕见的但却有用的做法，同时确保不会出错。
以下是它的工作原理，通过简单的类比分步骤进行说明：
1. 问题所在：机器人陷入了思维定式
当机器人试图弄清楚下一步该做什么时，它通常会选择最显而易见的答案。这就像一个 GPS，它只知道主干道，拒绝为你展示风景优美的乡间小路，即使那些小路也是通往目的地的有效路径。由于训练数据有限，机器人因此错失了许多巧妙的解决方案。
2. 解决方案：“罕见事件”寻宝之旅
作者创建了一个系统，迫使机器人去观察那些“乡间小路”。他们通过三个主要阶段来实现这一点：
步骤 A：指南针（引导机器人）
通常，机器人根据它之前见过的经验来遵循地图。GDNB 添加了一个特殊的“指南针”（称为带有引导势能的 Feynman–Kac 校正器）。
- 类比： 想象机器人在迷雾森林中行走。通常，它会直奔它最常看到的树木。新的指南针并不会告诉它要去哪里，而是轻轻地将机器人推向“迷雾的边缘”——即机器人不太确定自身处于何种状态的区域。
- 目标： 它鼓励机器人生成“前沿”想法：这些动作虽然有点古怪或罕见，但还不至于离谱到无法实现。
步骤 B：安全网（局部修复）
当机器人尝试这些罕见的、古怪的想法时，它们往往会失败。机器人可能会尝试从错误的视角抓取杯子，然后把杯子掉落。
- 类比： 这可以被视为一个安全网或音叉。机器人提出了一个疯狂的想法（比如“在旋转的同时抓取杯柄”），然后一个专门的修复工具（称为基于采样的轨迹优化）会迅速修正细节。它会对动作进行微调，使其刚好不至于掉落杯子，从而将一个“失败的古怪想法”转化为一个“成功的古怪想法”。
- 结果： 机器人学到了，只要稍微调整握法，这种古怪的抓取方式其实是行得通的。
步骤 C：教案（重新训练）
一旦机器人成功执行了一个经过修复的罕见动作，系统就会将这个新的成功案例保存下来，并将其添加到机器人的训练库中。
- 类比： 这就像大厨尝试了一种新的切洋葱方法，意识到这种方法效果很好，然后将这种新技巧写进了自己的菜谱里。下次，机器人就知道这个新窍门存在，并且可以再次使用它。
3. 结果：发现新招式
研究人员测试了机器人在完成诸如推块、抬箱子和悬挂工具等任务时的表现。
- 他们的发现： 标准的机器人总是会从同一侧推动方块。而 GDNB 机器人发现，它可以通过另一侧来推动方块，或者在抓取之前先翻转盒子，甚至能以一种从未被展示过的方式在空中释放工具。
- 现实世界的证明： 他们不仅在计算机模拟中看到了这些现象，还在真实的机器人上进行了测试，机器人成功完成了这些全新的、罕见的动作。
总结
简而言之，这篇论文教会了机器人如何变得具有创造力，而不仅仅是记忆者。
- 推动机器人去尝试罕见的、不寻常的想法。
- 修复这些想法，使它们真正奏效。
- 教导机器人这个新窍门，以便它下次能记住。
这使得机器人能够发现解决问题的多种方法，使其即使在尚未见过所有可能的解决方案时，也更加灵活且能力出众。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。