Dynamic Object Masks as Goal Representations for Visual Goal-Conditioned Reinforcement Learning
本文提出了一种基于动态物体掩码的目标表示方法，用于视觉目标条件强化学习，该方法通过使用标准图像处理或预训练检测器来生成与物体无关的视觉线索，从而消除了对特权状态信息的需求，进而实现了高成功率、对未见物体的强泛化能力以及在机械臂上的成功实机迁移。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个机器人正在尝试学习一项新工作，比如捡起一个特定的玩具或寻找一扇隐藏的门。为了学习，机器人需要一个“目标”——即一个关于成功长什么样的清晰图像。在机器人领域，这被称为目标条件强化学习（Goal-Conditioned Reinforcement Learning）。这就像是在教狗学杂技：你不能只说“表现好”；你要说“坐下”或“去捡球”。机器人就是那只狗，而目标就是指令。
长期以来，科学家们通过给机器人非常精确的数学坐标来教授它们，比如“将手臂移动到 X、Y 和 Z”。这就像是给狗一个 GPS 地址；如果狗拥有超级计算机大脑，这行得通，但在光线变化、物体移动的混乱现实世界中，很难获得那个精确的地址。其他方法尝试向机器人展示最终结果的照片，但这就像是给狗看一张拼图完成后的照片，却没告诉它碎片是如何组合在一起的。大问题在于：我们如何给机器人一个简单的、视觉化的“目标”，使其在不需要昂贵、完美传感器的情况下也能在现实世界中运作？
这篇论文提出了一种聪明的视觉解决方案：动态物体掩码（Dynamic Object Masks）。研究人员不是给机器人复杂的数字或未来的全景照片，而是给它一个简单的、黑白的“贴纸”或掩码，用以突出目标物体。想象一下在玩“马可波罗”游戏时，你不是通过喊叫，而是举起一个只覆盖你正在寻找的人的发光贴纸。随着机器人靠近，它“视觉屏幕”上的贴纸会变大；如果它远离，贴纸就会缩小。这个掩码既充当了目标（目标物），也充当了奖励系统（贴纸的大小告诉机器人它的表现如何）。
研究人员在计算机模拟和实验室真实机器人上测试了这个想法。他们发现这种“贴纸”方法非常有效。在模拟实验中，机器人学习抓取物体的速度比使用传统方法更快、更可靠。更令人印象深刻的是，当他们在真实机器人上进行测试时——具体使用了 Franka Panda 手臂和 UR10e 手臂——该系统表现出色。机器人学会了去抓取它们从未见过的物体，在抓取训练过的物体和新颖物体时，抓取成功率均达到了 99%。
该论文还解决了一个棘手的问题：如何在机器人完成任务之前告诉它做得好不好。通常，机器人只有在任务结束时才会得到一个“做得好”的奖励，这会让学习过程变得缓慢。作者发现，掩码的大小可以作为一个持续的“进度条”。随着机器人靠近，掩码会增长，从而为机器人提供源源不断的积极反馈。这有助于机器人比以前更快地学习复杂任务，例如拿起并抬起物体。
这项研究最令人兴奋的部分之一是，机器人可以从零开始在现实世界中学习这些技能，而不需要人类为每一个动作编写程序。他们使用了预训练的 AI 模型（如 Detic 和 Grounding DINO）来自动创建这些针对机器人所见任何物体的“贴纸”（掩码）。虽然其中一个模型（Grounding DINO）在现实世界中会出现一些误报问题，但另一个模型（Detic）表现得异常出色，使得机器人仅用 60,000 步（大约 449 分钟的实时训练时间）就学会了去抓取一个梨。
作者认为，这种方法是一个重大的进步，因为它不依赖于“特权”信息——比如知道物体的精确 3D 坐标——这在混乱的现实环境中往往是无法获取的。相反，它依赖于任何摄像头都能看到的简单视觉线索。然而，他们也指出，系统的成功取决于物体检测器的质量；如果检测器漏掉了物体或产生了混淆，机器人的表现就会下降。他们并没有解决机器人领域的所有问题，但他们展示了简单的、动态的视觉掩码是教导机器人在现实世界中观察和抓取的强大且灵活的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。