Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids
本文介绍了 DEED，这是一个系统级框架，通过结合高效数据后训练、经验驱动的精炼以及潜空间分析，将实验室基准测试与现实世界的零售运营连接起来，旨在以极低的计算资源在芯片补货任务上实现稳健性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在试图教一个机器人做家务，比如叠衣服或给货架补货。你可能会认为最难的部分是构建机器人的大脑，让它能够“看到”并“理解”这个世界。但在机器人领域，存在着一个微妙的鸿沟，即完美的、受控的实验室环境与混乱的、真实的商店环境之间的差距。在实验室里，机器人看起来像是天才，但一旦把它们带出门，它们可能会被地毯绊倒，或者因为光线变化或盒子稍微歪了一点而掉落物品。
为了弥补这一差距，科学家们使用了一种叫做视觉-语言-动作（VLA）模型的东西。把 VLA 想象成一个读过整个互联网的超级聪明机器人大脑。它知道“薯片袋”长什么样，它理解“把它放在架子上”这句话，并且知道如何移动手臂去完成它。这些模型非常强大，但它们就像那些只从教科书中学习过的学生。它们并没有在现实世界中真正做过作业。当事情没有按计划进行时，它们会感到手足无措，而且一旦被开启后，它们无法从自己的错误中学习。研究人员提出的重大问题是：我们如何将这些聪明但缺乏经验的机器人大脑，变成可靠的工人，而不需要花费数百万美元购买超级计算机？
这篇论文介绍了一种名为 DEED（数据高效型后训练与经验驱动学习）的新方法，正是为了解决这个问题。研究人员在 Unitree G1-Edu 机器人（一种看起来有点像人类的类人机器人）上测试了他们的想法，尝试执行一项非常具体的任务：在超市里为薯片袋补货。他们发现，让机器人工作的秘诀并不是发明一种更复杂的新型大脑架构，而是要成为一名非常细心的老师。
首先，他们意识到，仅仅下载一个预训练的机器人大脑并告诉它“开始”是不行的；机器人会完全失败。问题在于，机器人试图从杂乱、不一致的数据中学习，并且会被其摄像头和动作之间的时机问题所困扰。团队通过制定一个“数据高效型”配方解决了这个问题。他们清理了训练视频，去除了犹豫和错误，同步了机器人的摄像头速度与运动速度（这样它就不会尝试移动得比它能看到的还要快），甚至使用了一个辅助工具来突出显示机器人应该看“哪里”，比如在架子上的空位周围画一个绿框。他们还简化了机器人的工作，将其手部视为一个简单的开关，而不是试图控制每一块微小的肌肉。仅通过这些细致的调整和单张显卡，他们将一个成功率为 0% 的机器人变成了能够 32% 时间成功补货薯片的机器人。
接下来，他们尝试通过让机器人从自身经验中学习（一个被称为“经验驱动学习”的过程）来让它变得更好。他们让机器人自主尝试这项任务，当它出错时，由人类介入进行修正。机器人随后利用这些修正来更新大脑。这奏效了！经过一轮这样的练习，机器人的成功率跃升至 42%，并且其动作变得更快、更直接。
然而，论文也提出了一个关于过度操作的警示。当他们尝试第二轮练习时，机器人的表现反而变差了，成功率跌回了 22%。作者怀疑这是因为机器人开始过度依赖于它对自己“成功经验”的“幻觉”，而不是依赖人类老师给出的可靠范例。这就像如果一个学生只通过猜测自己编造的测试题来练习，最终，他们会开始忘记真正的规则。团队还构建了一个特殊的工具来实时观察机器人的大脑，测量当前情况与其训练内容相比有多“奇怪”。这个工具帮助他们准确地看到机器人何时正漂移到危险且陌生的领域。
最终，这篇论文表明，将类人机器人投入商店的最大障碍不是构建一个更聪明的大脑，而是构建一个更好的训练系统。通过仔细筛选数据，并知道何时停止让机器人进行自主“练习”，我们可以利用极少的计算能力，将一个笨拙的预训练模型转变为一名称职的工人。研究人员发现，虽然一轮自我修正会有所帮助，但过度练习则会适得其反，成功的关键在于平衡机器人的自身经验与人类演示提供的可靠引导。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。