Memory as Plans: World-Action Modeling with Memory-Grounded Planning

长期以来，机器人一直是捕捉瞬时时刻的高手。如果你在机械臂前放一个杯子，它能精准地伸手、抓取并将其举起。这种能力依赖于一个简单的规则：机器人完全根据它此时此刻所看到的内容来决定下一步动作。然而，现实世界很少如此简单。许多任务要求机器人记住那些不再可见的事物。想象一下，要求机器人去寻找一个几分钟前被遮挡住的特定按钮，或者交换两个它在当天早些时候在不同位置看到的物体。为了成功，机器必须拥有对过去的心理图像，而不仅仅是关注现在。这就是记忆依赖型操控（memory-dependent manipulation）带来的挑战，这一障碍曾阻碍了机器人在我们的家庭和工作场所执行复杂的、多步骤的任务。

多年来，研究人员试图通过向机器人输入越来越多的视频历史记录来解决这个问题。他们会给机器提供一个不断增长的窗口，包含它见过的每一帧画面，希望只要看的内容足够多，它就能记住所需的细节。但这种方法遇到了难以逾越的障碍。随着历史记录变长，运行机器人的计算机速度会变慢，最终因为耗尽内存而陷入停滞。其他团队尝试将过去总结成一份简短的文字列表，但在这样做时，他们往往丢弃了精细的细节——例如物体的确切颜色或精确位置——而这些细节对于成功至关重要。结果导致了一种权衡：要么机器人反应迅速但健忘，要么细节丰富但慢到无法使用。

由一组研究人员开发的新方法彻底改变了策略。他们不再强迫机器人一边移动一边不断重读其整个历史，而是教它先制定计划。这就像是在开车时阅读地图与拥有一位导航员为你提供下一段旅程清晰指令之间的区别。研究人员将他们的系统称为 MaP-WAM。它的工作原理是将一个长任务分解为较小的片段。在机器人开始移动之前，它会查看其长期记忆——即过去经过精心挑选的稀疏快照——并为下一步编写一份具体的计划。这份计划既包括如何操作的描述，也包括一个关于机器人工作时场景应呈现样貌的视觉指南。

一旦写好这份计划，机器人就可以执行它，而无需再次查看整个历史记录。它只需要观察当前的视图和刚刚制定的计划。这使得机器人的“工作记忆”保持精简且快速，使其即使在任务变长时也能流畅运行。为了确保机器人不会迷失方向或偏离航线，该系统还会追踪其进度。它不断检查当前位置与计划中的视觉指南是否一致。如果机器人发现自己比预定位置稍慢或稍快，它就会调整内部时钟以匹配计划，从而在错误堆积之前进行纠正。这创造了一个闭环：机器人规划、行动、检查进度，然后为下一步更新记忆，同时保持其计算负载稳定。

该团队在计算机模拟和真实机器人手臂上测试了这种方法。在涉及交换方块或寻找隐藏按钮的模拟任务中，新系统成功率达到了 83.3%，优于那些在处理记忆方面表现挣扎的以往方法。在真实机器人上，完成寻找特定按钮的任务时，它实现了 88% 的成功率；而在完成按特定顺序按下按钮的任务时，成功率为 68%。至关重要的是，随着任务变得更长以及过去动作的历史记录增加，机器人决定下一步动作所需的时间基本保持不变，维持在 827 毫秒左右。相比之下，那些试图处理完整帧历史记录的旧方法在处理约 1,700 帧后就会变得极其缓慢并因内存过载而崩溃。

研究人员发现，成功的关键不仅在于拥有记忆，还在于如何使用记忆。通过将冗长、复杂的历史转化为紧凑的、基于记忆的计划，他们让机器人能够在不承担实时处理成本的情况下，保留细粒度的视觉证据。他们还发现，明确追踪进度是必不可少的；如果没有它，机器人经常会混淆视觉相似的时刻，例如按下按钮与释放按钮，从而导致重复错误。该系统证明，机器人并不需要把整个过去都装在脑子里才能明智地行动；它只需要知道如何将过去转化为一份清晰的、可执行的当下计划。这种从反应式记忆向主动式规划的转变，为开发能够处理人类生活中复杂、多步骤现实情况的机器人提供了充满希望的路径。