Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives
本综述通过将近期的基于学习的方法组织进一个涵盖高层规划（包括对语言、代码和几何的推理）与底层动作建模的统一框架中，并强调了基础模型如何同时为规划产物和直接动作生成做出贡献，从而为基础模型时代的机器人操控提供了结构化的概述。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，机器人一直是重复动作的大师，能够在工厂里无数次地执行同样的精确动作，但当世界发生变化时，它们却显得力不从心。要将一个杯子从桌子移动到水槽，传统的机器人需要人类为每一个步骤进行编程：杯子在哪里，如何抓取它，以及如何精确地移动机械臂而不洒出液体。这种困难源于任务需要一套技能链：观察物体、理解物体是什么、构思移动它的步骤，然后物理性地控制肌肉来完成工作。几十年来，研究人员一直试图弥合机器人的“眼睛”与“双手”之间的鸿沟，但这种连接往往是脆弱且易碎的。最新一波的进展来自于一种被称为“基础模型”（foundation models）的新型人工智能。这些是基于互联网海量数据训练的大型系统，能够以一种近乎直觉的方式理解语言、图像和物理世界。它们提供了一个机会，不仅能教机器人如何移动，还能教它们如何去“思考”移动。
由来自亚洲、澳大利亚和美国各大学研究团队撰写的一项全面的新综述，绘制了这些强大的 AI 模型如何重塑机器人操控领域。在包括西安交通大学和香港科技大学在内的机构学者的领导下，作者们将这一快速发展的研究领域整理成了一个清晰的结构。他们提出，我们不应再将这些机器人视为一段单一的代码块，而应将其视为一个由两个不同层级协同工作的系统：一个负责决定“做什么”的高层规划器（high-level planner），以及一个负责解决“如何通过肌肉动作来实现”的底层控制器（low-level controller）。这一框架解释了为什么有些机器人可以遵循复杂的指令，如“煮一个土豆并把它放入回收箱”，而另一些机器人只能拿起特定的积木。
在这个系统的顶端是规划器。过去，给机器人一个复杂的指令需要将其分解为僵化的、预先写好的步骤。如今，基础模型充当了一个能够进行逻辑推理的“大脑”。该综述强调了这些模型如何将一个简单的句子分解为一系列逻辑步骤，例如“走向冰箱”、“打开门”和“抓取土豆”。一些系统使用大语言模型来生成这些计划，而另一些则编写计算机代码来描述动作。一种特别有前景的方法涉及教机器人理解世界的物理形状。这些模型不仅仅是阅读文字，而是创建三维空间的心理地图，识别物体的位置以及它们是如何组合在一起的。它们还可以学习“示能性”（affordances）的概念，即描述一个物体允许进行哪些动作；例如，把手提供了“拉”的示能，而平面则提供了“放置”的示能。通过结合语言、3D 视觉以及对物体功能的理解，这些高层规划器为机器人提供了结构化的引导。
一旦计划设定好，机器人就必须执行它。这就是底层动作模型的工作，它将抽象的计划转化为物理运动。研究人员发现，最成功的现代方法并不依赖于单一手段，而是通常融合了不同的学习策略。一些机器人通过观察人类来学习，模仿他们在视频或演示中看到的动作。另一些则通过试错法学习，即不断尝试不同的动作直到成功，这个过程被称为强化学习。论文中识别出的一个重要趋势是使用“潜在学习”（latent learning），即机器人学习将复杂的动作压缩成更简单的、隐藏的表示形式。可以把这想象成机器人学习动作的“精髓”，而不是死记硬背每一个微小的肌肉抽动，从而使其能够将相同的动作应用到不同的物体或情境中。该综述还指出，目前越来越强调使用 3D 视觉甚至触觉传感器。早期的机器人主要依赖摄像头，而新的系统开始整合触觉反馈，使它们能够感知自己是否抓得太紧，或者物体是否正在滑落，这对于精细任务至关重要。
尽管取得了这些进展，作者仍谨慎地指出，该领域远未达到完美。综述中所描述的机器人尚未准备好在每个家庭或工厂中取代人类员工。许多系统在受控环境或模拟器中表现良好，但在面对现实世界中混乱且不可预测的情况时却会遇到困难。综述指出，虽然这些模型可以对任务进行推理，但有时无法理解机器人的物理极限，例如机械臂是否真的能在不撞到墙壁的情况下触及某个位置。此外，数据方面也存在重大障碍；训练这些系统需要海量高质量的数据，而这些数据的收集既昂贵又困难。此外，安全性仍然是一个主要问题。随着机器人变得越来越自主，确保它们不会伤害人类或损坏物体，需要目前的模型并不总是具备的稳健保护机制。
研究人员总结道，未来的路径在于构建更具通用性的系统，使它们能够从多样化的经验中学习，并在无需针对每个任务重新编程的情况下适应新情况。他们认为，机器人操控的未来将取决于创造更好的评估这些系统的方法、收集更多现实世界的数据，并将视觉、触觉和听觉等多种感官整合进对世界的统一理解中。该综述如同一份路线图，表明虽然我们在教机器人思考和移动方面取得了显著进展，但通往真正智能、可适应机器的旅程才刚刚开始。这项工作并非声称已经解决了机器人操控问题，而是提供了一个清晰、有组织的视角，展示了这项技术的现状以及要使这些机器在日常生活中真正发挥作用必须克服的挑战。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。