Semantic Planning with Large Language Models and Vision-Language Models for Collaborative Robots: A Review
本综述通过将挑战形式化为一个受约束的落地问题，提出了一种平衡能力与可检查性的架构分类法，并概述了通过改进不确定性估计、规划验证和恢复机制来增强可靠性的路线图，从而对协作机器人的语义规划进行了回顾。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的工厂里，机器人生活在围栏之后。它们在隔离的单元中工作，被钢制屏障和安全门与人类隔离开来。如果机器人犯了错，围栏能将错误控制在内部，而且机器人的编程是固定且可预测的。然而，被称为协作机器人（collaborative robots）的新一代机器人，旨在与人类并肩工作，在没有围栏的情况下共享同一空间。这种转变将安全性的重担从物理屏障转移到了机器人自身的“大脑”上。这些机器不再仅仅遵循僵化的脚本，而是正在被教会理解自然语言和视觉线索，使得人类只需说一句，“拿起那个蓝色零件，”或“帮我组装这个，”就能期望机器人自行搞定剩下的工作。这种能力依赖于强大的计算机系统，它们可以阅读文本并识别图像，将模糊的人类请求转化为一系列物理动作。然而，随着这些机器变得更加擅长交流且功能更加强大，一个关键问题随之而来：我们能否信任它们能完全理解我们的本意，尤其是在这个混乱且不可预测的世界里？
由南方科技大学和佩沙瓦尔工程技术大学的研究人员领导的一项关于该领域的新综述，考察了这项技术的现状。作者认为，尽管这些机器人在理解语言和视觉方面表现得非常出色，但在一个更基础的层面上却失败了：它们无法可靠地将语言与周围的物理现实联系起来。问题不在于机器人很笨，而在于它们对自己的猜测过于自信。当人类要求机器人移动某个特定物体时，机器人的内部系统可能会生成一个听起来完美的执行计划。然而，如果那个物体实际上被藏在了一个盒子后面，或者机器人的手臂在物理上无法触及它，机器人通常仍会照常执行。它不会停下来检查自己的计划是否合理，而是执行动作，在无声中失败，然后进入下一步，留下人类在疑惑为什么任务没有完成。这种“无声失败”（silent failure）是该论文指出的核心危险。与那些遇到问题就会直接停止并报错的老式机器人不同，这些新系统会生成流畅、逻辑通顺但物理上不可能实现的计划，并且在即将失败时不会发出任何警告。
研究人员分析了数十个使用大语言模型和视觉语言模型来控制机器人的近期系统。他们发现，该领域的发展方向反而加剧了这些问题。在过去的几年里，这些系统的架构已经从生成人类可读并进行检查的文本，转向生成代码，最后转向生成直接的动作指令。虽然这种变化使机器人变得更快、用途更广，但也移除了原本可以通过人类或安全系统进行检查的“中间人”步骤。当今最强大的机器人往往是最缺乏透明度的。它们像一个黑盒一样运作，接收指令并产生动作，却不展示其间的推理过程。该综述强调，这种缺乏透明度的现象是安全性的主要障碍。如果机器人无法解释它为什么要这样做，或者无法承认自己不确定，它就无法成为真正的伙伴。它会变成一个“举止礼貌”的隐患。
为了理解问题的规模，作者拆解了构建真正安全可靠的协作机器人的各项要求。他们确定了当前系统难以同时满足的五个关键条件。首先，机器人必须具有“接地性”（grounded），这意味着它必须验证它所谈论的物体确实存在于房间内，且处于它认为的位置。其次，计划必须是“可行的”（feasible），确保机器人的手臂能够执行该动作而不触及自身的物理极限。第三，它必须是“安全的”（safe），即在靠近人类时遵守关于速度和力量的严格规则。第四，机器人的动作必须是“可理解的”（legible），这意味着人类伙伴仅通过观察其动作就能猜出机器人想要做什么。最后，或许也是最重要的，机器人必须能够“弃权”（abstain），即在自身信心不足以采取行动时承认这一点，并寻求帮助。综述发现，虽然有些系统在其中一两个方面表现良好，但几乎没有系统能同时满足所有条件。大多数系统擅长生成听起来正确的计划，却无法检查该计划是否真的可行，而且它们很少有机制在情况变得不确定时停下来请求人类澄清。
论文提出通过改变我们对可靠性的认知来解决这个问题。作者建议，与其拥有一个准确率极高但对错误视而不见的机器人，不如拥有一个准确率稍低但非常擅长检测自身错误的机器人。他们认为，在一段长序列的任务中，一个未被察觉的错误可能会毁掉整个工作。因此，首要任务应该是建立能够不断检查自身工作的系统。如果机器人看到某个物体缺失或抓取动作不太可能成功，它应该停下来寻求人类的帮助，而不是强行执行动作。这种方法要求我们在构建系统时进行转变。与其让人工智能模型做出所有决策，不如让模型充当“想法生成器”，而由一个独立、更简单且更可靠的系统充当“验证器”，在执行前检查这些想法。这种“验证器在环”（verifier-in-the-loop）的方法可以让机器人保留理解复杂语言的能力，同时确保每一个动作在物理上都是安全且基于现实的。
研究人员还指出，测试这些机器人的方式本身也是问题所在。大多数研究都在模拟环境或简单的、整洁的桌面任务中评估性能，在那里一切都是清晰可见且排列整齐的。这些测试无法捕捉到真实工厂车间的混乱情况，例如光照变化、物体堆叠以及人类不可预测的移动。该综述呼吁建立一种新的测试标准，包括让真实的人类在真实环境中与机器人协同工作。如果没有这种严谨的测试，该领域无法得知这些机器人是否真正准备好进入现实世界。作者强调，构建安全协作机器人的技术已经存在；缺失的是对其进行妥善验证的纪律，以及将安全性与透明度置于原始速度和通用性之上的意愿。
最终，论文得出结论：协作机器人的未来取决于“谦逊”。当今最先进的机器人往往是最过度自信的，它们生成的流畅计划往往忽略了物理约束。前进的道路需要构建那些“知道自己不知道”的系统。一个能够停下来，看着人类并说“我不确定能否够到那里，你能帮帮我吗？”的机器人，才是一个真正的协作伙伴。而一个盲目执行错误计划的机器人，无论它说话多么流利，都始终是一个隐患。这篇综述为工程师和研究人员提供了一份路线图，敦促他们超越当前的局限性，去构建不仅聪明，而且谨慎、透明且足够安全、能够与人类并肩工作的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。