Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

服务机器人不再仅仅是未来的概念；它们正开始出现在医院、酒店和公共场所，承担着引导人们和执行简单家务的任务。为了使这些机器真正有用，它们必须不仅仅是遵循预设的路径。它们需要理解人类要求它们做什么，观察周围的世界以避开障碍物或寻找特定物品，然后确定如何移动以完成工作。长期以来的挑战在于，如何将这三种能力——理解语言、观察环境和规划移动——整合进一个单一系统中，使其既足够聪明到能够提供帮助，又足够小巧且快速，能够在机器人自身的嵌入式计算机上运行。

多年来，研究人员一直试图通过构建庞大的、全能的单一人工智能系统来解决这个问题，这些系统试图同时处理所有事务。这些通常被称为视觉语言模型的系统非常强大，因为它们可以同时观察图像并阅读句子。然而，它们也极其沉重，需要巨大的计算能力，而这根本无法容纳在小型、电池驱动的机器人内部。这造成了一个困境：一个足够聪明以理解复杂指令但反应太慢、无法实时响应的机器人，或者一个反应很快但对所见之物过于迟钝的机器人。

来自印度尼西亚、日本和比利时的研究团队提出了一种不同的前进方式。他们没有强迫一个巨大的大脑去做所有事情，而是构建了一个将工作拆分为两个相互通信的专业化部分的系统。在他们的新框架中，一个快速、轻量级的视觉系统负责识别物体的任务，而一个独立的语言模型则负责理解指令并制定计划。这种分离使得机器人可以在小型嵌入式计算机上运行，而无需庞大的外部服务器。研究人员在设计用于帮助人们在公共建筑中导航的引导机器人上测试了这种方法，他们发现，通过保持任务分离，机器人能够高精度地理解复杂命令、寻找物体并移动到特定位置，同时其反应速度比全能型系统快得多。

他们使用的机器人基于一个标准的移动底座构建，配备了一个单摄像头和一个被称为 Jetson Orin Nano 的紧凑型计算芯片。该芯片功能强大到足以运行现代软件，但也足够小巧，可以安装在需要自由移动而无需连接墙壁电源插座的机器人上。研究人员编写程序让系统接受来自人类的自然语言命令，例如“去前台并找到一个人”。当机器人收到此类命令时，系统的语言部分会将指令分解为一系列步骤。它会决定机器人需要移动到特定位置，然后寻找一个人。至关重要的是，它会准确地告诉视觉部分应该寻找什么，而不是让视觉系统去猜测什么可能重要。

这种分工是该系统速度的关键。在传统的全能型系统中，计算机必须同时处理整个图像和整个句子，这需要很长时间。而在这种新设置中，语言模型快速决定机器人需要寻找“人”，然后向视觉检测器发送一条简单、简短的指令，要求其仅寻找该特定物体。视觉检测器设计得非常快速，它扫描摄像机画面并报告是否看到了人。因为视觉系统不会浪费时间分析房间里的每一件东西，语言系统也不会浪费时间尝试解析像素，所以整个过程发生得快得多。研究人员测量了这种速度差异，并发现，根据计算机是在本地运行还是连接云端服务器，他们的拆分系统比全能型系统快了三到二十倍。

为了观察这种方法在现实世界中是否奏效，团队进行了一系列测试。首先，他们测试了机器人单独执行移动命令的能力，要求它前往最近的房间或前台。在这些测试中，机器人成功规划了路线并在 96% 的情况下到达了正确目的地。接着，他们加入了视觉组件，要求机器人前往某个位置并寻找特定物体，如消防栓、椅子或人。在这些更复杂的场景中（即机器人需要导航并随后进行搜索），系统的成功率为 84%。少数发生的失败通常是因为机器人的单摄像头在判断物体确切距离方面存在困难，导致其停止得稍早或稍晚，而不是因为它误解了命令或未能看到物体。

研究人员还将该系统从计算机模拟转移到了实际建筑大堂中的物理机器人上。他们给予了机器人相同类型的命令，机器人可靠地执行了任务，在空间中导航，停下来寻找人，并向用户进行语音反馈。这次实地测试证实，该系统可以处理真实环境中的复杂情况，包括行人走过和光照条件变化，而无需对软件进行任何结构性更改。结果表明，机器人可以理解人类的声音，确定去向，找到所需之物，并执行任务，同时全程在适合安装在机器人上的小型计算机上运行。

这项研究表明，服务机器人的未来可能不在于让机器人的大脑变得更大、更复杂，而在于组织它们的思考方式。通过将“看”的工作与“推理”的工作分离，研究人员证明了机器人可以既具备高度能力又具备高效性。虽然全能型系统令人印象深刻，但它们对于移动机器人来说往往过于沉重，难以实际应用。这种混合方法提供了一条前进的路径，让机器人可以部署在医院、酒店和办公室中协助人们，能够快速响应指令并在拥挤的空间中安全移动。这项工作并不声称已经解决了机器人领域的每一个问题，但它为制造出既聪明到能提供帮助、又快到能发挥作用的机器人提供了一种清晰且经过验证的方法。