Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

该论文介绍了 GRASP，这是一个利用预训练视觉语言模型将自然语言转化为具身边界框目标的神经符号规划框架，使机器人能够在无需针对特定任务进行训练的情况下，实现零样本开放词汇桌面物体操控，并在真实机器人上的成功率达到 73.3%。

要点

想象一下，你有一个放在桌子上的机械臂，你想让它去捡起特定的物品并把它们放在特定的地方。通常情况下，为机器人编程就像教狗学复杂的动作：你必须向它展示成千上万次，或者必须给它非常死板、枯燥的指令，比如“向左移动5英寸，向上移动2英寸”。如果你说了一些新的内容，比如“把红色的东西放在顶层架子上”，机器人往往会感到困惑，因为它以前从未见过这个完全相同的指令。

这篇论文介绍了一个名为 GRASP（基于视觉理解的推理与符号规划）的新系统，它充当了机器人的智能翻译官和 GPS。它让机器人能够理解自然语言，并弄清楚如何移动，而无需针对每个新任务进行重新训练。

以下是它的工作原理，分为简单的几个步骤：

1. “翻译官”（大脑）

当你对机器人说话时，比如“把所有的蓝色物体放在顶层架子上”，系统不仅仅是听到了单词；它将这些话翻译成了一张地图。

• 类比： 想象一个向游客提供指引的人类。人类不会说“前往坐标 X, Y”，而是说“找到那栋蓝色的建筑，然后去顶层”。
• GRASP 的做法： 它使用一个强大的 AI（称为大语言模型）将你的句子转化为一系列“目标”。它能搞清楚什么是“蓝色物体”，并将“顶层架子”定义为屏幕上的一个特定区域。它创建了一个完成任务所需的数字清单。

2. “眼睛”（视觉）

一旦机器人知道了目标，它就需要找到这些物体。

• 类比： 想象你在杂乱的房间里寻找钥匙。你不会随机扫描每一个物品，而是寻找钥匙的形状和颜色。
• GRASP 的做法： 它使用一个专门的“眼睛”（一个名为 GroundingDINO 的计算机视觉模型），该模型已经过训练可以识别成千上万种事物。它扫描桌面，并在符合你描述的物体周围画出隐形的框（例如，它会在蓝色瓶子周围画一个框）。

3. “方向盘”（控制）

这是最独特的部分。机器人不再尝试记忆抓取物体的复杂路径，而是使用一个简单的、连续的反馈循环。

• 类比： 想象在玩“靠近或远离”（Hot and Cold）的游戏，或者对着移动的目标瞄准相机。你不需要计算精确的数学公式来一次命中目标。相反，你会观察目标在哪里，向它移动一点，再看一眼，再移动一点。你会不断调整，直到你正好位于目标上方。
• GRASP 的做法： 机器人观察屏幕上物体周围的“框”。如果框位于视野中心的左侧，机器人就会将手臂稍微向左移动。如果框太小（意味着物体很远），它就会靠近。它会一遍又一遍地这样做，不断修正路径，直到物体完美地位于其“夹爪”的正中心。

为什么这很特别？

大多数先进的机器人系统都像是重量级运动员，需要长年的训练（数千次的练习尝试）来学习一项新任务。它们运行起来也非常缓慢且昂贵。

GRASP 则像是一个轻量级、适应力强的徒步旅行者。

• 无需训练： 它不需要针对特定任务进行练习。如果你要求它捡起一个“品红色马克笔”或“青柠绿剪刀”，它会利用预训练的“眼睛”和“翻译官”在现场即时搞定。
• 它很稳健： 因为它会不断检查自己的位置（“靠近或远离”循环），所以即使物体轻微移动或相机角度不完美，它也能应对。它不仅仅是猜测并祈祷，它在实时进行自我修正。

结果

研究人员使用不同难度的任务测试了这个系统，从简单的任务（捡起一个大积木）到困难的任务（捡起像螺丝刀这样细小且棘手的物品）。

• 成功率： 该机器人整体上大约有 73% 的时间能成功抓取正确的物品。
• 失败之处： 它主要在“眼睛”无法清晰看到物体时（例如物体太远或光线不好时）遇到困难，而不是因为机器人的“大脑”给出了错误的指令。

总结

GRASP 是一个让你能像与人交流一样与机器人交谈的系统，机器人结合了 AI 翻译和持续视觉修正来搞清楚如何抓取物体。它跳过了繁重的训练和死板的编程，使其成为处理如桌面物品分类等日常任务时更灵活的工具。

技术摘要

技术摘要：GRASP —— 基于神经符号规划的语言条件抓取

问题陈述
将机器人集成到动态的家庭和工业环境中，要求机器能够实时响应自然语言指令。虽然视觉语言模型（VLM）和大型语言模型（LLM）已实现了任务与运动规划（TAMP）中的零样本泛化，但目前的尖端方法仍面临显著局限。许多方法依赖于“重量级”模型，需要对数千个演示进行大量训练，或者依赖于僵化的符号结构（例如固定的颜色列表或硬编码的坐标），这些结构无法捕捉诸如“顶层架”之类的抽象空间概念。此外，现有的流水线往往将高层推理与底层控制耦合在一起，从而在效率和模块化方面造成瓶颈。目前迫切需要一种能够将灵活的语言理解与鲁棒、可解释的执行相结合，且无需特定任务微调或策略学习的框架。

方法论：GRASP 框架
作者引入了 GRASP（基于接地推理与符号规划），这是一个专为开放词汇桌面操作设计的轻量级神经符号框架。GRASP 通过两个组件构成的架构将高层推理与底层控制解耦：

1. 神经组件（感知与推理）：

   • 目标状态生成： 一个 LLM（实验中具体使用 GPT-5.2）解析自然语言指令，生成显式的符号目标状态。这包括提取目标物体查询（例如“蓝色物体”）并将空间约束（例如“顶层架”）映射为图像坐标阈值（例如 $y \leq \tau_1$）。其输出是期望边界框的 JSON 表示形式。
   • 物体检测： 使用预训练的视觉语言模型 GroundingDINO (G.DINO)，根据 LLM 提取的标签来检测场景中的物体。选择 G.DINO 是因为它能够将检测限制在定义的标签集内，并且相对于其他 SOTA VLM 具有较强的性能。它从全局货架摄像头和末端执行器摄像头提供连续的边界框检测流。

2. 符号组件（规划与控制）：

   • 目标相似度评估： 系统计算 LLM 生成的目标状态与实时检测之间的归一化相似度分数 ($S$)。该分数结合了交并比（IoU）和边界框中心之间的欧几里得距离。如果相似度超过阈值，或者连续多帧未检测到物体，则任务终止。
   • 闭环运动控制： 系统采用离散时间闭环控制流水线。它计算检测到的边界框中心与相机光心之间的误差。比例 Roll-Pitch-Yaw (RPY) 控制器根据此误差调整机器人的末端执行器。
   • 稳定机制： 为了确保稳定性，控制器对误差信号使用指数平滑，并使用**死区（deadband）**来抑制抖动。系统根据检测器中最高的逻辑值（置信度）来选择目标物体。

核心贡献
论文概述了三项主要贡献：

• GRASP 框架： 一个神经符号系统，能将自然语言指令编译为显式的符号目标状态，并通过预训练的 VLM 实现接地，无需额外的微调。
• 零样本执行： 证明了闭环目标评估能够在无需策略学习或强化学习的情况下执行任务。
• 轻量级流水线： 一个将开放词汇检测与连续运动通过比例控制连接起来的模块化架构，避免了端到端学习的高计算开销。

实验结果
作者在涵盖三个难度等级（简单、中等、困难）以及多种物体（如积木、胶带、工具）的 90 次试验中对 GRASP 进行了评估。

• 成功率： 系统实现了 86.67%（简单）、76.67%（中等）和 56.67%（困难）的成功率，总成功率为 73.33%。
• 失败分析： 困难任务中的性能下降主要归因于 G.DINO 检测丢失或错误，以及硬件限制（有限的视野和远距离处降低的图像质量），而非控制流水线本身的失效。
• 消融研究：
  • 闭环 vs. 开环： 去除闭环反馈（仅运行一次调整）显著降低了成功率，证实了迭代调整的必要性。
  • 平滑与死区： 去除这些组件会导致性能下降，表明不受约束的修正会引入不稳定性。
  • 目标选择： 基于随机逻辑值或首个匹配策略的选择表现不如基于最高置信度（logit）检测的选择。

意义与主张
论文将 GRASP 定位为迈向可扩展、通用型机器人分拣与排列的一步。作者声称，通过将推理与控制解耦，GRASP 提供了一种可解释且高效的解决方案，消除了对大量训练数据或策略学习的需求。该系统成功解释了抽象的空间概念，并在开放词汇设置下执行任务。作者谦虚地指出，虽然目前的工作侧重于抓取与对齐，但由于硬件限制，完整的端到端分拣评估（包括放置验证）留待未来工作。该框架被呈现为一种优于依赖大量训练的沉重模型的可行替代方案，适用于动态的、受语言驱动的操作。