💻 computer science

Kitchen Robotic Manipulation utilizing Foundation Models

本文提出了一种用于厨房机器人操作的模块化感知流水线，该流水线集成了多个基础模型以实现鲁棒的 6D 位姿估计和抓取规划，在杂乱基准测试中展示了 89.12% 的 ADI，并在物理机器人上成功实现了如餐具转移和杯子堆叠等任务的零样本部署。

原作者： Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图教一个机器人帮你在凌乱的厨房里干活。这听起来很简单，但对于机器而言，厨房简直是混乱的噩梦。不同于工厂里每件工具都放在完全相同的位置，厨房里充满了堆叠的碗碟、被遮挡的物体，以及光滑且闪亮的表面。机器人要拿起一个咖啡杯，首先需要清晰地“看到”它，弄清楚它在3D空间中的确切位置，并知道如何抓取它而不撞倒整叠碗碟。这就是**机器人感知（robotic perception）**的世界：这是一门赋予机器“眼睛”和“大脑”，使其能够理解混乱且多变世界的科学。

为了实现这一目标，科学家们一直在开发基础模型（Foundation Models）。把它们想象成超级聪明的学生，在开始任何具体工作之前，他们已经读过了互联网上几乎所有的书，看过了几乎所有的图片。因为见识广博，他们不需要在进入每个新房间时都从头开始学习；他们可以利用通用的知识，即使从未见过那个特定的杯子，也能识别出这是一个“杯子”。研究人员提出的重大问题是：我们能否将这些强大的、预训练好的“大脑”直接接入机器人的身体，让它能够处理家务，而无需为每一间房子进行数月的定制化训练？

厨房机器人的新“瑞士军刀”大脑

在这篇论文中，一个研究小组构建了一个机器人“感知流水线”，旨在帮助机械臂在杂乱的厨房水槽中导航并移动餐具。他们并没有构建一个只能针对特定厨房工作的庞大且僵化的脑部系统，而是创建了一个模块化系统。想象一下一部高端相机，你可以根据拍摄内容更换镜头、传感器和处理器。这个机器人系统也是如此：它允许研究人员通过混合搭配不同的“基础模型”，来观察哪种组合最擅长寻找和抓取餐具。

机器人的任务是观察装满盘子、杯子和碗的水槽，确定每个物品的确切位置（其 6D 位姿，即它在 3D 空间中的位置和角度），然后规划一条安全的抓取路径。该团队在一个包含 20 个真实厨房场景（包含杂乱堆叠和隐藏物体）的定制数据集上测试了该系统。

成功的配方

研究人员并非凭空猜测使用哪些模型，而是系统地测试了 24 种不同的视觉与几何模型组合。他们将该系统视为一种食谱，通过更换“食材”来寻找完美的“风味”。

眼睛（视觉模型）： 这些模型通过观察 2D 图片来识别那里有哪些物体。
双手（几何模型）： 这些模型通过观察物体的 3D 形状来理解其结构。
粘合剂（特征融合）： 他们发现，仅仅使用“眼睛”或“双手”是不够的。秘诀在于将 2D 图像特征与 3D 点云特征进行融合。这就像是一个侦探，不仅能通过照片认出一张脸，还能理解人体形状，从而知道该如何握手。

在运行数据后，团队发现了一个“冠军”配置：LLMDet（用于发现物体）、SAMv2（用于将物体从背景中分割出来）、DINOv2（用于识别精细细节）以及 GeoTransformer（用于理解 3D 几何结构）。当这四者协同工作时，机器人达到了 89.12% 的 ADI（不可分辨视图平均距离）。用通俗的话说，这意味着即使在物体部分被遮挡或处于杂乱环境时，机器人也能极其准确地估计餐盘的位置和角度。

现实世界的证明

最棒的部分在于，他们并没有止步于计算机模拟。他们将这个“冠军”配置安装在一个真实厨房里的物理机械臂上。他们观察到机器人成功完成了以下任务：

将餐具从水槽转移到洗碗机中。
在柜台上堆叠杯子。
从杂乱的水槽中拿起物品。

机器人完成这一切时，无需针对特定厨房进行任何重新训练。它不需要学习在那个特定房子里“杯子”长什么样；它只是利用了其预训练的基础知识。在一系列现实世界测试中，机器人的成功率达到了 87.5%（296 次尝试中成功 259 次）。

它的短板

论文也坦诚地说明了该系统目前并不完美的地方。失败的主要原因不是机器人的“大脑”看不见物体，而是机器人的“手”打滑了。机器人使用一种顺应性夹持器（一种柔软且具有适应性的手）来温柔地抓取物品，但有时物体在运输过程中会滑落，尤其是在拥挤的水槽中堆叠杯子时。机器人偶尔也会因为检测略有偏差而尝试抓取错误的位置。然而，作者指出，这些是夹持器带来的物理挑战，而非感知系统的失效。

这为何重要

这项工作表明，我们不需要为每一间房子都构建一个新的、定制的机器人大脑。相反，我们可以使用一个灵活的模块化系统，通过更换最合适的“基础模型”来完成任务。它证明了通过结合正确的视觉智能与几何智能的混合体，机器人可以适应人类家庭中混乱且不可预测的现实情况，而无需老师手把手教它们完成每一项任务。虽然在增强机器人抓取力度和使动作更平滑方面仍有改进空间，但这一流水线为实现能够真正帮我们洗碗的机器人提供了一条实用且可扩展的路径。

技术摘要：利用基础模型进行厨房机器人操纵

问题陈述

在日常人类环境（尤其是厨房）中部署机器人系统面临着显著挑战，因为这些空间具有非结构化、动态且杂乱的特性。传统的基于视觉的机器人系统过度依赖特定任务的数据集和监督学习，这往往导致其在超出预定义环境时缺乏泛化能力。因此，这些系统缺乏处理陌生环境或变化物体排列所需的适应性，而无需进行大量的干预或重新训练。虽然近期的基础模型在不同领域展示了卓越的泛化能力，但在如何将这些模型系统地集成到鲁棒的感知流水线中，以弥合高层感知与具体的物理操纵需求（例如 6D 位姿估计和抓取规划）之间，仍存在关键性的空白，且无需针对特定环境进行微调。

方法论

作者提出了一种用于家用操纵任务（特别侧重于餐具处理）的模块化感知流水线。该系统基于一个假设：厨房内的库存相对稳定，且目标物体的 3D CAD 模型是可用的。该流水线由四个主要阶段组成：

多视图实例分割： 系统利用开放词汇目标检测（OVOD）生成边界框提示，以驱动 Segment Anything Model (SAMv2)。为了确保跨多个视图的一致性，系统通过深度数据和相机位姿将掩码投影，并基于交并比（IoU）阈值分配一致的物体 ID。
实例感知 3D 地图重建： 流水线通过融合 RGB-D 帧来构建 3D 语义地图。它采用基于特征匹配的粗略 3D 点云配准，随后使用迭代最近点（ICP）算法进行精细化，以修正位姿误差。来自分割掩码的实例 ID 被分配到点云中，从而创建实例感知的地图。
2D-3D 特征融合与位姿估计： 这是该流水线的核心创新。对于每个分割出的实例，系统利用视觉基础模型 ( $\Phi$ $Φ$ ) 和几何基础模型 ( $\Psi$ $Ψ$ ) 提取特征。
- 视觉特征： 从裁剪后的物体区域中提取，并通过深度和相机位姿投影到 3D 空间，然后通过体素池化（voxel pooling）进行聚合。
- 几何特征： 直接在物体点云上计算。
- 融合： 图像特征和点云特征经过 L2 归一化后进行拼接，形成统一的逐点特征表示。
- 配准： 系统通过将查询特征与数据库中渲染的 CAD 模型特征进行对比，执行物体候选提议。随后，在融合特征空间中执行基于对应关系的对齐，并进行 ICP 精细化。
抓取估计： 利用估计的 6D 位姿和预定义的 CAD 模型，系统生成抓取候选方案。这些方案通过运动学可行性检查（逆运动学）、碰撞规避（使用 FCL）以及可达性约束进行过滤，以确保抓取动作在物理上是可执行的。

该架构在设计上具有显式的模块化特性，允许替换不同的视觉和几何基础模型，以寻找最优配置。

核心贡献

本文提出了三个主要贡献：

统一流水线集成： 将多种基础模型集成到一个统一的 6D 位姿感知流水线中，该系统可在多样化的厨房环境中运行，无需进行特定环境的训练或微调。
模块化架构与系统性评估： 提供了一个灵活的框架，其中的每个组件都可以进行更换。作者在自定义的真实世界厨房数据集上，对 24 种视觉与几何基础模型的组合进行了系统性评估，以确定表现最佳的配置。
真实世界验证： 在物理机器人平台上演示了集成系统执行复杂厨房任务（如从水槽到洗碗机的转移、叠杯）的能力，且无需进一步调优，验证了其可扩展性和实用价值。

实验结果

作者在包含 20 个具有不同杂乱度、遮挡度和物体排列情况的真实厨房场景的自定义数据集上对流水线进行了评估。

最佳配置： LLMDet（OVOD）、SAMv2（分割）、DINOv2（视觉基础模型）和 GeoTransformer（几何基础模型）的组合实现了最高的性能。
定量性能： 该配置在 20 个场景的基准测试中，在未应用 ICP 精细化的情况下，其不可辨识视图下的模型点平均距离（ADI）达到了 88.92%。当应用 ICP 精细化后，精度提升至 89.12%。作为对比，最先进的 FoundationPose 方法即使在提供真值掩码的情况下，其 ADI 也仅为 87.32%，而本研究提出的最佳配置在不需要此类理想输入的情况下便超越了该方法。
特征融合的影响： 研究证实，将 2D 图像特征与 3D 几何特征进行融合，在所有配置中均能一致地提高性能。虽然 GeoTransformer 由于依赖全局上下文而在孤立运行时表现较差，但当与 DINOv2 的判别性图像特征融合时，它实现了最高的准确度。
真实世界成功率： 在涉及两个不同厨房环境的 296 次物理演示试验中，系统在包括简单抓取和叠杯在内的任务中实现了 87.50% 的成功率。
失败分析： 大多数失败归因于物理交互问题，例如由于夹持器柔性导致的夹持器滑动，或在高度杂乱场景下意外移动了相邻物体，而非感知错误。

重要性与主张

论文声称，所提出的模块化流水线通过证明基础模型可以有效地集成以处理操纵任务，从而为家用机器人提供了一个实用的框架，且无需进行特定环境的重新训练。作者强调，其方法：

实现可扩展性： 系统可以适应不同的机器人系统和新环境，无需额外的调优。
提供灵活性： 模块化设计允许从业者根据特定的计算约束或任务难度来定制模型组合。
架起感知与控制的桥梁： 不同于将感知和控制合并为一个单一学习模型的端到端视觉-语言-动作策略，该方法能够产生与经典运动规划器兼容的显式 6D 位姿，从而确保在不同传感器配置下的可重用性。

作者承认了局限性，包括对注册过程中 CAD 模型的依赖（限制了对未知物体的适用性）、由于夹持器约束导致的偶尔抓取失败，以及需要更高级的操纵策略来处理紧密堆叠的物体。他们建议未来的工作可以涉及学习轨迹生成器和用于引入新物体的多视图重建方法。