Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting
本文提出了一种具身多模态接地框架，该框架将主动多视图语义 3D 高斯泼溅（Semantic 3D Gaussian Splatting）与基于扩散的视觉-语言-动作策略相结合，与现有的最先进方法相比，显著提高了在杂乱、遮挡及视角多变的家庭环境中，开放词汇移动操作的成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个机器人正试图在凌乱的客厅里为你提供帮助。这不仅仅是移动它的手臂，更关乎如何在倾听你声音的同时，理解三维世界。这就是“具身智能”（Embodied AI）的核心——在这个领域，机器人学习如何与物理空间进行交互，而不仅仅是在屏幕上处理数据。为了实现这一点，它们需要结合三样东西：语言（你所说的内容）、视觉（它们所看到的）以及几何（物体在三维空间中实际所在的位置）。你可以把它想象成试图从一个饼干罐里拿取一块特定的饼干，而此时厨房里昏暗且杂乱无章。如果你只有一张厨房的二维照片，你可能会抓错罐子，或者撞倒所有东西。但如果你有一个随着你的移动而不断更新的脑内三维地图，你就能绕过障碍物，弄清楚手究竟该往哪里伸，并在不洒掉牛奶的情况下抓到那块正确的饼干。这正是研究人员正在攻克的挑战：让机器人变得足够聪明，能够应对我们家中那些凌乱、不可预测的现实情况，而不仅仅是处理干净、完美的实验室环境。
你正在阅读的这篇论文题为《基于语义3D高斯泼溅的开放词汇移动操作的具身多模态对齐》（Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting），它提出了一种为机器人提供这种“超强视觉”的新方法。作者们通过一个配备了机械臂的实体机器狗进行了研究，他们认为目前的许多机器人之所以失败，是因为它们过度依赖扁平的二维图像。如果机器人看到平板电脑屏幕上有一张香蕉的照片，一个侧重于二维的机器人可能会试图去抓那个扁平的图像，误以为那是真正的香蕉。或者，如果机器人的站位不对，它可能会伸手去抓一个它实际上无法触及的物体。
为了解决这个问题，团队构建了一个类似于“可刷新三维素描本”的系统。机器人不再仅仅观察一张照片，而是主动围绕物体移动其摄像头，从不同角度快速拍摄四张快照。然后，它使用一种称为语义3D高斯泼溅（Semantic 3D Gaussian Splatting）的技术，将这些照片转化为一个模糊的、发光的点云。但这不仅仅是一张漂亮的图片；这个云团中的每一个点都明确知道自己“是什么”（比如“香蕉”或“椅子”）以及自己在空间中的“位置”。这个云团作为一个共享地图，供机器人用于各种用途：确定站立位置、检查是否有障碍物阻挡，以及精确指导机械臂如何移动。
研究人员在真实世界的环境下，在一台真实的机器狗上测试了这个系统。他们发现，当机器人使用这个三维点云地图时，它在处理复杂情况时表现得更好。在长程、多步骤的任务中（例如：打开抽屉、拿取香蕉、然后把香蕉放在椅子上），使用该系统的成功率为60%，而未使用3D地图的系统成功率仅为40%。更令人印象深刻的是，在目标物体隐藏在众多杂物之中的“拥挤”场景下，新系统的成功率达到了74%，而旧方法在面对此类情况时，成功率低至28%。该系统还证明了它不容易被欺骗：当真实的香蕉被一张写实的香蕉照片替换时，拥有3D地图的机器人正确地忽略了那个假象，而没有使用该系统的机器人则试图去抓那个扁平的屏幕。
然而，作者也谨慎地指出，这并不是解决所有问题的万灵药。该系统在“准静态”环境（即物体不会移动得非常快的地方，如客厅）中表现最佳。机器人在开始移动手臂之前，需要几秒钟的时间来构建这个3D地图，因此它并不是为了捕捉空中飞行的球而设计的。此外，构建地图所需的繁重数学运算是在机器人外部的一台高性能计算机上完成的，目前尚未实现在机器人本体上运行。研究人员建议，虽然这种方法显著提升了机器人处理拥挤、高度变化和视觉陷阱的能力，但要让机器人能够独立携带并运行这些算法，仍需在提高速度和减轻计算负担方面做出更多工作。最终，这篇论文表明，赋予机器人对周围环境清晰且可更新的三维理解，是让它们成为我们真实、凌乱世界中可靠、得力帮手的关键一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。