PartialBiGrasp: Inferring Hidden Local Geometry for Bimanual Grasping from Partial Views
本文介绍了 PartialBiGrasp，这是一个新颖的框架，它通过利用卷积占用网络隐式学习隐藏的局部几何结构，从而实现从部分点云视图中对复杂物体进行鲁棒的双臂机器人抓取，并生成且优化符合力封闭条件的抓取对。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，机器人一直是流水线上的大师，能够毫无差错地重复成千上万次相同的精确动作。然而，当我们要求它们执行日常生活中流动的、需要适应性的任务时——比如拿起一个重箱子、抬起一把椅子或端起一个托盘——它们往往会失手。困难并不在于机器的力量，而在于其视觉的不确定性。机械臂通过摄像头观察世界，而就像任何摄像头一样，它的视野是有限的。当机器人观察一个大型物体时，它只能看到面向自己的那一侧；背面、底部和隐藏的角落仍然是一个谜。这对于旨在协同工作以搬运重物或笨重物品的双臂机器人来说，问题尤为突出。为了安全地抬起一个大型物体，两只手臂必须找到一对位置，这些位置不仅要足够强壮以承载重量，还要位置恰当，以免机器人掉落物体或导致双手撞击到物体本身。如果机器人看不见完整的形状，它可能会猜测一个表面看起来不错但实际上太薄、太弯曲或被物体隐藏部分遮挡的位置。
多年来，研究人员一直试图通过向机器人输入世界的完整3D地图来教它们抓取物体，并假设机器人已经填补了所有缺失的部分。但在现实世界中，机器人很少能获得完美、完整的视图。它们得到的是局部且带有噪声的瞥见。由海德拉巴机器人研究中心的研究人员开发的一种名为 PartialBiGrasp 的新方法直接解决了这一差距。该系统并非试图在行动前重建物体的整个隐藏形状，而是教机器人根据可见部分来推理隐藏部分。团队发现，通过学习推断物体的局部几何结构——例如其厚度以及表面在边缘后如何延续——机器人即使只能看到物体的一小部分，也能生成稳定的双手抓取。
研究人员解决的核心挑战在于，有效的双手抓取不仅仅是两个独立抓取的简单叠加。两只手臂必须协同工作，满足严格的物理规则，以确保物体不会滑动或旋转。在单一视角下，机器人可能会看到一个看起来非常适合抓握的平面，却随后发现物体太薄无法抓握，或者物体的背面弯曲的方式使得第二只手臂的位置变得不可能。以往的方法之所以经常失败，是因为它们依赖于先重建整个物体，而这个过程经常会在细长边缘和复杂曲线处引入误差。如果重建过程稍有偏差，机器人规划出的抓取在电脑屏幕上看起来很好，但在现实中会导致碰撞或掉落。
为了解决这个问题，研究人员构建了一个跳过完整重建步骤，直接转向理解与抓取相关的几何结构的系统。机器人的视觉系统首先创建一个代表可见表面的点云。该系统并没有尝试猜测整个形状，而是使用一种专门的神经网络来学习物体存在的连续映射。这种映射允许机器人对33D空间中的任何点（甚至是它看不见的点）进行“提问”，以确定那里是实心材料还是空隙。该系统分为两个层面运行：首先，全局视图帮助机器人理解整体形状，并识别可能进行抓取的宽泛区域；其次，局部视图放大到特定的候选点，以检查精细细节，例如是否有足够的空间让机器人的手指闭合而不撞击物体，或者表面是否足够厚以支撑重量。
这种两层级的处理方式使机器人能够预测出物理上稳定的抓取对。系统生成许多潜在的抓取对，然后使用一个学习到的“评论家”（critic）进行评估，检查它们是否符合稳固持有物体所需的物理定律。至关重要的是，该系统并不会止步于最初的猜测。它运行一个精炼过程，模拟机器人双手的微调。通过检查接触点周围的隐藏几何结构，系统可以轻微调整抓取位置，以避免碰撞或确保手指紧紧压在坚实的表面上。这种精炼是在不需要看到整个物体的情况下完成的，而是依靠系统推断局部隐藏结构的能力。
研究人员对该方法进行了广泛测试，将其与其他领先技术进行了对比，那些技术要么试图先重建完整物体，要么依赖于更简单的配对策略。在利用大型数据集进行模拟时，这种新方法在生成物理稳定抓取方面的成功率接近68%，显著优于其他经常在碰撞率方面遇到困难或难以找到有效配对的方法。当使用双臂机器人装置在真实物体上进行测试时，即使输入数据具有噪声且不完整，该系统仍保持了超过81%的高成功率。结果显示，该系统可以成功提起公文包和椅子等重物，避免了困扰其他方法的那些不稳定或发生碰撞的抓取。
其中一个最重要的发现是，系统推断隐藏几何结构的能力至关重要。当研究人员移除负责局部精炼的部分时，成功率下降，且碰撞次数增加。这证明了仅仅了解物体的概貌是不够的；机器人需要理解它所接触表面的特定、细粒度的细节。此外，研究表明，在抓取之前尝试重建整个物体不仅计算成本高昂，而且容易产生误差，从而降低最终抓取的可靠性。通过直接关注抓取所需的几何结构，该系统保持了高效和鲁棒性。
这项工作也强调了当前方法的局限性。该系统尚未考虑到机器人手臂的物理可达性，以及将它们移动到位置而不发生碰撞所需的复杂运动规划。它生成了理想的抓取点，但仍需要一个单独的规划器来确保机器人确实能到达那里。然而，通过解决从部分视图中寻找物体正确位置的问题，这项研究消除了在非结构化环境中部署双臂机器人的主要障碍。它表明，机器人可以通过推理来“感知”物体的形状，从而能够以一种此前难以企及的信心，去处理现实世界中沉重、笨重且复杂的任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。