Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

想象一个机器人是终极助手、能够帮我们做家务、制造汽车和组装电子产品的世界。但有一项棘手的任务，即使是最聪明的机器人也会感到吃力：从一个堆满杂乱零件的箱子中精准地挑出特定的一个。这被称为“拣选”（bin-picking）。把它想象成试图在一个装满了数百个完全相同的乐高积木的桶里寻找一块特定的积木，这些积木有的面朝上，有的侧着放，还有的被压在其他积木下面。对于人类来说，这很容易；我们可以眯起眼睛、歪一下头或者用手摸索。但对于机器人来说，这简直是一场混乱的噩梦。如果机器人猜错了零件的方向，它可能会抓反，或者掉落，甚至更糟——尝试以错误的方式将其塞进机器，导致碰撞。目前机器人领域的一个重大问题是：我们如何教会机器像我们一样，在面对混乱时具备适应性和谨慎性？

这篇论文通过引入一种“模块化”的方法来帮助机器人处理不确定性，从而解决了这一问题。作者并没有强迫机器人对物体的位置做一个单一且完美的猜测，而是建议机器人应该以“可能性”的角度进行思考。想象一下，机器人不仅仅是在看一个零件并说“它在这里”，而是在说：“它可能在这里，但也可能在那里，或者也许是翻转过来的。”该论文提出了一个由不同技巧（或称模块）组成的工具包，机器人可以对其进行组合与搭配。有些技巧涉及从另一个角度拍摄第二张照片以消除困惑。另一些技巧则是将物体移动到一个特殊的托盘中，让它平铺开来以便重新检查。作者在真实的机器人上测试了这些想法，并发现通过组合这些模块，机器人变得更加快速且高度可靠，即使在零件难以辨认的情况下也极少出错。

机器人的困境：杂乱的料箱

想象一个机械臂站在一个装满随机金属零件的料箱上方。机器人的任务是拿起一个并将其放入机器中。问题在于，零件堆叠在一起，形成了一堆混乱的堆积物。有时，一个零件无论它是面向左还是面向右，或者是否被翻转了，看起来都一模一样。这就是科学家所说的“歧义性”（ambiguity）。如果机器人选错了，或者抓取方向不对，整个过程就会失败。

过去，机器人尝试通过拍摄一张照片并做出最佳猜测来解决这个问题。但如果猜测错误，机器人会尝试插入零件，失败，然后不得不重新开始。这就像戴着眼罩玩拼图；你可能会走运，但很可能会掉落零件。本文的作者意识到，与其强求一个单一的答案，不如让机器人脑子里保留一份“可能性清单”。它应该说：“这个零件有60%的可能性是面朝上的，也有40%的可能性是面朝下的。”这份清单被称为“位姿分布”（pose distribution）。

模块化工具包：技巧的混搭

这篇论文的核心思想是，解决杂乱料箱的方法不止一种。相反，作者构建了一个“模块化框架”。把它想象成一个电子游戏，你可以装备不同的增益道具（power-ups）。你不必全部使用，但可以通过组合它们来增强你的角色。论文介绍了三个主要的“增益道具”（模块），机器人可以使用它们：

1. 第二次观察（第二视角/Second View）： 有时，机器人的主摄像头无法看到足够的零件信息来判断其朝向。这就像仅仅通过观察口袋顶部来辨别一枚硬币，你无法判断它是正面还是反面。解决方案是什么？机器人将第二个摄像头移动到不同的角度。论文将其描述为从侧方30度角拍摄照片。通过结合来自第一个摄像头的“猜测”和第二个摄像头的“猜测”，机器人可以缩小可能性范围。这就像向两个朋友询问方向；如果他们意见一致，你就会更有信心自己走对了路。

2. 安全托盘（重定向托盘/Re-orientation Tray）： 如果机器人在拍完两张照片后仍然感到困惑，或者零件埋得很深，它就有一个备选方案。它会抓取物体并将其移动到一个特殊的平坦托盘中。这个托盘是空且干净的，所以物体可以平铺而不撞到其他东西。一旦物体进入托盘，机器人就可以拍摄一张新照片。因为物体不再与其他零件纠缠在一起，机器人可以准确判断它的位置。这就像把缠绕在一起的耳机线拉出来，然后平铺在桌子上，以便看清结在哪里。

3. 手部检查（手内位姿验证/In-hand Pose Verification）： 即使在拿起物体之后，机器人也可能抓得有点歪。为了绝对确定，机器人会将物体举向位于其“手”（夹持器）处的摄像头。它会将看到的景象与预期的景象进行对比。如果物体看起来与预期不符——比如旋转了或者显示的是错误的一面——机器人就知道自己犯了错。它不会尝试强行将其塞入机器，而是放下物体并重新尝试。这就像在系鞋带之前检查一下；如果看起来不对劲，你就拆掉重来，以免以后绊倒。

实验结果展示

作者不仅提出了这些想法，还搭建了一个真实的机器人装置来进行测试。他们使用了一个带有3D传感器和特殊夹持器的机械臂，并使用三种不同类型的物体进行了测试：一个Novo物体、一个传动轴（WRS-08）和一个滑轮（WRS-11）。选择这些物体是因为它们非常棘手；有些具有会让摄像头产生困惑的光滑表面，有些则在不同角度下看起来完全一样。

结果令人印象深刻。当机器人使用原始方法（仅从料箱中进行猜测）时，成功率为 89%，平均需要 2.5 次抓取才能完成一次投入。但当他们加入“安全托盘”模块后，成功率跃升至 100%，且仅需 2.25 次抓取。当他们加入“第二次观察”模块时，速度变得更快，仅需 2.05 次抓取。表现最好的情况是同时使用所有模块：机器人实现了 100% 的成功率，且每个物体仅需 1.91 次抓取。

论文还在来自一个著名的机器人竞赛（世界机器人大赛）的物体上测试了这些方法。这些物体极其困难，以往的尝试成功率低至 1.6%。使用他们的新模块化系统，机器人在这些困难零件上也实现了 100% 的成功率，平均每次抓取需要 2.2 到 3.3 次。

作者在表达什么（以及没在表达什么）

值得注意的是，本文并未声称某些内容。作者谨慎地指出，他们目前的系统最适用于大致呈圆柱形或扁平状的物体，即主要的困惑在于旋转（例如旋转一枚硬币）。他们承认，目前的系统仅能处理平面内的旋转（SO(2)），而非全方位的3D运动（SE(3)）。他们建议未来的工作可以扩展到处理更复杂的形状，但并未声称已经解决了这个问题。

他们也明确排除了其他一些想法。例如，他们考虑过使用“振动送料器”（一种通过抖动来分类零件的托盘），但由于这种方式对于小批量生产来说太慢，且需要针对每种物体类型进行调试，因此决定放弃。他们还研究了“非抓取式操纵”（即不通过抓取而是通过推动零件），但发现这种方式难以进行精确控制。相反，他们坚持采用这种“抓取、检查、再抓取”的模块化方法。

论文表明，通过组合这些模块，我们可以制造出不仅快速而且可靠的机器人。关键的启示在于：灵活性才是答案。一个能够根据需要切换到拍摄第二张照片、移动到干净托盘或双重检查抓取状态的机器人，比一个试图一步到位完成所有动作的机器人要出色得多。作者认为，这种方法是让机器人系统能够应对现实世界中混乱、不可预测之现实的一个充满前景的方向。