From Transparent Labware Segmentation to Collision Avoidance: A Real-Time Edge-Aware Perception Pipeline
本文介绍了一种轻量级、实时且边缘感知的实例分割框架以及一个相应的数据集，该框架通过利用边界轮廓实现三维感知的高精度与高效率，从而使机器人能够实现针对透明实验室玻璃器皿的碰撞规避。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人在充满隐形幽灵的房间里行走。在机器人领域，“看见”物体通常很容易，如果物体是实心的且色彩鲜艳；摄像头可以瞬间识别出一个红色的盒子或一把蓝色的椅子。但当这些物体是由透明玻璃制成时——比如化学实验室中使用的烧杯和烧瓶——它们就成了机器人眼睛的噩梦。玻璃不仅仅是静静地摆在那里，它还会折射光线（折射）、反射光线（反射），并且往往看起来与背后的背景一模一样。标准的摄像头依赖深度传感器或简单的颜色，经常会感到困惑，看到的不是空无一物，就是一片扭曲的混乱。这是一个巨大的问题，因为机器人需要安全地绕过这些脆弱的工具，而不能撞碎它们。如果机器人看不见这些“隐形”的玻璃，它就无法避免发生碰撞。这篇论文解决了这个特定的难题：如何通过仅仅观察，赋予机器人一种实时发现透明玻璃的“超能力”，让它能够灵活地在实验设备间穿梭，而不费吹灰之力。
这项研究背后的研究人员——丁世骏、钱倩、尚威威和熊俊林——决定不再试图去观察玻璃的“内部”（因为那既混乱又令人困惑），而是将注意力完全集中在“边缘”上。这就像是在一堆衣服里寻找一个透明塑料袋：你看不见塑料本身，但你可以看到光线弯曲处产生的褶皱轮廓。该团队构建了一个新的机器人“大脑”，它就像一个只寻找轮廓的侦探。他们采用了一个标准的、快速的图像识别系统，并为其增加了两个特别的升级。首先，他们添加了一个“边界侦探”，该侦探会忽略玻璃内部令人困惑的部分，转而专注于玻璃与空气交界处的锐利线条。其次，他们添加了一个“聚焦滤波器”，帮助机器人忽略那些通常会误导摄像头的闪烁、干扰性的反光。
为了训练这个新大脑，团队不能只使用旧照片，因为他们没有足够这类特定照片的储备。因此，他们创建了自己的庞大库，名为 LabGlass-IS。它就像一本相册，包含了 3,485 张在真实、杂乱的实验室环境中拍摄的 21 种不同类型实验室玻璃器皿（烧杯、试管、烧瓶和滴管）的照片。他们手动在这些照片中的每一件玻璃制品周围绘制了轮廓，从而教会了机器人该寻找什么。
当他们测试这个新系统时，结果令人印象深刻。机器人的“大脑”每帧仅需 7.1 毫秒 就能识别并勾勒出玻璃的轮廓。这比人类眨眼的速度还要快！在准确度方面，该系统在衡量边缘追踪能力的指标（称为边界 F-score）上得分高达 97.80。这是一个巨大的飞跃，比排名第二的方法高出了近 19 个点。更棒的是，该系统非常轻量化，仅使用了其最接近的竞争对手所需计算能力的 2.85%，这意味着它可以在小型、便携式的机器人计算机上运行，而不需要巨大的超级计算机。
但看到玻璃仅仅是成功的一半；机器人还需要知道玻璃在 3D 空间中的位置，才能避免碰撞。团队通过让机器人的摄像头绕着玻璃从不同角度移动来解决这个问题，就像一个人歪着头以更好地观察发亮物体一样。通过结合这些不同的视角，机器人可以计算出每个玻璃物体在 3D 空间中的精确中心点。随后，他们为每个物体包裹了一个“安全气泡”——一个比玻璃本身稍大的简单、保守的 3D 盒子。这确保了即使机器人的判断稍有偏差，它仍然能避开物体。
在实际机器臂的现实世界测试中，该系统表现得非常出色。即使在玻璃细小、重叠或光照复杂的环境下，机器人也能在 93.3% 的试验中成功避免碰撞。从识别玻璃到规划安全路径的整个过程都极其迅速，以至于机器人甚至不需要停下来思考。作者总结道，虽然该系统目前是避免碰撞的高手，但它尚未准备好去温柔地拿起玻璃。然而，它证明了通过结合正确的边缘检测视觉和智能 3D 推测，机器人终于可以穿越透明玻璃器皿构成的隐形世界，而不会打破任何一个烧杯。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。