TADNet: Transparency-Aware Feature Aggregation with Structural Enhancement for Transparent Object Depth Completion
本文提出了 TADNet，一种层次化编码器-解码器网络，该网络集成了一个带有透明度感知注意力和结构特征增强模块的级联 Swin-Transformer 编码器，以有效解决透明物体深度补全中的深度噪声和几何畸变问题，并在 ClearGrasp 和 TransCG 数据集上实现了卓越的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图教机器人拿起一杯水。对于人类来说，这个任务很简单：看到杯子，伸手，然后抓取。然而，对于配备标准深度摄像头的机器人来说，这个玻璃杯就像一个幽灵。这些摄像头通过将光线从物体表面反射回来以测量距离，但像玻璃或透明塑料这样的透明物体并不像坚固的墙壁那样表现得规规矩矩。它们不会干净地反射光线，而是会折射光线、散射光线，或者让光线直接穿透到后面的桌子上。其结果是，机器人在最需要看清的地方，得到的是一张充满漏洞、静电噪声和混乱畸变的数字世界地图。这种无法“看透”透明材料的能力，长期以来一直是机器人尝试在我们的日常环境中导航（从分拣回收箱到在家中提供饮品服务）时的一个主要瓶颈。
多年来，研究人员一直试图通过使用复杂的数学方法来猜测拼图中缺失的部分应该放在哪里，或者通过训练计算机从成千上万张照片中识别玻璃的形状来解决这个问题。虽然这些方法有所改进，但它们往往难以平衡两个相互冲突的需求：既要理解房间的大局以确定透明物体可能在哪里，又要保持该物体微小且锐利的边缘清晰准确。福州大学和厦门大学嘉许学院的研究人员推出了一种名为 TADNet 的新颖方法，这项研究介绍了一种全新的处理方式。该系统专门设计用于填补透明物体的缺失深度信息，使机器人看到的不再是一个相机中的故障，而是一个具有清晰形状和位置的、可抓取的实体对象。
这个新系统的核心是一种模仿人类观察场景方式的数字架构。当一个人看着桌上的玻璃杯时，他们会利用背景——桌子、墙壁、光线——来推断玻璃的形状，同时也会关注玻璃与桌面接触的具体边缘。TADNet 通过使用两种不同类型的数字处理来实现类似的功能。首先，它使用了一个基于被称为 Transformer 技术的高效引擎，该技术擅长同时观察整个图像以理解上下文。这有助于系统意识到：“啊，由于后面的桌子，那个模糊的区域很可能是一个玻璃杯。”与此同时，它使用传统的精确处理来保留精细的细节，确保玻璃的边缘不会变得模糊。
这种方法的独特之处在于它如何对图像中的透明部分和固体部分进行不同的处理。研究人员意识到，标准的计算机视觉模型试图对所有事物应用相同的规则，但在光线行为异常时会失效。然而，TADNet 使用了一个特殊的“透明度感知”过滤器。如果系统检测到某个区域可能是透明的，它就会切换到一种模式，通过收集整个场景的信息来推测深度。如果它看到一个固体物体，它则专注于保留局部细节。这种双重策略使系统能够在不丢失物体轮廓锐度的情况下修复损坏的深度数据。为了进一步提高结果的清晰度，该系统包含一个专门寻找表面突变（如杯子的边缘或盒子的角）的模块，确保这些关键的结构线条被准确地重建。
团队在两个主要的数据集上测试了他们的成果：一个包含数千张计算机生成的塑料物体图像，另一个包含由机器人在实验室拍摄的超过 57,000 张真实照片。在这些测试中，TADNet 证明了其高度的有效性。与现有的最佳方法相比，它生成的深度图显著更加准确，距离测量误差更小。在一次涉及机器人从未见过的真实世界物体的特定测试中，该系统在极小的误差范围内，正确估计了近 99% 的像素深度。这种精确度至关重要，因为即使深度感知出现微小的错误，也可能导致机器人抓取失败或撞倒物体。
或许最重要的一点是，该系统展示了它如何从模拟数据中学习并将知识应用于现实世界。研究人员在合成图像上训练模型，然后在真实照片上对其进行测试，这是机器人领域的一个常见挑战，因为现实世界的数据很难收集。TADNet 保持了其高性能，这表明它分离透明度与固体性的方式是一种鲁棒的解决方案，即使在光照和物体发生变化时也能奏效。这项研究并不声称已经解决了机器人视觉中的每一个问题，但它表明，通过教机器去区分什么是透明的、什么是固体的，并对它们进行不同的处理，我们可以让机器人更清晰地观察它们日益需要应对的透明世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。