Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation
本文表明，开放词汇检测器的置信度信号指示的是场景中存在某一物体类别，而非特定目标的可见性，这揭示了即使在严重遮挡的情况下置信度依然保持在高位，并导致在主动感知和评估等遮挡感知任务中出现显著失败。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
机器人的诡计之眼
想象一下，你正在教一个机器人在一间凌乱的房间里寻找一个特定的玩具。为了做到这一点，你给了机器人一只由人工智能驱动的“智能眼”。这只眼睛很特别，因为它能理解语言；如果你对它说，“寻找那个红色的汤罐头”，它会扫描房间并指着一个地方说：“我找到了！”并带着一定的置信度，这种置信度通常表现为一个 0 到 1 之间的数字。科学家称这些为“开放词汇检测器”。它们是许多试图捡起物体、分类垃圾或在厨房里提供帮助的现代机器人背后的“大脑”。
一个大问题是：机器人如何知道它看到的是真的玩具，还是玩具只是被其他东西挡住了？在机器人领域，有一个概念叫做“主动感知”（active perception）。这个概念是指，如果机器人看不清某个东西，它应该移动它的摄像头或身体来获得更好的视角。但机器人需要知道何时移动，这取决于它能否信任自己的“置信度数字”。如果数字很高，机器人会想：“我看得很清楚，不需要移动。”如果数字很低，它会想：“我不确定，我应该到处看看。”整个系统都依赖于一个假设，即高置信度意味着物体确实是可见的，而不是被遮挡了。但如果那个置信度数字在撒谎呢？如果机器人明明看不见物体，却依然对自己看到的景象充满信心呢？这就是一项新研究试图解决的谜团。
伟大的置信度骗局
在这项研究中，研究人员发现了这些智能机器人眼睛运作方式中一个令人惊讶的缺陷。他们发现，当一个特定物体被一堵由其他相似物体组成的“墙”挡住时，机器人的置信度分数完全不会下降。事实上，它往往保持不变，甚至还会上升！
为了理解其中的原因，想象一下你正在拥挤的健身房里寻找你的朋友“亚历克斯”（Alex）。你看到一群穿着和亚历克斯一样蓝色球衣的人。即使真正的亚历克斯正躲在储物柜后面，你连他的一寸身影都看不见，你的大脑仍可能说：“我看到亚历克斯了！”因为你看到了许多看起来很像他的人。机器人的“眼睛”也做了同样的事情。当目标物体（比如汤罐头）被遮挡时，检测器看到了附近的其他汤罐头，于是变得兴奋起来。它报告了一个高置信度分数，并不是因为它看到了你要求的那个特定汤罐头，而是因为它在图片的某个地方看到了一个汤罐头。
研究人员使用了一个“几何先知”（geometry oracle）来测试这一点，这就像一把超精确的隐形尺子，准确知道有多少像素点的真实目标是可见的。他们构建了一些场景，通过逐渐用一堵干扰物之墙覆盖目标。随着目标的消失——从 100% 可见降至仅 12% 可见——机器人的置信度分数几乎没有波动。它一直卡在 0.40 左右，表现得好像目标完全可见一样。与此同时，“先知”却知道真相：目标几乎已经完全消失了。
这为机器人制造了一个危险的陷阱。如果机器人依靠这个置信度分数来决定是否移动摄像头，它就永远不会移动。它会坐在那里，自信地认为自己已经找到了物体，尽管物体已被完全遮挡。研究表明，在高度杂乱的场景中，在目标实际上被遮挡的帧中，机器人竟然在 99% 的情况下都报告目标存在。它不仅仅是出了一点错，它是“自信地错了”。
谎言的代价
研究人员测量了这种错误究竟如何损害机器人的性能。他们发现，如果你使用这个置信度分数来评判机器人的“环顾四周”能力（主动感知），你完全会误判。在他们的测试中，移动摄像头实际上让机器人在 88% 的场景中能看到目标。然而，由于置信度分数在目标被遮挡时没有变化，机器人的内部评分仅显示了大约 8 个点的微小提升。这意味着该置信度指标低估了移动摄像头的价值约十倍。这就像是通过观察一只总是显示“正午”的坏表，来测量手电筒在黑暗洞穴中对视力的帮助程度一样。
研究还检查了是否有其他信号可以帮助机器人修复这个问题。他们尝试检查机器人的“手指”（检测框）是否真的指向了正确的物体。但关键在于：即便如此也效果不佳。因为干扰物（那些假的汤罐头）正好站在真实汤罐头应该在的位置，所以机器人的“手指”落在了干扰物上，而干扰物的位置与真实目标非常接近。因此，简单的“它是否在正确位置？”的检查无法区分真实物体和伪装物体。唯一有效的方法是实际移动摄像头到一个新的角度，从而清除视线，让机器人看到真相。
结论
这个问题不仅仅是某个特定机器人的小故障；研究人员在三种不同类型的 AI 检测器、九种不同类型的物体，甚至在真实的视频片段中都进行了测试。在每种情况下，置信度分数都未能追踪到物体被遮挡的情况。研究结论指出，这些检测器并不是在告诉我们某个特定物体是否可见，它们只是在告诉我们，房间里存在着某种该类别的物体。
对于构建更好的机器人，其启示是明确的：不要相信置信度分数来告诉你物体是否被遮挡。如果机器人在一个凌乱的房间里，且分数很高，它可能只是在盯着一个诱饵。最稳妥的做法是假设，在杂乱的环境下，机器人需要移动摄像头并重新观察，而不是盲目相信它给出的数字。研究人员发布了他们的测试场景作为基准，以便其他科学家可以针对这个“测谎仪”测试来检查自己的机器人，确保未来的机器人不会被自己的眼睛所蒙蔽。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。