DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework
DEGround 引入了一种用于第一人称视角三维视觉定位的同质化单阶段框架，该框架通过共享对象查询和 Transformer 头统一了检测与定位任务，并辅以专用插件模块，从而在多个基准测试中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一台机器人，正穿过一个杂乱的房间，手中拿着摄像头和深度传感器（类似于 3D 扫描仪）。有人给你一条语音指令：“找到放在门前的那个红色枕头。”你的任务是观察你所看到的 3D 世界，并在该特定枕头周围标出一个数字框。这项任务被称为以自我为中心的 3D 视觉定位。
本文介绍了一个名为DEGround的新系统来解决这个问题。以下是其工作原理的简明解释：
问题所在：“两步走”的混乱
在这篇论文之前，大多数机器人在寻找物体时都使用笨拙的“两步走”流程：
- 第一步（侦探）： 首先，机器人必须像侦探一样，扫描整个房间，找出它能看到的每一个物体（椅子、桌子、枕头），并在它们周围画出框。
- 第二步（翻译）： 然后，它必须拿着这些框的列表，试图找出哪一个与句子相匹配。
类比： 想象你正在图书馆里寻找一本特定的书。旧的方法是，首先把图书馆里每一本书的书名、作者和位置都写在一张巨大的清单上。然后，你再拿着这张清单重新阅读，以找到你想要的那一本。这种方法既缓慢又重复，而且机器人往往在开始第二步时，会忘记它在第一步中学到的内容。
解决方案：DEGround（“全能”大脑）
作者创建了 DEGround，它就像一个单一、高效的大脑，能够同时完成这两项工作。
1. “共享查询”（通用语言）
DEGround 不再使用两个互不沟通的独立系统，而是使用一组单一的“查询”（可以将其想象为数字便利贴）来表示物体。
- 工作原理： 机器人将这些便利贴贴在它看到的物体上。这些便利贴被同时用于表达：“这是一个枕头”（检测）以及“这是人类要求的那个枕头”（定位）。
- 优势： 由于机器人对两项任务使用相同的便利贴，它无需重新学习如何寻找物体。它能瞬间转移其“专业知识”，从而变得更快、更准确。
2. “区域激活”模块（高亮笔）
有时，房间里会有两个相同的枕头。一个在门附近（你想要的），另一个在窗户附近（干扰项）。
- 类比： 想象机器人拥有一支魔法高亮笔。当它听到“在门前”时，这支高亮笔会自动在门附近的区域发出明亮的红光，而让房间的其他部分变暗。
- 结果： 这有助于机器人忽略错误的枕头，只专注于与描述相符的区域。
3. “逐查询调制”模块（上下文切换）
该模块帮助机器人从一开始就理解句子的意图。
- 类比： 在机器人甚至还没观察房间之前，它就已经根据句子“预热”了它的便利贴。如果句子是关于“枕头”的，这些便利贴就会对柔软、可挤压的形状变得格外敏感。如果句子是关于“灯”的，它们就会对光线和金属变得敏感。
- 结果： 机器人开始搜索时就已经知道要找什么，而不是靠猜测。
结果：为何重要
作者在名为EmbodiedScan的大型基准测试上测试了这个系统，这就像是一个包含数千个物体的、极其困难的 3D 房间测试。
- 速度与准确性： DEGround 不仅仅是获胜，它彻底碾压了竞争对手。与之前的最佳方法相比，它将机器人的准确率提高了7.52%。
- 效率： 在一个小型测试中，旧方法需要 12 轮训练才能获得不错的分数。而 DEGround 仅用3 轮就达到了更高的分数。这就像是一个学生，别人需要一个月才能掌握的课程，他只需一周就能学会。
- 鲁棒性： 在展示机器人视角的图片中，即使周围有许多令人困惑的、外观相似的物体，DEGround 也能正确识别出正确的物体，而旧方法则会陷入混乱。
总结
DEGround 是一种让机器人理解 3D 空间的新颖、精简的方法。它不再使用缓慢的“两步走”流程，而是利用一个单一的共享系统，同时完成寻找物体和理解语言的任务。它利用“高亮”和“上下文预热”来忽略干扰，精准找到人类所要求的内容，使其成为需要导航并与真实世界互动的机器人的最新最先进方案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。