PoseRefer: Pathway-Local Parameters for Semantically Grounded Reference Resolution
本文介绍了 PoseRefer，一种在自然双人交互的 MM-Conv 数据集上评估的解耦式晚期融合架构，该架构表明将姿态与语言融合可显著提升三维指代消解效果，并揭示除非在架构上实现路径隔离，否则以往关于准确性的主张可能受到类别表示伪影的混淆。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个机器人服务员站在繁忙的厨房里。一个人指着一把椅子说：“把杯子放在那个上。”为了做到这一点，机器人必须解决一个棘手的谜题：它需要同时结合三个不同的线索：
- 手势：这个人指向哪里？
- 语言：他们实际说了什么？
- 场景：房间里实际有哪些物体？
大多数之前的机器人测试就像是在玩一个有剧本的游戏。机器人被给予虚假的指向手势，或是事后编写的描述。本文介绍了一种测试机器人的新方法，利用真实、混乱的人类互动（来自虚拟现实实验），人们在其中自然地指指点点、交谈和移动。
以下是本文如何简单解释地解决这个问题的：
1. 问题：“共享厨房”的混乱
作者发现，在大多数机器人的“大脑”中，不同的线索（语言、手势和物体名称）都在同一个锅里烹饪。它们共享相同的“食材”（学习参数）。
类比：想象一下，你想尝出是盐还是胡椒让汤的味道更好。但问题是，盐和胡椒混在同一个胡椒瓶里，你无法将它们分开。如果你拿走盐，也会意外地改变胡椒。这使得无法判断机器人是擅长理解手势，还是仅仅擅长识别物体名称。
2. 解决方案：“双轨”系统
作者构建了一个名为PoseRefer的新机器人“大脑”。他们不再使用一个大锅，而是建立了两条完全独立的轨道，它们从不共享食材：
- 轨道 A（身体）：只观察人的姿态（手臂、头部、身体）和物体的位置。
- 轨道 B（声音）：只听语言内容和物体名称。
由于这些轨道完全独立，研究人员可以关闭其中一个，从而确切地看到另一个贡献了多少。这就像让两位厨师在独立的厨房里工作，然后在最后将他们的菜肴端出来，看看是谁挽救了这顿饭。
3. 魔法开关（门控机制）
该系统有一个智能开关（“门”），决定在多大程度上信任“身体”轨道 versus“声音”轨道。
- 发现：这个开关非常敏感。
- 如果“声音”轨道感到困惑（因为它没有清晰的物体名称列表），开关会说：“信任身体！那个人在指！”
- 如果“声音”轨道有清晰的物体名称列表，开关就会翻转并说：“信任声音！语言更重要。”
- 类比：这就像根据天气变化颜色的交通灯。如果是雾天（语言不清），绿灯会亮起给 GPS（手势）。如果是晴天（语言清晰），绿灯会亮起给地图（语言）。
4. 结果：1 + 1 = 3
当他们结合这两条独立的轨道时，机器人找到正确物体的能力大大提高了。
- 仅靠手势：正确率约为 19%。
- 仅靠语言：正确率约为 25%。
- 两者结合：正确率达到32%。
关键洞察：机器人不仅仅是稍微变好了一点；它变得显著更好，因为这两条轨道填补了彼此的空白。
- 当人们清晰指向时，“身体”轨道是英雄。
- 当人们没有指（只说“那个”）时，“声音”轨道是英雄。
- 通过同时听取两者，机器人能够应对人类对话中混乱的现实。
5. “秘密酱料”（冻结嵌入）
本文还发现，机器人如何理解物体名称至关重要。
- 如果机器人试图从头开始记忆物体名称（就像一个学生拿着很少的抽认卡为考试死记硬背），它会感到困惑。
- 如果机器人使用一个预训练的“词典”（MiniLM），它已经知道“花瓶”与“杯子”相似，那么效果要好得多。
类比：这就像一个学生试图用一本破损的教科书学习一门新语言，与另一个拥有完美词典的学生之间的区别。拥有物体名称“完美词典”的机器人使整个系统运作得更好。
总结
本文证明，要构建一个能理解人类指向和说话的机器人，你不能把所有东西都扔进一个大杂烩里。你需要将“手势大脑”和“语言大脑”保持分离，以免它们互相混淆，然后使用一个智能开关来决定在任何给定时刻听哪一个。当你这样做时，机器人在理解人类真实意图方面会变得更加可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。