Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues
本文提出了一种基于真实世界数据的驱动系统，该系统通过检测客户的非语言线索来触发服务机器人的主动响应，证明了 15.3% 的交互是在没有语言输入的情况下发起的，并提出了一个将这些视觉信号整合进基于大语言模型对话生成的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，一个机器人站在繁忙的商店里，正等待着顾客开口说“你好”，然后它才会回应。长期以来，大多数服务型机器人的工作方式都是如此：它们有耳朵（麦克风），但没有眼睛（或者说，它们并不利用眼睛来进行交流）。它们依赖于一个简单的链条：你说话，机器人听，机器人思考，机器人说话。
但这里是作者们发现的转折点：顾客并不总是先开口说话。
在一次于日本药妆店进行的真实世界实验中，研究人员设置了一个由躲在后台的人类操作员控制的机器人。他们观察了 6 天。巨大的惊喜在于？机器人所说的台词中有 15.3% 并非由顾客的声音触发，而是由他们的肢体语言触发。顾客可能会直接走近、挥手、指着某个袋子，或者向机器人展示某个物品。如果机器人只通过倾听声音，它就会错过近七分之一的互动！
该论文反对认为机器人需要等待口头指令才能提供帮助的观点。它指出，仅仅依赖音频就像是戴着耳塞玩猜词游戏——你会错过一半的游戏内容。
“肢体语言翻译官”
为了解决这个问题，团队构建了一个系统，使其表现得像一位观察力极强的服务员。机器人不再仅仅是倾听，它的“大脑”会实时观察视频画面。他们教会了它识别顾客做出的九种特定“动作”：
- 靠近（走向机器人）
- 挥手
- 指点
- 展示物品
- 点头
- 触摸随身物品
- 窥视机器人内部
- 走开
- 与附近的另一个人互动
他们不仅仅是在猜测这些动作，而是进行了测量。该系统运行速度足够快，可以跟上人类的对话节奏，以大约 每秒 8 帧 的速度处理视频。这至关重要，因为人类期望在约 一秒钟 内得到回应。如果机器人花太长时间去“思考”它所看到的东西，那一刻的神奇感就会消失。
机器人如何回应
一旦机器人捕捉到某个动作，它并不会随口说出一句随机的话。它会使用一个“聪明的大脑”（大语言模型），根据它所看到的场景来决定说什么。
- 如果顾客挥手，机器人可能会说：“你好！”
- 如果顾客展示一个沉重的袋子，机器人可能会说：“哇，那个袋子看起来很重！”
- 如果顾客指点，机器人可能会问：“有什么我可以帮您寻找的吗？”
研究人员首先进行了离线测试。他们将机器人的视频历史记录和操作员的实际反应输入系统，以观察机器人是否能准确判断出响应的意图。结果令人振奋但也存在局限：
- 对于问候和社交闲聊（如说“嗨”或“再见”），系统的准确率约为 69%。
- 然而，对于特定任务（如提供商店路线或警告），系统表现得较为吃力。这是因为这些时刻通常需要关于商店非常具体的细节，而机器人目前还不了解这些细节，且触发这些时刻的“动作”（如触摸特定物品）也非常罕见。
现实世界测试
团队并未止步于模拟。他们构建了一个可以在配备强大显卡的标准游戏电脑上运行的完整原型。在这个实机设置中，机器人使用摄像头追踪人员，使用麦克风倾听语音，并利用其全新的“肢体语言之眼”来观察那九种动作。当顾客走近并挥手时，机器人实际上可以在实时状态下说出“你好”，而无需人类操作员在背后操控。
仍处于开发阶段
作者们谨慎地表示，这并非完美的解决方案。他们承认，虽然机器人非常擅长捕捉何时说“你好”，但在处理复杂的商店指令方面仍在学习阶段。该系统目前是一个原型，展示了变得更加主动的潜力。它表明，通过为机器人的耳朵加上眼睛，我们可以让交互变得更加自然，但机器人仍需要更多训练来应对繁忙商店中的各种可能情况。
简而言之，这篇论文证明了，在 15.3% 的时间里，机器人的好伙伴不是麦克风——而是摄像头。通过学会观察环境，机器人可以不再等待被动交谈，而是开始主动打招呼。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。