HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

想象一下，你正走在公园里，人来人往，这时一个友好的机器人滚到了你面前。它会停下来等你打招呼，还是会在你还没靠近之前就猜到你要过来并向你挥手？这就是“人机交互”（Human-Robot Interaction, HRI）这一领域的内核。这是一门教机器如何理解我们的科学——不仅把我们看作移动的物体，而是把我们看作拥有意图的人。其中的一个关键部分是“预期”（anticipation），即预测人类下一步要做什么的的能力。把它想象成一位舞伴，在音乐变换之前就已经预知了下一个舞步。如果机器人能预见到你想聊天，它就能变得更有帮助，而不是让场面变得尴尬。但为了学会这场舞蹈，机器人需要练习。而要练好，它需要一个海量的真实生活案例库，而不仅仅是影棚里排练好的场景。

这正是开发《HUI3360》论文背后的研究人员致力于构建的目标。他们创建了一个名为 HUI360 的巨型开源视频数据库，目前它是同类数据集中规模最大的，专门用于教机器人如何猜测人类何时想要与其互动。他们没有使用实验室里的专业演员，而是将一台移动机器人送到了“野外”——在食堂、走廊和公共广场等九个不同的真实场景中进行了为期数月的观察。机器人佩戴着一个像鱼眼镜头一样的360度摄像头，注视着成千上万的人走过。有些人忽略了它；有些人则停下来捡起贴纸、丢弃垃圾或取走食物。团队利用智能计算机视觉工具自动追踪每一个人，绘制他们的身体动作图谱，并标记出人与机器人发生物理接触的确切时刻。他们甚至通过人工清理数据来修正任何错误，以确保机器人学习到的“课程”是准确的。

该论文还引入了一组“基准线”（baselines），它们就像是机器人的第一次模拟测试。他们训练了一些简单的计算机大脑（使用随机森林和长短期记忆网络 LSTM 等方法）来观察人的动作，并猜测他们是否即将进行互动。结果表明，这些模型可以很好地胜任这项工作，尤其是当它们利用详细的身体图谱（如面部和手部关键点）来进行判断时。然而，论文也强调了一个棘手的现实：当机器人在一个从未见过的全新环境中进行测试，或者机器人本身发生变化（比如从一个垃圾桶机器人换成一个服务机器人）时，预测就会变得模糊。这就像一个学生在某个教室里数学考试拿了高分，但当老师换到一个不同的房间时却表现得有些吃力。作者指出，虽然目前的方法行之有效，但它们需要变得更加擅长适应新的环境和新的机器人形态，才能在现实世界中真正发挥作用。

至关重要的是，论文对什么是“互动”划定了一条明确的界限。研究人员决定忽略那些复杂的部分，比如人们仅仅是对着机器人好奇地盯着看或微笑。这些时刻太主观，也很难达成共识。相反，他们只关注物理互动——即人实际接触机器人、向其容器内投掷物品或从其身上取走物品的行为。这使得数据具有客观性且易于验证。他们认为，尽管我们可能希望机器人能读懂心思或理解微妙的眼神，但从清晰的物理动作入手，是建立可靠学习基础的唯一途径。

那么，他们的发现是什么呢？包含超过100万个关于人和其运动标注的 HUI360 数据集证明，机器人可以以惊人的准确度学会预判物理互动。他们测试的模型可以在互动发生前一到两秒做出预测，这足以让机器人转头或准备好问候。但论文也表明，这仅仅是个开始。模型在环境发生剧烈变化时表现挣扎，这表明未来的机器人需要具备更高的灵活性，才能应对现实世界的混乱。通过发布这个庞大的数据集及其创建工具，作者正将钥匙交给整个科学界，邀请大家共同构建更优秀的、更具社会感知能力的机器人，让它们最终能够学会与我们在现实世界中翩翩起舞。