Zero-Shot Skeleton-Based Action Anticipation

想象一下你正在看电影，但就在开场几秒钟后，屏幕突然变黑了。一个角色弯曲膝盖，降低重心。他们是有时间跳过栅栏，还是正准备坐到长凳上？在计算机科学的世界里，这就是**动作预测（Action Anticipation）**的挑战。它是指机器人或人工智能在一个人完成动作之前，去猜测其下一步动作的艺术。这对于需要瞬间做出反应的安全机器人、辅助设备和自动驾驶汽车来说至关重要。

通常，这些计算机就像是在背诵教科书的学生：它们看到成千上万个“跳跃”的例子和成千上万个“坐下”的例子，然后学习识别其中的模式。但如果机器人看到了一个它从未见过的全新动作，比如一种特定的舞蹈动作或一种独特的投球方式，会发生什么？传统的计算机会陷入停滞，因为它们没有背诵过那个特定的动作。这就是**零样本学习（Zero-Shot Learning）**发挥作用的地方。把它想象成一名侦探，即使没有见过嫌疑人的脸，也能通过描述（比如“戴着红帽子，手里拿着手杖”）来识别出对方。这篇论文探讨了这两个想法的复杂结合：仅凭极其短暂的早期瞥见就预测动作，并且针对那些计算机从未学过的动作进行预测。

---

半途而止的舞蹈之谜

在这篇论文中，作者 Hongsong Wang 及其团队引入了一个他们称之为零样本基于骨骼的动作预测（简称 ZS-SkAA）的新挑战。想象一下，你试图仅凭听到的前两个音符就猜出一首歌，而这首歌是你从未听过的。你必须依靠旋律的“形状”和歌曲的描述来判断它。

研究人员注意到，虽然计算机在识别完整动作方面做得很好，但在面对动作的起始阶段（即“早期阶段”）以及该动作是完全陌生的动作时，往往会表现挣扎。现有的方法假设计算机以前见过所有可能的动作，这在现实世界中并不符合实际。为了解决这个问题，他们构建了一个新的“基准（baseline）”模型——一个为未来研究提供起点的模型——试图解开这个谜题。

模型是如何思考的：侦探的工具箱

作者设计了一个系统，其运作方式就像一个使用三种主要技巧的超级聪明侦探：

1. 骨骼图 (GCN)： 该模型不是观察人的脸部或衣服的视频，而是观察由 3D 关节（如肘部、膝盖和肩膀）组成的“火柴人”。他们使用了一种叫做图卷积网络 (GCN) 的工具。你可以把它看作一张理解你的肘部如何连接到肩膀，以及你的膝盖如何随臀部移动的地图。它了解你身体部位的“家族树”。
2. 时光机 (Transformer)： 由于模型只能看到动作的前几秒，它需要理解动作随时间流逝的过程。他们使用了 Transformer（与帮助聊天机器人理解语言的同类技术），来观察动作序列。这就像在读一个故事，其中单词的顺序与单词本身一样重要。
3. 描述匹配 (互信息)： 这是“零样本”的魔力所在。模型不仅观察火柴人，还会阅读动作的文本描述（例如“跳跃”或“跳舞”）。模型试图最大化视觉火柴人与文本描述之间的“互信息”。想象一下，尝试将一张模糊的狗的照片与一段关于“毛茸茸、会吠的动物”的文字描述进行匹配。模型学习将动作的视觉形状与词语的含义对齐，即使它以前从未见过那只特定的狗。

为了使效果更好，模型同时从三个不同的角度观察骨骼：

• 关节 (Joints)： 身体部位所处的位置。
• 骨骼 (Bones)： 连接各部分的线条。
• 运动 (Motion)： 部件移动的速度。
  通过融合这三种视角，模型得到了更丰富的图像，尤其是在它只有极短时间进行处理时。

他们的发现：早期的预测变得更好

团队在名为 NTU RGB+D 的著名数据集上测试了他们的模型，该数据集包含数千个记录的人类动作。他们将动作分为两组：模型在训练期间“见过”的动作（“已见”类别）和它从未见过的动作（“未见”类别）。

他们测量了模型在仅看到视频 10% 到 90% 时预测动作的效果。结果如下：

• 早期优势： 当模型只看到动作的最开始阶段（视频的 10% 到 30%）时，同时使用三种视角（关节、骨骼和运动）是一个巨大的帮助。与仅观察关节相比，它将准确率提高了多达 4%。这就像是在你只有一瞬间观察时间时，同时拥有放大镜、手电筒和速度计。
• 后期转变： 随着模型看到的视频内容增多（40% 到 90%），仅仅观察关节就变得与复杂的混合视角一样好，甚至可能略好。这表明一旦拥有足够的信息，额外的细节可能只是噪声。
• 击败竞争对手： 与之前被称为 SMIE 的方法相比，他们的新模型始终能做出更好的预测。例如，在 NTU RGB+D 60 数据集上，当只有 10% 的动作可见时，他们的模型正确预测的概率为 39.62%，而旧方法仅为 36.50%。在更大的 NTU RGB+D 120 数据集上，起始阶段的差距甚至更大，他们的模型达到了 26.46% 的准确率，而另一种方法为 23.38%。

“顿悟”时刻

作者还进行了实验，以查看他们的侦探工具箱中哪些部分真正发挥了作用。

• 位置很重要： 他们发现，如果移除“位置编码”（即告诉模型哪个是哪个关节以及帧顺序的部分），模型就会产生混乱。这就像在读一本单词顺序全部被打乱的书；模型无法分辨手臂是在向上移动还是向下移动。
• 关键帧： 他们还测试了一个试图寻找最重要“关键帧”（动作中最具戏剧性的时刻）的特殊模块。当关闭该模块时，模型的性能下降了。这证明了模型确实学会了专注于动作中最激动人心的部分来进行预测。

核心结论

这篇论文并不声称已经永久解决了机器人预测的问题。相反，它建立了一个新的游乐场（基准测试）和一个强大的起点（基准模型），供他人在此基础上继续构建。它表明，通过结合对身体结构的智能理解、敏锐的时间感以及一种巧妙的图文匹配方式，计算机可以开始预测人类接下来的行为——即使是那些它们从未见过的动作。

结果表明，这种方法是构建能够在充满意外的现实世界中与我们安全互动的机器人的一个有前景的方向。正如作者所言，这仅仅是实现让机器真正具备适应能力的至关重要的研究路径的开始。