StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

想象一下，你正试图教一个机器人在听音乐时跳舞。机器人需要完美地配合节奏移动手臂和身体，但这里有个难点：音乐是实时流式传输的，一次只能传一秒钟。机器人不能等整首歌播放完再开始动作；它必须紧跟节拍，一段接一段地进行。这就是协同语音手势生成（co-speech gesture generation）的世界，这是一个致力于让数字虚拟形象在说话时能自然运动的计算机科学领域。其核心挑战在于实时流式传输（real-time streaming）：系统必须即时生成动作，而无法预知这个人接下来会说什么或做什么。

长期以来，这些系统就像是在黑暗中蒙着眼睛行走的徒步旅行者。它们观察过去几秒钟的动作（过去的状态），并根据当前的音频来猜测下一步该怎么走。问题在于，每一次猜测都会产生微小的、肉眼看不见的误差。如果你走了上千步，这些微小的误差就会不断累积。徒步者会慢慢偏离路径，最终掉进沼泽而不是留在小径上。在数字世界中，这被称为漂移（drift）：机器人的动作在仅仅一分钟的对话后，就会变得怪异、不自然或脱离现实。这篇你即将阅读的论文正是针对这一问题，它在追问：当机器人只能看到脚下的地面时，我们如何让它保持在正确的路径上？

---

问题所在：漂移的舞者

本文的作者们发现，现有的制作说话机器人动作的方法在本质上是“开环”的。想象一下你在和朋友玩“传声筒”游戏，但你们传的不是句子，而是舞蹈动作。你告诉朋友第一个动作，他们做完后告诉你下一个，以此类推。如果你在第一个动作上出了点小错，你的朋友就会模仿这个错误并加上他们自己的微小误差。等到歌曲结束时，这段舞蹈可能已经和你开始时完全不同了。

在人工智能领域，这些动作“片段”是一个接一个生成的。AI 查看前一个片段的最后几帧，然后说：“好吧，基于此，我将生成接下来的 60 帧。”它如此循环往复。论文指出，尽管现代 AI 在制作短小且具有说服力的片段方面非常出色，但它没有办法检查自己是否仍处于正确的轨道上。这就像是在开车，但 GPS 坏了，只能显示你身后的路。你可能正在慢慢驶入田野，但在陷入泥沼之前，你根本意识不到这一点。这种“漂移”会导致动作变得不自然，例如手臂悬空或身体失去节奏，尤其是在长达一分钟左右的对话过程中。

解决方案：“目标锚点”

StreamTalk 背后的核心思想是停止让 AI 进行盲目猜测，而是给它一个“目标锚点”。作者意识到，问题不在于 AI 不能做出好的动作，而在于它不知道自己在片段结束时应该在哪里。

为了解决这个问题，他们构建了一个名为 StreamTalk 的系统，它更像是一个闭环反馈系统。其工作流程如下：

1. 草稿阶段： 首先，AI 生成一个“粗略”的动作片段，就像旧方法那样。
2. 现实检查： 在将这个片段发送到现实世界之前，系统会暂停。它查看生成的片段中最末尾的一个姿态，并询问一个巨大的“优秀姿态库”（一个包含该特定说话者真实人类动作的数据库）：“嘿，哪种看起来最自然的姿态与这个姿态最接近？”
3. 锚点： 系统从库中抓取那个最匹配的姿态。这就是目标锚点。它就像是船只的灯塔。
4. 精修阶段： 然后，AI 会利用这个锚点作为引导，对它的粗略草稿进行微调，以确保片段的结尾精准地落在应有的位置。这就像一位雕塑家先雕刻出一个粗糙的石块，然后使用精确的模板来平滑最终的细节。

这个过程在每一个片段结束时都会发生，从而创造了一个“闭环”，系统通过不断自我修正，防止那些微小的误差累积成灾。

教会 AI 从提示中学习

这里有一个棘手的部分：AI 需要被训练成能够接受这些“锚点”。如果你训练一个学生时总是让他看完整的答案，那么当你只给他一点提示时，他会感到恐慌。因此，作者发明了一种名为**随机锚点掩码（Stochastic Anchor Masking, SAM）**的训练技术。

在训练期间，他们会取一段完美的动作视频，并随机遮盖（掩码）大部分帧，只留下开头和结尾的一个“锚点”帧。他们强迫 AI 根据仅有的这两个点来推断缺失的中间部分。这教会了 AI 如何进行“动作补全（inpaint）”——即仅利用稀疏的线索来填充空白。这样一来，当真实的系统运行时并使用来自数据库的“目标锚点”时，AI 已经成为了利用单个点来引导整个运动的专家。

结果：流畅、实时的舞蹈

作者在 BEAT2 数据集上测试了 StreamTalk，该数据集包含了来自 25 位不同说话者的高质量 3D 动作数据。他们将自己的方法与现有的最佳系统进行了对比。

• 阻止漂移： 结果显示，虽然其他方法在一段时间后会变得怪异并偏离自然运动，但 StreamTalk 保持了稳定性。论文使用一种称为 Fréchet Gesture Distance (FGD) 的指标进行了衡量，StreamTalk 取得了最佳得分，这意味着其运动在统计学上最接近真实的人类运动。
• 实时速度： 复杂 AI 的一个主要担忧是速度。作者展示了 StreamTalk 在标准高端显卡（NVIDIA V100）上可以达到 76 帧每秒 (FPS) 的运行速度。这足以满足实时应用的需求，意味着机器人可以边说边跳，不会出现延迟。
• 一个锚点就够了： 论文还测试了使用更多“锚点”（更多灯塔）是否会有帮助。令人惊讶的是，他们发现仅使用片段末尾的一个锚点是最理想的。使用更多的锚点反而会让动作变得抖动且变差。事实证明，AI 只需要一个明确的方向作为目标，而不是一整套修正网格。

为什么这很重要

StreamTalk 不仅仅是一个微小的改进；它改变了我们看待流式运动的基本方式。它不再让误差在开环中不断累积，而是引入了一个定期的“检查机制”，将运动拉回现实。论文证明，通过结合智能检索系统（寻找正确的锚点）与专门的训练方法（从稀疏提示中学习），我们可以创造出能够长时间自然地说话并运动，而不会失控的数字虚拟形象。

作者总结道，这种方法有效地解决了流式手势生成中长期存在的分布漂移问题，为更真实的虚拟主持人、远程呈现虚拟形象以及能够与我们步调一致、永不迷失方向的互动游戏角色铺平了道路。