💻 computer science

PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

本文提出了 PolySLGen 框架，通过引入姿态融合模块和社会线索编码器，实现了在多人交互场景下基于历史对话与动作生成包含语音、肢体动作及说话状态评分的在线多模态反应，显著提升了生成反应的情境适应性、时序连贯性及真实感。

原作者： Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 PolySLGen 的新系统，你可以把它想象成一个**“超级社交机器人”**的大脑。

为了让你更容易理解，我们把复杂的学术概念变成生活中的场景：

1. 核心问题：现在的机器人太“独”了

想象一下，你正在和一个机器人玩“狼人杀”或者“剧本杀”（这就是论文里说的多人群交互，Polyadic Interaction）。

以前的机器人：要么只能听你说，要么只能对着你一个人说话（双人交互，Dyadic）。
现在的困境：如果桌上有 5 个人在聊天，机器人往往不知道什么时候该插话，什么时候该安静点头。它要么像个木头人一样只会做动作，要么只会机械地说话，完全跟不上大家聊天的节奏，甚至经常“抢话”或者“冷场”。

2. 解决方案：PolySLGen 的“三头六臂”

PolySLGen 就像一个经验丰富的老练主持人，它不仅能说话，还能做动作，还能敏锐地观察全场。它有三个核心绝招：

🎧 绝招一：全场的“雷达” (Pose Fusion Module)

比喻：想象你在一个嘈杂的派对上。普通的机器人只盯着说话的那个人看。但 PolySLGen 的“雷达”能同时扫描所有人。
作用：它不仅仅看谁在说话，还看谁在点头、谁在转椅子、谁在比划手势。它把这些人的动作像拼图一样拼在一起，形成一个“群体动态图”。这样，它就能知道：“哦，虽然 A 在说话，但 B 和 C 都在看 D，气氛很紧张，D 可能马上要插话了。”

👀 绝招二：捕捉“眼神”的侦探 (Social Cue Encoder)

比喻：就像侦探观察谁在看谁一样。
作用：在聊天中，眼神非常重要。如果大家都盯着你，说明你在被关注，你可能该说话了；如果大家都看向别人，说明该别人说了。PolySLGen 专门有一个模块来捕捉这种“谁在看谁”的社交信号，从而决定自己该不该开口。

🗣️ 绝招三：会“看脸色”的演员 (Speaking State Prediction)

比喻：这就像是一个红绿灯。
作用：以前的系统要么一直在说话，要么一直在发呆。PolySLGen 会实时计算一个“说话分数”（0 到 1）。
- 分数高 = 绿灯：该我说话啦！（生成语音 + 配合说话的手势）。
- 分数低 = 红灯：该我听了！（生成点头、微笑、身体前倾等倾听动作）。
- 它不会生硬地切换，而是像真人一样自然过渡。

3. 它是如何工作的？（简单流程）

想象这个系统是一个**“即时反应生成器”**：

输入：它看着过去几秒钟大家说了什么（文字/语音），以及大家做了什么动作（身体姿态）。
思考：它利用一个强大的“大脑”（大语言模型 LLM）来理解语境。比如，大家正在讨论一个悬疑故事，气氛紧张。
输出：它瞬间决定：“现在气氛到了，我该插话了！”然后同时生成：
- 说什么：一段符合语境的台词。
- 怎么说：用什么样的语气（是惊讶还是冷静）。
- 做什么：配合台词做一个惊讶的手势，或者在听别人说话时做一个点头的动作。

4. 为什么它很厉害？（实验结果）

研究人员找了一群真人来测试（就像找了一群观众来打分）：

比对手强：和其他现有的机器人系统相比，PolySLGen 的动作更自然，说话更合时宜。
更真实：真人观众觉得，PolySLGen 看起来更像是一个真正的朋友在参与聊天，而不是一个只会背台词的机器。
抗干扰：即使有人被挡住了（比如摄像头没拍到），它也能根据剩下的人的反应，猜出大概发生了什么，依然能做出合理的反应。

5. 总结

PolySLGen 就是为了解决**“机器人如何像真人一样在多人聚会中自然聊天”**这个问题而生的。

它不再是一个只会单向输出的机器，而是一个懂得观察、懂得倾听、懂得何时插话、懂得用肢体语言配合的“社交达人”。未来，这种技术可以让家里的陪伴机器人、游戏里的 NPC（非玩家角色）或者会议助手，真正融入人类的社交圈子，不再显得格格不入。

这篇论文提出了一种名为 PolySLGen 的新框架，旨在解决多模态人机交互中多主体（Polyadic）在线说话与倾听反应生成的问题。以下是该论文的详细技术总结：

1. 研究问题 (Problem)

现有的具身人工智能（Embodied AI）反应生成方法存在以下局限性，难以满足真实社交场景的需求：

交互对象单一：大多数方法仅针对**双人（Dyadic）**交互，无法有效处理三人或更多人的复杂群体动态。
模态缺失：现有工作通常只生成单一模态（如仅动作或仅文本），或者仅关注**说话（Speaking）状态，忽略了倾听（Listening）**时的非语言反应（如点头、注视、姿态调整）。
缺乏在线因果性：许多方法依赖未来上下文（Offline），无法实现基于过去观察的实时（Online/Causal）生成。
忽视群体动态：在多人场景中，参与者之间的相互依赖关系（如视线交流、姿态同步）对自然对话至关重要，但现有模型难以捕捉这些高阶依赖。

核心目标：给定过去所有参与者的语音和动作历史，实时生成目标参与者的未来反应，包括文本、语音风格、全身动作以及说话状态分数（判断是说话还是倾听）。

2. 方法论 (Methodology)

PolySLGen 是一个基于预训练大语言模型（LLM）的在线多模态生成框架，其核心架构如图 2 所示，主要包含以下模块：

A. 输入编码与融合

语音处理：
- 将过去 $H$ 帧的音频分割为话语，通过 ASR（Whisper）转换为文本。
- 使用 StyleTTS 2 提取语音风格特征（语调、语速、情感），并通过适配器（Adapter）映射为 LLM 兼容的嵌入向量。
动作融合模块 (Pose Fusion Module)：
- 为了解决多人动作输入导致上下文过长且忽略参与者间连贯性的问题，设计了分层 Transformer 结构。
- 先通过自注意力（Self-Attention）编码单个参与者的动作动态，再通过交叉注意力（Cross-Attention）聚合其他参与者的动作依赖，最终输出一个紧凑的联合姿态嵌入（Joint Pose Embedding）。这使得模型能高效捕捉跨参与者的交互，而不随人数增加显著增加输入长度。
社会线索编码器 (Social Cue Encoder)：
- 基于非目标参与者的头部朝向计算社会线索分数（Social Cue Score），量化他们对目标参与者的注意力。
- 利用公式 $s_i^k = \cos(\mathbf{u}_i^k, \mathbf{v}_{i \rightarrow P}^k)$ 计算视线与相对位置的夹角余弦值。
- 通过多阶段 MLP 将时间序列的社会线索聚合为嵌入向量，帮助模型理解群体中的注意力流向。

B. 生成与状态预测

LLM 骨干：使用 Llama3-8B-Instruct 作为核心推理引擎，通过 LoRA 进行微调。
多模态解码：
- 文本：直接生成对话内容。
- 语音风格：生成风格向量，配合 StyleTTS 2 合成语音。
- 动作：通过投影头将 LLM 输出的动作嵌入映射回 3D 关节旋转和平移序列。
说话状态预测 (Speaking State Prediction)：
- 模型不仅生成反应，还预测一个说话状态分数 $r$ ，表示目标参与者“应该说话”的置信度。
- 这是一个软性指标（Soft Cue），用于指导回合转换（Turn-taking），而非强制硬切换，使交互更自然。

C. 损失函数

总损失函数包含四个部分：文本交叉熵损失、语音风格 MSE 损失、说话状态二分类交叉熵损失，以及包含关节位置、根节点位置和正则化项的动作损失。

3. 主要贡献 (Key Contributions)

首个在线多模态多主体反应生成框架：首次提出在多人（Polyadic）交互中同时生成说话和倾听反应的在线框架。
动态状态切换机制：引入说话状态分数预测，使系统能根据上下文动态在说话和倾听模式间切换，而非预设固定行为。
创新的群体动态建模：提出了姿态融合模块和社会线索编码器，有效聚合了多人的动作和注意力信号，解决了多人场景下的高阶依赖建模难题。
全面评估：在运动质量、音画同步、状态预测及人类感知真实性等多个维度进行了详尽的定量和定性评估。

4. 实验结果 (Results)

实验在 DnD Group Gesture 数据集（包含 5 名参与者的桌面角色扮演游戏数据）上进行。

定量对比：
- 动作质量：PolySLGen 在根节点误差（Root Error）、平均关节位置误差（MPJPE）和 Fréchet Inception Distance (FID) 上均优于所有基线（包括 SOLAMI、ConvoFusion 等），MPJPE 低至 144.9mm。
- 语音与同步：在 BERTScore（语义相似度）和 BeatAlign（动作与语音节拍对齐）上表现最佳，证明了多模态联合建模的优势。
- 状态预测：说话状态预测的 AP 达到 0.67，显著高于基线（约 0.50 的随机水平）。
消融实验：
- 移除姿态融合模块会导致动作质量显著下降，证明了联合建模多人动作的必要性。
- 结合社会线索编码器能进一步提升状态预测的准确性。
- 包含非说话参与者的动作观测对提升性能至关重要。
鲁棒性：即使在部分参与者数据缺失（模拟遮挡或传感器故障）的情况下，模型仍能保持较好的性能，优于完全依赖全量观测的基线。
用户研究：在 23 名参与者的评估中，PolySLGen 在动作连贯性、语义相关性和整体自然度上均显著优于 SOLAMI 等 SOTA 方法。

5. 意义与价值 (Significance)

推动具身 AI 落地：该研究填补了从双人交互向复杂多人社交场景扩展的空白，使具身智能体（如机器人、虚拟人）能在会议、教育、协作等真实多人场景中更自然地参与对话。
多模态协同的新范式：证明了将语音、动作和社会线索（视线）统一建模，比单独处理各模态能产生更连贯、更符合人类社交直觉的反应。
实时交互潜力：虽然当前推理速度受限于 LLM（约 5 FPS），但其在线因果生成的架构设计为未来的实时多模态交互系统奠定了理论基础。

总结：PolySLGen 通过引入姿态融合和社会线索感知机制，成功解决了多主体交互中反应生成的复杂性问题，实现了从“仅说话”到“说话与倾听动态切换”的跨越，显著提升了人机交互的自然度和沉浸感。代码和模型已开源。