💻 computer science

DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation

本文提出了 DyaDiT，一种基于多模态扩散变换器的框架，能够利用双人对讲音频及社交上下文信息生成自然且符合社交规范的双人交互手势，并在客观指标和用户偏好上均优于现有方法。

原作者： Yichen Peng, Jyun-Ting Song, Siyeol Jung, Ruofan Liu, Haiyang Liu, Xuangeng Chu, Ruicong Liu, Erwin Wu, Hideki Koike, Kris Kitani

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yichen Peng, Jyun-Ting Song, Siyeol Jung, Ruofan Liu, Haiyang Liu, Xuangeng Chu, Ruicong Liu, Erwin Wu, Hideki Koike, Kris Kitani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DyaDiT 的新技术，它的核心任务是让电脑生成的“数字人”在聊天时，能做出非常自然、符合社交礼仪的手势。

想象一下，你正在和一个虚拟朋友视频聊天。如果对方只是嘴巴在动，身体却像根木头一样僵硬，你会觉得他很假。但如果他不仅能说话，还能根据你们的关系（是死党还是陌生人）、他的性格（是外向还是内向）以及你们聊天的氛围，自然地挥手、点头或做出反应，那感觉就会像真人在和你交流。

DyaDiT 就是为了让这种“像真人一样”的互动成为现实而诞生的。

以下是用通俗易懂的比喻来解释它的核心原理和亮点：

1. 它解决了什么痛点？（以前的“木头人”问题）

以前的技术就像是一个只会背台词的演员。你给它一段录音，它就机械地配上一套标准动作。

问题一：不懂社交。 它不知道对方是“老板”还是“死党”，对老板和死党可能做出完全一样的手势，这很不自然。
问题二：不懂“听”别人说话。 在双人对话中，两个人经常抢话、插嘴或者互相配合。以前的模型往往把两个人的声音混在一起，分不清谁在说话，导致生成的动作很混乱，比如你在听别人说话时，它却让你像演讲一样手舞足蹈。

2. DyaDiT 是怎么工作的？（三个核心“超能力”）

超能力一：给数字人装上“社交雷达” (Relationship & Personality Tokens)

DyaDiT 不仅仅听声音，它还会看“身份证”。

比喻： 就像你走进一个房间，DyaDiT 会先问：“嘿，这位数字人，你是跟家人聊天，还是跟陌生人聊天？你的性格是开朗的还是内向的？”
效果： 如果设定是“跟死党聊天”，它生成的动作就会很随意、夸张；如果设定是“跟陌生人”，动作就会比较拘谨、礼貌。这让数字人看起来更有“人情味”。

超能力二：神奇的“分音器” (ORCA 模块)

这是论文中最硬核的技术部分，叫 正交化交叉注意力 (ORCA)。

比喻： 想象两个人在嘈杂的酒吧里聊天，声音混在一起。以前的模型像个晕头转向的听众，分不清谁在说话。DyaDiT 则像是一个高明的调音师，它有一个特殊的“分音器”，能把“自己说话的声音”和“对方说话的声音”完美地分离开，甚至能听出谁在打断谁。
效果： 即使两个人同时说话（抢话），DyaDiT 也能知道：“哦，现在是 A 在打断 B，所以 B 应该做出惊讶或停顿的手势，而不是继续滔滔不绝。”这让互动变得非常真实。

超能力三：动作“字典” (Motion Dictionary)

比喻： 就像学画画的人有一个“色卡”或“笔触库”。DyaDiT 手里有一本动作字典，里面存着各种各样的“手势风格”（比如：热情型、冷静型、犹豫型）。
效果： 在生成动作时，它可以从字典里挑选最合适的“笔触”，让动作不仅符合声音，还符合特定的风格，避免动作千篇一律。

3. 它是怎么“画”出动作的？ (Diffusion Transformer)

比喻： 想象你在一张画纸上先画满噪点（像电视雪花屏），然后 DyaDiT 像一位神奇的画家，一步步擦除噪点，根据刚才听到的声音和社交设定，慢慢“显影”出清晰、流畅的动作。
这种技术（扩散模型）让它生成的动作非常细腻，不像以前那样僵硬。

4. 效果怎么样？（大家喜欢吗？）

研究人员找了一群真人来做测试（A/B 测试）：

对比对象： 拿 DyaDiT 和以前的顶尖技术（ConvoFusion）以及真实的真人录像做对比。
结果： 令人惊讶的是，大多数人觉得 DyaDiT 生成的动作比以前的技术好得多，甚至觉得它比真实的真人录像还要自然和讨喜！
人们觉得 DyaDiT 的动作更懂“眼色”，更符合社交场合，看起来更像是一个有血有肉的人在交流。

总结

DyaDiT 就像是一个懂社交礼仪、听力超群、且动作优雅的虚拟演员。它不再只是机械地对口型，而是真正理解了“我们在跟谁聊”、“聊得怎么样”以及“对方在说什么”，从而做出最得体、最自然的反应。

这项技术未来可以让虚拟助手、游戏 NPC 或者元宇宙里的数字人，真正走进我们的生活，让我们感觉它们不再是冷冰冰的代码，而是可以交心的朋友。

1. 研究背景与问题定义 (Problem)

核心挑战：
现有的数字人（Digital Humans）手势生成研究主要集中在单人（Co-speech）场景，即根据单人的语音生成对应的手势。然而，真实的人类交流是**双人（Dyadic）**互动的，具有高度的社会性和动态性。现有方法在处理双人对话时存在以下主要局限：

缺乏社会语境建模： 忽略了说话者之间的关系（如朋友、陌生人、恋人）和性格特征（如外向性、宜人性），导致生成的动作缺乏社会适应性，显得生硬或通用。
双人音频纠缠： 在双人对话中，两人可能同时说话、打断或快速交替。现有模型通常将双人音频简单混合或未能有效解耦，导致模型难以区分“谁在说话”以及“谁在倾听”，从而无法生成符合互动逻辑的反应性动作。
互动动态缺失： 未能有效捕捉两人之间的相互协调（如镜像、同步、回应），生成的动作往往缺乏对伴侣动作的响应。

目标：
开发一种能够根据双人音频、社会语境（关系、性格）以及伴侣动作，生成自然、社会友好且符合互动逻辑的双人对话手势的模型。

2. 方法论 (Methodology)

作者提出了 DyaDiT，这是一个基于扩散 Transformer (Diffusion Transformer, DiT) 的多模态生成模型。其核心架构包含以下几个关键模块：

2.1 整体架构

输入模态：
- 双人音频： 说话者（Self）和倾听者/伴侣（Other）的语音流。
- 社会语境 Token： 关系类型（朋友、陌生人、家庭、伴侣）和性格评分（大五人格：外向、宜人性、尽责性、神经质、开放性）。
- 伴侣动作（可选）： 伴侣当前的手势序列，用于生成更协调的响应动作。
- 种子姿态： 初始姿态。
输出： 目标说话者的上半身手势序列。
基础模型： 基于 DDPM 框架的扩散 Transformer，在潜在空间（Latent Space）中进行去噪生成。

2.2 核心创新模块

A. 正交化交叉注意力模块 (Orthogonalization Cross Attention, ORCA)

问题： 双人对话中，两人的语音流高度相关且重叠，直接输入会导致特征纠缠，模型难以区分说话者和倾听者的角色。
解决方案：
1. 正交化投影： 将“自我”音频特征投影到“伴侣”音频特征的正交补空间上，去除冗余信息，保留互补信息。公式： $a_{self}^\perp = a_{self} - \text{Proj}_{a_{other}}(a_{self})$ 。
2. 双向交叉注意力： 使用两个对称的交叉注意力模块，分别捕捉“说话者对伴侣的回应”和“倾听者对说话者的反应”。
3. 自适应门控融合： 通过可学习的门控机制融合两个流的信息，生成清晰、无歧义的音频表征。
效果： 即使在打断（Interrupting）等复杂场景下，也能准确生成符合当前角色的手势。

B. 动作字典 (Motion Dictionary, MD)

灵感： 借鉴 LIA 等工作，学习一组正交的动作方向。
机制： 引入一个可学习的动作字典（一组动作基向量），通过交叉注意力机制，根据当前的风格条件（如性格）对音频特征进行调制。
作用： 允许模型在推理时通过 Classifier-Free Guidance (CFG) 控制生成动作的风格（如更外向或更内敛），增强动作的多样性和表现力。

C. 多模态条件注入

社会 Token： 关系和性格向量通过 FiLM (Feature-wise Linear Modulation) 和交叉注意力注入到 DiT 块中，使模型能够同时捕捉社会属性和个体表达风格。
动作 Tokenizer： 使用 残差 VQ-VAE 将连续的动作序列离散化为紧凑的潜在 Token，减少时间冗余，使扩散模型能更好地捕捉长程依赖。

3. 数据集与训练 (Dataset & Training)

数据集： 使用 Seamless Interaction Dataset 的一个子集（约 3000 个片段，182 小时），包含同步的双人音频、全身动作和面部表情。
预处理：
- 仅保留上半身（43 个关节，含手指），因为原始数据集的下半身重建存在噪声。
- 使用 Wav2Vec2 提取音频特征。
- 利用数据集中的关系标签和性格评分作为条件输入。

4. 实验结果 (Results)

4.1 定量评估 (Quantitative Evaluation)

在标准指标上与现有方法（ConvoFusion, Audio2PhotoReal）进行了对比：

Fréchet Distance (FD)： DyaDiT 取得了最低的 FD 值（6.40），表明生成的动作在姿态分布上最接近真实数据，逼真度最高。
多样性 (Diversity)： 在保持高逼真度的同时，DyaDiT 展现了优秀的动作多样性。
消融实验： 移除 ORCA 模块会导致 FD 显著上升（动作变差），证明其解耦音频的重要性；移除动作字典会降低多样性；移除社会条件（Uncond/Random）会降低生成质量，证明社会语境对生成自然动作至关重要。

4.2 定性评估与用户研究 (User Study)

设置： 16 名参与者进行 A/B 测试，对比 DyaDiT、ConvoFusion 和真实数据（Ground Truth）。
评估维度： 整体质量、关系一致性、性格一致性。
结果：
- 整体质量： 73.9% 的参与者偏好 DyaDiT 生成的动作（优于 ConvoFusion）。
- 社会一致性： 在关系和性格匹配度上，DyaDiT 分别获得了 69.8% 和 66.7% 的偏好率。
- 超越真实数据： 有趣的是，DyaDiT 在部分指标上甚至略微优于真实数据（Ground Truth），这可能是因为扩散模型生成的动作更平滑，且社会条件引导生成了更具表现力的动作。

5. 主要贡献 (Key Contributions)

DyaDiT 模型： 提出了首个结合扩散 Transformer 与多模态条件（双人音频、社会关系、性格、伴侣动作）的双人手势生成框架，显著提升了动作的社会适应性。
ORCA 模块： 设计了正交化交叉注意力机制，有效解决了双人对话中音频流纠缠的问题，实现了说话者与倾听者角色的清晰解耦。
社会感知生成： 证明了显式引入关系和性格条件能显著提升生成动作的真实感和互动性，并通过用户研究验证了其在社会语境下的优越性。
全面评估： 提供了严格的定量指标和大规模用户主观评估，确立了该领域的新基准。

6. 意义与未来展望 (Significance & Future Work)

意义：

提升人机交互体验： 为构建具有高度社会智能的数字人（Digital Humans）和 AI 代理提供了关键技术，使其在对话中不仅“会说”，还能“得体地动”，增强用户的沉浸感。
推动社会计算发展： 将社会心理学因素（关系、性格）显式地融入生成式 AI 模型，是迈向“社会友好型”AI 的重要一步。

局限与未来工作：

数据限制： 当前模型受限于数据集，且性格特征可能隐含在音频中，导致条件控制的可解释性受限。
未来方向： 计划探索音频去噪（Audio Neutralization）以更好地解耦社会线索；利用更先进的人体重建技术（如 SMPLest-x）收集全身体数据，实现全身手势生成；并计划引入更细粒度的交互动态（IPC）标注。

总结：
DyaDiT 通过引入社会语境感知和创新的音频解耦机制，成功解决了双人对话手势生成中的核心难题，生成的动作不仅自然流畅，而且高度符合社交规范，是目前该领域最先进的成果之一。