🤖 AI

CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

本文介绍了 CETalk，这是一个音频驱动的 3D 会话头部生成框架，它利用连续的效价-唤醒度（Valence-Arousal）表示和多尺度时间建模架构，在克服离散情感类别局限性的同时，实现了细粒度的情感控制和准确的唇形同步。

原作者： Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的数字媒体世界中，创造逼真虚拟人的能力已从科幻领域的构想转变为实际应用。这些数字分身越来越多地被用于虚拟助手、虚拟现实通信以及互动娱乐领域。该领域的一个核心挑战是让这些角色用脸部进行交流，而不仅仅是动嘴。早期的系统虽然可以成功地将唇动与 spoken 言语匹配，但往往难以传达出使人类对话显得真实的那些微妙且不断变化的表情。传统方法将情绪视为不同的、独立的类别，例如“快乐”、“悲伤”或“愤怒”。这种方法对于宏观层面的表达有效，却无法捕捉到人类情感的流动性和连续性——例如，一个微笑可能会慢慢消退为忧虑的神情，或者兴奋感可能会在爆发之前静静地酝酿。此外，说话的时机与情绪的时机在本质上是不同的：嘴部必须快速运动以匹配单词的快速发音，而情绪表达则往往在整个脸部上更缓慢地演变。

合肥工业大学的研究人员开发了一种名为 CETalk 的新系统来解决这些特定问题。该系统没有将情绪强行归入僵化的类别，而是使用一个连续的二维图谱来描述感受，追踪一种情感是积极还是消极，以及它是活跃还是被动的。这种方法使计算机能够生成平滑变化的脸部动画，镜像人类对话中自然的起伏变化。团队构建了一个大型的新数据集来训练他们的系统，通过现有的视频录像重建了 3D 脸部动作，并自动估算了每一帧的这些连续情绪值。这些数据为教计算机区分言语所需的快速、精确运动与传达情绪的缓慢、大幅度变化提供了必要的基石。

该新系统的核心在于它如何处理时间。研究人员意识到，言语和情绪运行在不同的速度上，就像鼓手保持着稳定、快速的节奏，而歌手则拉着一个长而慢的音符一样。为了管理这一点，该系统将处理过程分为两条并行路径。一条路径专注于嘴部和下颚的高速细节，确保每一个音节都与音频完美同步。另一条路径则专注于表达情绪的较慢、较宽泛的脸部动作，例如紧锁的眉头或睁大的眼睛。随后，这两股信息流由一个智能集成系统重新汇合，该系统会逐时逐刻地决定在言语运动与情绪表达之间给予多少权重。这使得最终的动画既能实现准确的唇形同步，又具备丰富的表情深度。

为了测试他们的工作，团队使用三组不同的视频数据将他们的系统与几种现有方法进行了对比。结果显示，他们的方案比以往最好的方法产生了更准确的唇部运动和更真实的脸部表情。在 MEAD 数据集的测试中，他们的系统将唇部运动误差降低到了约 7.48 毫米，并将整体脸部运动误差降低到了约 9.91 毫米，在这一特定基准测试中超越了所有其他测试的技术。除了准确性之外，该系统还展示了遵循连续情绪指令的卓越能力。当被要求生成一个从负面状态逐渐转向正面状态的脸部时，该系统能够高精度地遵循该路径，比其竞争对手更好地匹配了预期的情绪轨迹。

研究人员还展示了该系统允许对情绪强度进行细粒度的控制。通过调整输入值，他们可以让角色的表情微妙地变得更强烈或更内敛，而不会破坏与声音的同步。这种控制水平对于创造真正具有生命力的数字人至关重要，使其能够实现定义真实人类互动的细微且连续的情绪转变。通过摒弃离散的类别并拥抱人类情感的连续性，这项工作为使虚拟通信感觉不再像是观察机器，而更像是与人建立连接，迈出了重要的一步。

技术摘要：CETalk —— 用于音频驱动 3D 谈话头像生成的连续效价-唤醒度控制

1. 问题陈述

音频驱动的 3D 谈话头像生成旨在从语音中合成具有时间连贯性和视觉真实感的面部动画。虽然近期的研究方法已实现了准确的唇形同步，但它们在生成具有情感表现力的数字人方面面临两个主要局限：

离散情感的局限性： 现有方法通常依赖于离散的情感类别（例如：快乐、悲伤）。这无法捕捉人类对话中自然发生的连续、细微的情感演变和平滑过渡。
时间频率失配： 音频发音与情感表达之间存在根本性的时间尺度差异。唇部运动需要与音频紧密同步的高频、帧级特征，而情感表达则在较长的时间跨度内缓慢演变。现有模型往往难以解耦这些动态过程，导致生成的动画要么过于僵硬，要么缺乏情感细微差别。

2. 方法论：CETalk 框架

作者提出了 CETalk，一个以连续效价-唤醒度（Valence–Arousal, VA）表示为条件的框架，以实现细粒度的情感控制。该系统通过输入音频 ( $A$ )、说话人身份 ( $S$ ) 和连续情感条件 ( $E_{cond}$ ) 来预测 FLAME 参数序列 ( $P$ )。其架构由三个核心组件组成：

动态情感调制模块 (DEMM)：
该模块弥合了静态情感规范与动态面部表情之间的差距。它接收静态 VA 条件 ( $E_{cond}$ ) 并利用音频衍生的线索对其进行调制。
- 一个表情编码器将 VA 信号转换为基础情感表示 ( $E_{VA}$ )。
- 一个音频-情感编码器（基于 Emotion2Vec）从音频中提取帧级情感线索 ( $E_{audio}$ )。
- 一个动态强度调节模块根据 $E_{audio}$ 预测时间缩放系数 ( $\alpha$ )。
- 最终的动态嵌入 ( $E_{mod}$ ) 通过逐元素缩放获得： $E_{mod} = \alpha \odot E_{VA}$ 。
多尺度时间建模 (MSTM)：
为了解决时间频率失配问题，CETalk 采用并行分支来解耦高频 (HF) 发音运动和低频 (LF) 情感动态。
- 高频分支 (HF Branch)： 专注于与音频紧密同步的细粒度发音。它利用说话人嵌入与高分辨率音频特征（通过 HuBERT 提取）之间的交叉注意力机制。
- 低频分支 (LF Branch)： 模拟缓慢变化的情感动态。它对音频特征和动态情感嵌入进行时间下采样，在粗尺度上执行交叉注意力计算，然后将结果上采样至原始时间分辨率。
动态融合机制 (DFM)：
该模块自适应地整合高频 (HF) 和低频 (LF) 特征。一个轻量级门控网络根据两个特征集的拼接计算通道级自适应权重 ( $g$ )。最终的统一表示 ( $\tilde{F}$ ) 是加权和： $\tilde{F} = g \odot F_{HF} + (1 - g) \odot F_{LF}$ 。该表示随后被投影以预测表情和下颌系数。

3. 数据集构建：3D-VA-MEAD

为了支持训练和评估，作者构建了 3D-VA-MEAD，这是一个源自 MEAD 数据集的大规模数据集。

流程： 他们利用预训练的情感识别模型从视频中估计帧级 VA 系数，并使用单目 3D 面部重建方法 (EMOCA) 来恢复 FLAME 参数。
精炼： 为了减轻时间不稳定性，应用了 1D 移动平均滤波器来平滑回归的情感向量。
成果： 该数据集提供了重建的 3D 面部运动，并配有帧级连续 VA 注释。

4. 实验结果

该模型在 MEAD、RAVDESS 和 HDTF 数据集上针对最先进的基准模型（包括 FaceFormer、CodeTalker、EMOTE 和 UniTalker）进行了评估。

面部运动精度： CETalk 在所有数据集上均取得了最低误差。在 MEAD 上，它记录了 7.4772 mm 的唇部顶点误差 (LVE) 和 9.9059 mm 的平均顶点误差 (MVE)，优于所有基准模型。它还在野外环境下的 HDTF 数据集上展示了强大的泛化能力。
情感可控性： 使用均方根误差 (RMSE) 和符号一致性 (SAGR) 指标进行 VA 预测，CETalk 表现最佳（效价 RMSE: 0.1223；唤醒度 RMSE: 0.0747；效价 SAGR: 0.9247；唤醒度 SAGR: 0.9906）。
定性分析： 视觉对比表明，与表现出过度平滑或僵硬动画的方法相比，CETalk 能产生更丰富、更连贯的情感动态和更平滑的过渡。
消融实验： 去除动态情感调制模块 (DEMM) 导致了最显著的性能下降（EVE 从 1.3256 增加到 2.4367），证实了动态强度调制的必要性。

5. 重要性与主张

论文声称，CETalk 通过超越离散情感类别，迈向连续情感空间，代表了该领域的重大进步。其主要贡献在于：

连续控制： 它通过效价-唤醒度调节实现了细粒度、时间连贯的情感控制，允许在不同情感状态之间进行平滑过渡。
时间解耦： 多尺度时间建模机制显式地解耦了音频发音与情感表达之间异构的时间动态，解决了该领域的一个核心挑战。
资源可用性： 3D-VA-MEAD 的构建为情感感知谈话头像生成的未来研究提供了必要的资源，填补了缺乏带有连续 VA 注释的公开数据集的空白。

作者总结道，通过通过自适应融合共同捕捉音频驱动的发音和情感动态，CETalk 实现了卓越的唇形同步精度和情感表现力，验证了连续情感建模对于 3D 谈话头像生成的有效性。