🤖 AI

CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

Este artigo apresenta o CETalk, um framework de geração de cabeça falante 3D impulsionado por áudio que utiliza representações contínuas de Valência-Arousal e uma arquitetura de modelagem temporal multiescala para alcançar controle emocional de granularidade fina e sincronia labial precisa, ao mesmo tempo em que supera as limitações das categorias de emoções discretas.

Autores originais: Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da mídia digital, a capacidade de criar humanos virtuais realistas passou do reino da ficção científica para a aplicação prática. Esses avatares digitais são cada vez mais usados como assistentes virtuais, na comunicação de realidade virtual e para entretenimento interativo. Um desafio central neste campo é fazer com que esses personagens falem com seus rostos, não apenas com suas bocas. Sistemas antigos conseguiam combinar com sucesso os movimentos labiais com as palavras faladas, mas frequentemente tinham dificuldade em transmitir as emoções sutis e mutáveis que tornam a conversa humana real. As abordagens tradicionais tratavam as emoções como caixas distintas e separadas, tais como "feliz", "triste" ou "irritado". Este método funcionava para traços amplos, mas falhava em capturar a natureza fluida e contínua do sentimento humano, onde um sorriso pode desaparecer lentamente em um olhar de preocupação ou onde a excitação pode borbulhar silenciosamente antes de explodir. Além disso, o tempo da fala e o tempo da emoção são fundamentalmente diferentes; a boca deve se mover rapidamente para corresponder aos sons rápidos das palavras, enquanto as expressões emocionais muitas vezes evoluem mais lentamente por todo o rosto.

Pesquisadores da Universidade de Tecnologia de Hefei desenvolveram um novo sistema chamado CETalk para resolver esses problemas específicos. Em vez de forçar as emoções em categorias rígidas, este sistema utiliza um mapa bidimensional contínuo para descrever sentimentos, rastreando o quão positivo ou negativo um sentimento é e o quão ativo ou passivo ele parece ser. Esta abordagem permite que o computador gere animações faciais que mudam suavemente, espelhando o fluxo natural e o refluxo da conversa humana. A equipe construiu um novo grande conjunto de dados para treinar seu sistema, reconstruindo movimentos faciais 3D a partir de gravações de vídeo existentes e estimando automaticamente esses valores emocionais contínuos para cada quadro individual. Esses dados forneceram a base necessária para ensinar o computador a distinguir entre os movimentos rápidos e precisos exigidos pela fala e as mudanças mais lentas e amplas que transmitem o humor.

O núcleo do novo sistema reside em como ele lida com o tempo. Os pesquisadores perceberam que a fala e a emoção operam em velocidades diferentes, de forma muito semelhante a como um baterista mantém um ritmo constante e rápido enquanto um cantor sustenta uma nota longa e lenta. Para gerenciar isso, o sistema divide o processamento em dois caminhos paralelos. Um caminho foca nos detalhes de alta velocidade da boca e da mandíbula, garantindo que cada sílaba seja sincronizada perfeitamente com o áudio. O outro caminho foca nos movimentos mais lentos e amplos do rosto que expressam emoção, como um cenho franzido ou um alargamento dos olhos. Essas duas correntes de informação são então reunidas por um sistema de integração inteligente que decide, momento a momento, quanto peso dar aos movimentos da fala versus à expressão emocional. Isso permite que a animação final seja tanto precisa em sua sincronia labial quanto rica em sua profundidade emocional.

Para testar seu trabalho, a equipe comparou seu sistema com vários métodos existentes usando três conjuntos diferentes de dados de vídeo. Os resultados mostraram que sua abordagem produziu movimentos labiais significativamente mais precisos e expressões faciais mais realistas do que os melhores métodos anteriores. Em testes no conjunto de dados MEAD, seu sistema reduziu os erros de movimento labial para aproximadamente 7,48 milímetros e os erros de movimento facial geral para cerca de 9,91 milímetros, superando todas as outras tecnologias testadas nesse benchmark específico. Além da precisão, o sistema demonstrou uma capacidade superior de seguir instruções emocionais contínuas. Ao serem solicitados a gerar um rosto que mudasse gradualmente de um estado negativo para um positivo, o sistema seguiu o caminho com alta precisão, correspondendo à trajetória emocional pretendida muito melhor do que seus competidores.

Os pesquisadores também demonstraram que o sistema permite um controle detalhado sobre a intensidade de uma emoção. Ao ajustar os valores de entrada, eles podiam fazer com que a expressão de um personagem fosse sutilmente mais intensa ou mais contida sem quebrar a sincronização com a voz. Este nível de controle é crucial para criar humanos digitais que pareçam verdadeiramente vivos, capazes das mudanças emocionais nuances e contínuas que definem a interação humana real. Ao se afastarem das categorias discretas e abraçarem a natureza contínua do afeto humano, este trabalho oferece um passo significativo para fazer com que a comunicação virtual pareça menos como observar uma máquina e mais como conectar-se com uma pessoa.

Resumo Técnico: CETalk – Controle Contínuo de Valência–Excitação para Geração de Cabeças Falantes 3D Dirigidas por Áudio

1. Declaração do Problema

A geração de cabeças falantes 3D dirigida por áudio visa sintetizar animações faciais temporalmente coerentes e visualmente realistas a partir da fala. Embora métodos recentes tenham alcançado uma sincronia labial precisa, eles enfrentam duas limitações primárias na geração de avatares emocionalmente expressivos:

Limitações de Emoções Discretas: Abordagens existentes frequentemente dependem de categorias de emoções discretas (ex: feliz, triste). Isso falha em capturar a evolução contínua e sutil do afeto e as transições suaves que ocorrem naturalmente na conversação humana.
Descompasso de Frequência Temporal: Existe uma discrepância fundamental nas escalas temporais entre a articulação do áudio e a expressão emocional. Os movimentos labiais exigem sincronização de alta frequência, ao nível de quadro, com o áudio, enquanto as expressões emocionais evoluem mais lentamente ao longo de intervalos temporais mais longos. Modelos existentes frequentemente lutam para desacoplar essas dinâmicas, levando a animações que são ou rígidas ou carecem de nuance emocional.

2. Metodologia: O Framework CETalk

Os autores propõem o CETalk, um framework condicionado a representações contínuas de Valência–Excitação (VA) para permitir um controle emocional refinado. O sistema prevê uma sequência de parâmetros FLAME ( $P$ ) dado um áudio de entrada ( $A$ ), identidade do falante ( $S$ ) e uma condição de emoção contínua ( $E_{cond}$ ). A arquitetura consiste em três componentes principais:

Módulo de Modulação Dinâmica de Emoção (DEMM):
Este módulo faz a ponte entre especificações emocionais estáticas e expressões faciais dinâmicas. Ele recebe a condição VA estática ( $E_{cond}$ ) e a modula usando pistas derivadas do áudio.
- Um codificador de expressão converte sinais VA em uma representação emocional base ( $E_{VA}$ ).
- Um codificador de áudio–emoção (baseado em Emotion2Vec) extrai pistas afetivas de nível de quadro do áudio ( $E_{audio}$ ).
- Um módulo de ajuste de intensidade dinâmica prevê coeficientes de escala temporal ( $\alpha$ ) baseados em $E_{audio}$ .
- O embedding dinâmico final ( $E_{mod}$ ) é obtido via escalonamento elemento a elemento: $E_{mod} = \alpha \odot E_{VA}$ .
Modelagem Temporal de Múltiplas Escalas (MSTM):
Para abordar o descompasso de frequência temporal, o CETalk emprega ramos paralelos para desacoplar movimentos de articulação de alta frequência (HF) de dinâmicas emocionais de baixa frequência (LF).
- Ramo HF: Foca na articulação de grão fino, estritamente sincronizada com o áudio. Utiliza atenção cruzada entre o embedding do falante e características de áudio de alta resolução (extraídas via HuBERT).
- Ramo LF: Modela dinâmicas emocionais que variam lentamente. Aplica subamostragem temporal tanto às características de áudio quanto ao embedding de emoção dinâmica, realiza atenção cruzada em uma escala grosseira e, em seguida, faz o upsampling do resultado para a resolução temporal original.
Mecanismo de Fusão Dinâmica (DFM):
Este módulo integra adaptativamente as características HF e LF. Uma rede de portão (gating) leve computa pesos adaptativos por canal ( $g$ ) baseados na concatenação de ambos os conjuntos de características. A representação unificada final ( $\tilde{F}$ ) é uma soma ponderada: $\tilde{F} = g \odot F_{HF} + (1 - g) \odot F_{LF}$ . Esta representação é então projetada para prever coeficientes de expressão e mandíbula.

3. Construção do Dataset: 3D-VA-MEAD

Para apoiar o treinamento e a avaliação, os autores construíram o 3D-VA-MEAD, um dataset de larga escala derivado do dataset MEAD.

Processo: Eles utilizaram um modelo de reconhecimento de emoções pré-treinado para estimar coeficientes VA de nível de quadro a partir de vídeos e um método de reconstrução facial 3D monocular (EMOCA) para recuperar os parâmetros FLAME.
Refinamento: Para mitigar a instabilidade temporal, um filtro de média móvel 1D foi aplicado para suavizar os vetores de emoção regredidos.
Resultado: O dataset fornece movimentos faciais 3D reconstruídos pareados com anotações contínuas de VA por nível de quadro.

4. Resultados Experimentais

O modelo foi avaliado nos datasets MEAD, RAVDESS e HDTF contra baselines de estado da arte (incluindo FaceFormer, CodeTalker, EMOTE e UniTalker).

Precisão do Movimento Facial: O CETalk alcançou os menores erros em todos os datasets. No MEAD, registrou um Erro de Vértice Labial (LVE) de 7,4772 mm e um Erro de Vértice Médio (MVE) de 9,9059 mm, superando todos os baselines. Também demonstrou forte generalização no dataset HDTF (in-the-wild).
Controlabilidade Emocional: Usando métricas de RMSE e SAGR para a previsão de VA, o CETalk alcançou o melhor desempenho (RMSE: 0,1223 para Valência, 0,0747 para Excitação; SAGR: 0,9247 para Valência, 0,9906 para Excitação).
Análise Qualitativa: Comparações visuais mostraram que o CETalk produz dinâmicas expressivas mais ricas e coerentes e transições mais suaves em comparação com métodos que exibem animações excessivamente suavizadas ou rígidas.
Estudo de Ablação: A remoção do Módulo de Modulação Dinâmica de Emoção (DEMM) causou a degradação de desempenho mais significativa (o EVE aumentou de 1,3256 para 2,4367), confirmando a necessidade da modulação de intensidade dinâmica.

5. Significância e Alegações

O artigo afirma que o CETalk representa um passo significativo ao ir além das categorias de emoções discretas para um espaço afetivo contínuo. Suas principais contribuições são:

Controle Contínuo: Permite um controle emocional refinado e temporalmente coerente via condicionamento de Valência–Excitação, permitindo transições suaves entre estados emocionais.
Desacoplamento Temporal: O mecanismo de Modelagem Temporal de Múltiplas Escalas desmembra explicitamente as dinâmicas temporais heterogêneas da articulação de áudio e da expressão emocional, abordando um desafio central na área.
Disponibilidade de Recursos: A construção do 3D-VA-MEAD fornece um recurso necessário para pesquisas futuras em geração de cabeças falantes conscientes de emoções, preenchendo uma lacuna em datasets publicamente disponíveis com anotações de VA contínuas.

Os autores concluem que, ao capturar conjuntamente a articulação dirigida por áudio e a dinâmica emocional através de fusão adaptativa, o CETalk alcança uma precisão de sincronia labial e expressividade emocional superiores, validando a eficácia da modelagem afetiva contínua para a geração de cabeças falantes 3D.