🤖 AI

CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

Este artículo presenta CETalk, un marco de generación de cabezas parlantes en 3D impulsado por audio que aprovecha representaciones continuas de Valencia-Arousal y una arquitectura de modelado temporal multiescala para lograr un control emocional detallado y una sincronización labial precisa, superando al mismo tiempo las limitaciones de las categorías de emociones discretas.

Autores originales: Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

Publicado 2026-08-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la evolución rápida de los medios digitales, la capacidad de crear humanos virtuales realistas ha pasado del ámbito de la ciencia ficción a la aplicación práctica. Estos avatares digitales se utilizan cada vez más como asistentes virtuales, en la comunicación de realidad virtual y para el entretenimiento interactivo. Un desafío central en este campo es lograr que estos personajes hablen con sus rostros, no solo con sus bocas. Mientras que los sistemas tempranos podían sincronizar con éxito los movimientos de los labios con las palabras habladas, a menudo tenían dificultades para transmitir las emociones sutiles y cambiantes que hacen que la conversación humana se sienta real. Los enfoques tradicionales trataban las emociones como cajas distintas y separadas, tales como "feliz", "triste" o "enojado". Este método funcionaba para trazos generales, pero fallaba al capturar la naturaleza fluida y continua del sentimiento humano, donde una sonrisa puede desvanecerse lentamente hacia una mirada de preocupación o donde la emoción puede gestarse silenciosamente antes de estallar. Además, el tiempo del habla y el tiempo de la emoción son fundamentalmente diferentes; la boca debe moverse rápidamente para coincidir con los sonidos rápidos de las palabras, mientras que las expresiones emocionales a menudo evolucionan más lentamente a través de todo el rostro.

Investigadores de la Universidad de Tecnología de Hefei han desarrollado un nuevo sistema llamado CETalk para resolver estos problemas específicos. En lugar de forzar las emociones en categorías rígidas, este sistema utiliza un mapa bidimensional continuo para describir los sentimientos, rastreando qué tan positivo o negativo es un sentimiento y qué tan activo o pasivo se siente. Este enfoque permite que la computadora genere animaciones faciales que cambian suavemente, reflejando el flujo y reflujo natural de la conversación humana. El equipo construyó un nuevo y gran conjunto de datos para entrenar su sistema, reconstruyendo movimientos faciales en 3D a partir de grabaciones de video existentes y estimando automáticamente estos valores emocionales continuos para cada fotograma. Estos datos proporcionaron la base necesaria para enseñar a la computadora a distinguir entre los movimientos rápidos y precisos requeridos para el habla y los cambios más lentos y amplios que transmiten el estado de ánimo.

El núcleo del nuevo sistema radica en cómo maneja el tiempo. Los investigadores se dieron cuenta de que el habla y la emoción operan a diferentes velocidades, de manera muy similar a cómo un baterista mantiene un ritmo constante y rápido mientras un cantante sostiene una nota larga y lenta. Para gestionar esto, el sistema divide el procesamiento en dos caminos paralelos. Un camino se enfoca en los detalles de alta velocidad de la boca y la mandíbula, asegurando que cada sílaba esté perfectamente sincronizada con el audio. El otro camino se enfoca en los movimientos más lentos y amplios del rostro que expresan la emoción, como un ceño fruncido o un ensanchamiento de los ojos. Estos dos flujos de información son luego reunidos por un sistema de integración inteligente que decide, momento a momento, cuánto peso dar a los movimientos del habla frente a la expresión emocional. Esto permite que la animación final sea tanto precisa en su sincronización labial como rica en su profundidad emocional.

Para probar su trabajo, el equipo comparó su sistema contra varios métodos existentes utilizando tres conjuntos diferentes de datos de video. Los resultados mostraron que su enfoque produjo movimientos de labios significativamente más precisos y expresiones faciales más realistas que los mejores métodos anteriores. En pruebas con el conjunto de datos MEAD, su sistema redujo los errores de movimiento de labios a aproximadamente 7.48 milímetros y los errores de movimiento facial general a unos 9.91 milímetros, superando a todas las demás tecnologías probadas en ese benchmark específico. Más allá de la precisión, el sistema demostró una capacidad superior para seguir instrucciones emocionales continuas. Al pedirle que generara un rostro que cambiara gradualmente de un estado negativo a uno positivo, el sistema siguió la trayectoria con alta precisión, coincidiendo con la trayectoria emocional prevista mucho mejor que sus competidores.

Los investigadores también demostraron que el sistema permite un control detallado sobre la intensidad de una emoción. Al ajustar los valores de entrada, podían hacer que la expresión de un personaje fuera sutilmente más intensa o más tenue sin romper la sincronización con la voz. Este nivel de control es crucial para crear humanos digitales que se sientan verdaderamente vivos, capaces de los cambios emocionales matizados y continuos que definen la interacción humana real. Al alejarse de las categorías discretas y abrazar la naturaleza continua del afecto humano, este trabajo ofrece un paso significativo para que la comunicación virtual se sienta menos como observar una máquina y más como conectar con una persona.

Resumen Técnico: CETalk – Control Continuo de Valencia–Excitación para la Generación de Cabezas Parlantes 3D Impulsadas por Audio

1. Planteamiento del Problema

La generación de cabezas parlantes 3D impulsada por audio tiene como objetivo sintetizar animaciones faciales temporalmente coherentes y visualmente realistas a partir del habla. Aunque los métodos recientes han logrado una sincronización labial precisa, enfrentan dos limitaciones primarias en la generación de avatares emocionalmente expresivos:

Limitaciones de Emociones Discretas: Los enfoques actuales suelen depender de categorías de emociones discretas (p. ej., alegría, tristeza). Esto no logra capturar la evolución continua y sutil del afecto y las transiciones suaves que ocurren naturalmente en la conversación humana.
Desajuste de Frecuencia Temporal: Existe una discrepancia fundamental en las escalas temporales entre la articulación del audio y la expresión emocional. Los movimientos labiales requieren una sincronización de alta frecuencia, a nivel de fotograma, con el audio, mientras que las expresiones emocionales evolucionan más lentamente a lo largo de periodos temporales más largos. Los modelos existentes suelen tener dificultades para desacoplar estas dinámicas, lo que resulta en animaciones que son o bien rígidas o carentes de matices emocionales.

2. Metodología: El Marco de Trabajo CETalk

Los autores proponen CETalk, un marco condicionado en representaciones continuas de Valencia–Excitación (VA) para permitir un control emocional de grano fino. El sistema predice una secuencia de parámetros FLAME ( $P$ ) dado un audio de entrada ( $A$ ), la identidad del hablante ( $S$ ) y una condición de emoción continua ( $E_{cond}$ ). La arquitectura consta de tres componentes principales:

Módulo de Modulación Emocional Dinámica (DEMM):
Este módulo cierra la brecha entre las especificaciones emocionales estáticas y las expresiones faciales dinámicas. Toma la condición de VA estática ( $E_{cond}$ ) y la modula utilizando señales derivadas del audio.
- Un codificador de expresión convierte las señales de VA en una representación emocional base ( $E_{VA}$ ).
- Un codificador de audio-emoción (basado en Emotion2Vec) extrae claves afectivas a nivel de fotograma del audio ( $E_{audio}$ ).
- Un módulo de ajuste de intensidad dinámica predice coeficientes de escalado temporal ( $\alpha$ ) basados en $E_{audio}$ .
- La incrustación dinámica final ( $E_{mod}$ ) se obtiene mediante escalado elemento a elemento: $E_{mod} = \alpha \odot E_{VA}$ .
Modelado Temporal Multiescala (MSTM):
Para abordar el desajuste de frecuencia temporal, CETalk emplea ramas paralelas para desacoplar los movimientos articulatorios de alta frecuencia (HF) de las dinámicas emocionales de baja frecuencia (LF).
- Rama HF: Se enfoca en la articulación de grano fino estrechamente sincronizada con el audio. Utiliza atención cruzada entre la incrustación del hablante y las características de audio de alta resolución (extraídas mediante HuBERT).
- LF Branch: Modela las dinámicas emocionales que varían lentamente. Aplica un submuestreo temporal tanto a las características de audio como a la incrustación de emoción dinámica, realiza la atención cruzada a una escala gruesa y luego aumenta la resolución del resultado a la resolución temporal original.
Mecanismo de Fusión Dinámica (DFM):
Este módulo integra adaptativamente las características HF y LF. Una red de compuerta ligera computa pesos adaptativos por canal ( $g$ ) basados en la concatenación de ambos conjuntos de características. La representación unificada final ( $\tilde{F}$ ) es una suma ponderada: $\tilde{F} = g \odot F_{HF} + (1 - g) \odot F_{LF}$ . Esta representación se proyecta luego para predecir los coeficientes de expresión y de mandíbula.

3. Construcción del Conjunto de Datos: 3D-VA-MEAD

Para apoyar el entrenamiento y la evaluación, los autores construyeron 3D-VA-MEAD, un conjunto de datos a gran escala derivado del conjunto de datos MEAD.

Proceso: Utilizaron un modelo de reconocimiento de emociones preentrenado para estimar los coeficientes de VA a nivel de fotograma a partir de videos y un método de reconstrucción facial 3D monocular (EMOCA) para recuperar los parámetros FLAME.
Refinamiento: Para mitigar la inestabilidad temporal, se aplicó un filtro de media móvil 1D para suavizar los vectores de emoción regresados.
Resultado: El conjunto de datos proporciona movimientos faciales 3D reconstruidos emparejados con anotaciones continuas de VA a nivel de fotograma.

4. Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos MEAD, RAVDESS y HDTF contra líneas de base de vanguardia (incluyendo FaceFormer, CodeTalker, EMOTE y UniTalker).

Precisión del Movimiento Facial: CETalk logró los errores más bajos en todos los conjuntos de datos. En MEAD, registró un Error de Vértice Labial (LVE) de 7.4772 mm y un Error de Vértice Medio (MVE) de 9.9059 mm, superando a todas las líneas de base. También demostró una fuerte generalización en el conjunto de datos "in-the-wild" HDTF.
Controlabilidad Emocional: Utilizando métricas de Error Cuadrático Medio (RMSE) y Acuerdo de Signo (SAGR) para la predicción de VA, CETalk alcanzó el mejor desempeño (RMSE: 0.1223 para Valencia, 0.0747 para Excitación; SAGR: 0.9247 para Valencia, 0.9906 para Excitación).
Análisis Cualitativo: Las comparaciones visuales mostraron que CETalk produce dinámicas expresivas más ricas y coherentes y transiciones más suaves en comparación con los métodos que exhiben un exceso de suavizado o animaciones rígidas.
Estudio de Ablación: Eliminar el Módulo de Modulación Emocional Dinámica (DEMM) causó la degradación de desempeño más significativa (el EVE aumentó de 1.3256 a 2.4367), confirmando la necesidad de la modulación de intensidad dinámica.

5. Significancia y Reivindicaciones

El artículo afirma que CETalk representa un paso significativo hacia adelante al ir más allá de las categorías de emociones discretas hacia un espacio afectivo continuo. Sus contribuciones principales son:

Control Continuo: Permite un control emocional de grano fino y temporalmente coherente mediante el condicionamiento de Valencia–Excitación, permitiendo transiciones suaves entre estados emocionales.
Desacoplamiento Temporal: El mecanismo de Modelado Temporal Multiescala desentrelaza explícitamente las dinámicas temporales heterogéneas de la articulación del audio y la expresión emocional, abordando un desafío central en el campo.
Disponibilidad de Recursos: La construcción de 3D-VA-MEAD proporciona un recurso necesario para la investigación futura en la generación de cabezas parlantes conscientes de la emoción, llenando un vacío en los conjuntos de datos disponibles públicamente con anotaciones de VA continuas.

Los autores concluyen que, al capturar conjuntamente la articulación impulsada por audio y las dinámicas emocionales mediante la fusión adaptativa, CETalk logra una precisión de sincronización labial y una expresividad emocional superiores, validando la efectividad del modelado afectivo continuo para la generación de cabezas parlantes 3D.