Resumen Técnico: THEval – Marco de Evaluación para la Generación de Videos de Cabezas Parlantes

1. Declaración del Problema

Aunque los modelos generativos han logrado un progreso notable en la producción de videos de cabezas parlantes (TH) de alta resolución y realistas, el desarrollo de métricas de evaluación adecuadas se ha quedado atrás. Los métodos de evaluación actuales dependen en gran medida de un conjunto limitado de métricas generales de calidad de video (por ejemplo, FID, FVD, PSNR) y puntuaciones de sincronización labial (por ejemplo, LSE-C y LSE-D de SyncNet). El artículo argumenta que estas métricas existentes adolecen de limitaciones significativas:

• Baja Correlación con la Percepción Humana: Métricas como FID y FVD a menudo no logran capturar la calidad del movimiento y la coherencia temporal, mientras que se ha demostrado que las métricas basadas en SyncNet (LSE-C/D) correlacionan pobremente con las preferencias humanas y son inestables frente a factores como el recorte de la boca, la iluminación y la codificación de audio.
• Simplificación Excesiva: Los enfoques existentes a menudo reducen la tarea compleja de la generación de TH a parámetros únicos, sin lograr distinguir entre modos de fallo específicos como la falta de expresividad, artefactos en los detalles faciales o dinámicas de cabeza poco naturales.
• Sesgo en la Comparación con la Verdad Terrenal: Las métricas que comparan directamente los videos generados con la verdad terrenal (por ejemplo, LMD-F) penalizan las variaciones naturales en el movimiento y la expresión de la cabeza que no están estrictamente dictadas por la entrada de audio, lo que conduce a evaluaciones engañosas.

2. Metodología

Para abordar estas brechas, los autores proponen THEval, un marco de evaluación integral diseñado para alinearse estrechamente con las preferencias humanas. La metodología consta de tres componentes principales:

A. El Conjunto de Datos THEval

Se curó un nuevo conjunto de datos de referencia desafiante para probar la generalización del modelo en datos no vistos.

• Escala: Más de 5.000 clips de video (lo que resulta en 85.000 videos generados cuando son procesados por 17 modelos).
• Diversidad: Procedentes de 31 canales públicos de YouTube en seis idiomas (inglés, francés, chino, español, japonés, italiano).
• Características: Resolución de alta fidelidad de 1080p, un solo hablante, vista frontal, con una duración promedio de 13 segundos. El conjunto de datos evita explícitamente la superposición con los datos de entrenamiento de los modelos evaluados.

B. El Marco de 8 Métricas

THEval introduce ocho métricas de granularidad fina categorizadas en tres dimensiones: Calidad, Naturalidad y Sincronización.

1. Calidad (Atractivo Perceptivo)

• Estética Global: Utiliza el componente de Evaluación Estética de Imágenes (IAA) de TOPIQ para evaluar la composición, la iluminación y la armonía de los colores en todo el encuadre.
• Calidad Facial: Aplica la Evaluación de Calidad de Imagen (IQA) mediante TOPIQ a toda la región de la cara.
• Calidad de la Boca: Aplica IQA mediante MUSIQ específicamente a la región de la boca para cuantificar la dificultad de sintetizar un movimiento labial realista.

2. Naturalidad (Realismo del Comportamiento)

• Dinámica Labial: Cuantifica la variabilidad de los movimientos de los labios calculando la desviación estándar de las distancias euclidianas pares entre 40 puntos de referencia labiales a través de los fotogramas.
• Dinámica del Movimiento de la Cabeza: Mide la varianza en la pose de la cabeza (guiñada, cabeceo, balanceo) y la traducción a lo largo del tiempo para evaluar si los movimientos de la cabeza son demasiado sutiles o exagerados.
• Dinámica de las Cejas: Captura la variabilidad de los movimientos de las cejas calculando la desviación estándar de la distancia vertical normalizada entre las cejas y los ojos.

3. Sincronización (Alineación Audio-Visual)

• Estabilidad Labial en Silencio: Utiliza la Detección de Actividad de Voz (VAD) para identificar segmentos silenciosos y mide la Desviación Absoluta Mediana (MAD) de la apertura de la boca para asegurar que los labios permanezcan estables cuando no hay habla presente.
• Sincronización Labial: Evalúa la alineación entre la apertura de la boca y la intensidad del volumen de audio. Normaliza la apertura de la boca y la energía de audio de la Raíz del Cuadrado Medio (RMS), y luego calcula la diferencia absoluta media entre estas señales durante los segmentos de habla.

C. Cálculo de la Puntuación Final

Las ocho métricas se normalizan en relación con una puntuación de referencia de Verdad Terrenal (GT) utilizando la fórmula $s = 1 - \frac{|PuntuaciónModelo - PuntuaciónGT|}{PuntuaciónGT}$. La Puntuación Final se calcula como el promedio no ponderado de estas métricas normalizadas. Este enfoque prioriza la transparencia y la robustez sobre el sobreajuste a una muestra específica de evaluación humana.

3. Contribuciones Clave

1. Marco THEval: Un nuevo marco de evaluación que comprende 8 métricas en tres dimensiones y que logra un coeficiente de correlación de Spearman de $\rho = 0.870$ con las calificaciones humanas, superando significativamente a las métricas existentes.
2. Nuevo Conjunto de Datos de Referencia: La publicación de un conjunto de datos diverso y multilingüe de más de 5.000 videos diseñado para probar la generalización en datos verdaderamente no vistos.
3. Evaluación Integral: Una evaluación exhaustiva de 17 modelos de última generación (SOTA) impulsados por audio y por video, proporcionando un análisis detallado de sus respectivas fortalezas y debilidades.
4. Validación de Limitaciones: Un estudio con usuarios que demuestra que las métricas estándar actuales (FID, FVD, LSE-C, LSE-D) muestran una correlación pobre o negativa con las preferencias humanas, mientras que THEval sirve como un proxy confiable para estudios de usuarios costosos.

4. Resultados Experimentales

Los autores evaluaron 17 modelos (9 impulsados por audio, 8 impulsados por video) en el conjunto de datos THEval.

• Correlación con Humanos: La Puntuación Final de THEval mostró una fuerte correlación ($\rho = 0.870$) con la preferencia humana. En contraste, las métricas existentes mostraron correlaciones débiles o negativas (por ejemplo, LSE-C: -0.164, LSE-D: -0.269, FVD: 0.289).
• Perfiles de Rendimiento del Modelo:
  • Modelos Impulsados por Video: Generalmente lograron resultados equilibrados y de alta calidad con fuerte expresividad y sincronización (por ejemplo, Liveportrait, X-Portrait). Sin embargo, algunos exhibieron artefactos en movimientos grandes de la cabeza.
  • Modelos Impulsados por Audio: Mostraron una mayor varianza. Aunque los modelos más nuevos (por ejemplo, Hallo2, EchoMimic) mejoraron en sincronización y calidad, muchos lucharon con el movimiento natural de la cabeza y la expresividad. Algunos modelos (por ejemplo, OmniAvatar) exhibieron deriva temporal y movimientos de boca exagerados, lo que llevó a puntuaciones más bajas en las métricas de Naturalidad y Estabilidad.
• Hallazgos Específicos:
  • Los métodos impulsados por audio a menudo carecen de movimiento natural de la cabeza y pueden producir expresiones exageradas.
  • Los métodos impulsados por video generalmente ofrecen mejor expresividad pero enfrentan desafíos con la renderización libre de artefactos durante movimientos complejos.
  • El marco identificó exitosamente que, aunque muchos algoritmos sobresalen en la sincronización labial (alto LSE-C/D), a menudo fallan en generar expresividad y detalles libres de artefactos.

5. Significado y Afirmaciones

El artículo postula que las métricas existentes para evaluar videos de cabezas parlantes son altamente limitadas y a menudo no se alinean con la percepción humana. El significado de THEval radica en su capacidad para:

• Proporcionar un Proxy Confiable: Ofrecer una alternativa de alta correlación a los estudios de usuarios tediosos y costosos.
• Habilitar Diagnósticos Granulares: Al descomponer el rendimiento en calidad, naturalidad y sincronización, THEval permite a los investigadores identificar modos de fallo específicos (por ejemplo, mala dinámica de las cejas frente a mala sincronización labial) en lugar de depender de una única puntuación agregada.
• Fomentar el Progreso: Servir como una referencia necesaria para guiar el desarrollo de futuros métodos generativos, destacando específicamente los desafíos restantes en la producción de cabezas parlantes realistas, expresivas y libres de artefactos.

Los autores concluyen que, aunque los modelos SOTA han avanzado, persisten desafíos significativos en equilibrar la sincronización, la expresividad y la fidelidad visual, y THEval proporciona las herramientas necesarias para medir e impulsar mejoras en estas áreas.