From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

Resumen Técnico: De Tokens a Rostros

Planteamiento del Problema
La animación facial 3D impulsada por el habla requiere la selección de una representación de voz apropiada para dirigir los decodificadores temporales. Si bien los sistemas de vanguardia (SOTA) recientes dependen predominantemente de representaciones continuas ocultas provenientes de modelos de aprendizaje auto-supervisado (SSL) (p. ej., wav2vec 2.0, HuBERT), aún no está claro qué propiedades específicas de las representaciones de voz son necesarias para una animación facial precisa y natural. Además, la idoneidad de las representaciones de voz discretas (tokens) para esta tarea es, en gran medida, inexplorada. Los enfoques discretos existentes suelen utilizar representaciones híbridas semántico-acústicas (p. ej., SpeechTokenizer), pero no han comparado sistemáticamente las representaciones discretas puramente acústicas, puramente semánticas o basadas en etiquetas frente a las líneas base continuas de SSL para la síntesis facial 3D.

Metodología
Los autores presentan un marco experimental comparativo que evalúa cuatro familias distintas de representaciones de voz a través de dos arquitecturas de decodificadores faciales temporales:

1. Codificadores de Voz (Speech Encoders):
   • HuBERT (HB): Una representación continua de SSL (Semántica).
   • SpeechTokenizer (ST): Una representación híbrida que combina la destilación semántica (HuBERT) con la cuantización de vectores residuales acústicos (Semántica+Acústica).
   • WavTokenizer (WT): Una representación de libro de códigos único altamente comprimida, centrada en la reconstrucción acústica (Acústica).
   • CosyVoice2 (CV2): Un codificador supervisado entrenado con una tarea de pretexto de Reconocimiento Automático del Habla (ASR) utilizando etiquetas de caracteres y prosodia (Basada en etiquetas).
2. Decodificadores Faciales:
   • GRU: Una red recurrente cuadro por cuadro (utilizada en la línea base FaceDiffuser).
   • Transformer: Una arquitectura no causal que procesa secuencias completas mediante atención de auto-atención (self-attention).

Los modelos fueron entrenados con el dataset BEAT2 (27 horas de habla en inglés alineada con parámetros FLAME, convertida a 51 blendshapes de ARKit). Los codificadores se mantuvieron congelados utilizando pesos pre-entrenados, mientras que los decodificadores se entrenaron desde cero.

Estrategia de Evaluación
El estudio empleó un enfoque de evaluación multifacético:

• Métricas Objetivas: Error de Vértices Labiales (LVE) para la precisión geométrica, Puntuación de Jitter para la suavidad temporal (aceleración) y una novedosa Puntuación de Cierre Bilabial (BCS) para medir la precisión articulatoria durante los fonemas bilabiales (/b/, /p/, /m/).
• Evaluación Perceptual: Un protocolo tipo MUSHRA con 30 participantes calificando el realismo de la animación y la coherencia labio-voz contra un video de referencia.
• Análisis de Sondeo (Probing): Para comprender el contenido de información de las representaciones, los autores realizaron:
  • Sondeo Fonético: Medición de la entropía de co-ocurrencia entre los IDs de los tokens y las etiquetas de fonemas.
  • Sondeo de Visemas: Medición de la entropía de co-ocurrencia entre los IDs de los tokens y las poses faciales discretizadas (visemas).
  • Sondeo Continuo: Uso de regresión Ridge para predecir valores continuos de blendshapes a partir de secuencias de tokens ($R^2$ métrica).

Resultos Clave

• Rendimiento: La representación Basada en Etiquetas (CosyVoice2) junto con un decodificador Transformer ([CV2+T.]) logró los mejores puntajes objetivos y fue perceptualmente indistinguible de la línea base Semántica (HuBERT + GRU).
• Impacto del Decodificador: Las representaciones discretas funcionaron significativamente mejor cuando se emparejaron con un decodificador Transformer en comparación con un GRU. Por el contrario, la representación continua de HuBERT mostró un rendimiento equivalente en ambos decodificadores.
• Limitaciones de los Híbridos: La representación Semántica+Acústica (SpeechTokenizer) no logró proporcionar una animación facial satisfactoria, rindiendo de manera comparable a las representaciones puramente acústicas. Esto sugiere que la información acústica de baja estructura puede ser perjudicial para la predicción facial, incluso si la información fonética está presente.
• Insights de Sondeo:
  • Codificación Fonética: Las representaciones Semántica+Acústica codificaron las clases fonéticas de la manera más eficiente, seguidas de la Semántica, la Basada en Etiquetas y la Acústica.
  • Codificación de Visemas/Continua: Las representaciones Basadas en Etiquetas mostraron la correlación más fuerte con los visemas discretos. Sin embargo, todas las representaciones tokenizadas exhibieron puntuaciones $R^2$ bajas para la predicción de blendshapes continuos en comparación con las representaciones continuas, lo que refleja la dificultad inherente de mapear tokens discretos a movimiento continuo.
• Correlación: Las calificaciones perceptuales correlacionaron más estrechamente con la Puntuación de Cierre Bilabial (BCS) que con las métricas de reconstrucción tradicionales como el LVE.

Contribuciones Clave

1. Comparación Sistemática: Una evaluación exhaustiva de cuatro familias de representaciones de voz (Semántica, Semántica+Acústica, Acústica, Basada en Etiquetas) a través de dos arquitecturas de decodificadores para la animación facial 3D.
2. Análisis de Sondeo: Una investigación que vincula las representaciones tokenizadas tanto con unidades fonéticas como con deformaciones articulatorias (visemas y blendshapes), revelando que la codificación de la clase fonética es beneficiosa pero debe combinarse con la ausencia de ruido acústico de baja estructura.
3. Pipeline AVTTS: La introducción de un pipeline de prueba de concepto de Texto-a-Voz Audio-Visual (AVTTS). Aprovechando el hecho de que los sistemas de TTS (como CosyVoice2) ya generan tokens discretos, los autores demostraron un marco unificado donde una única secuencia de tokens compartida se decodifica simultáneamente en audio de voz y movimiento facial 3D, eliminando la necesidad de una etapa separada de animación impulsada por audio.

Significancia
El artículo sostiene que la información de la clase fonética es una condición necesaria para una animación facial precisa, siempre que no esté contaminada por datos acústicos de baja estructura. Demuestra que las representaciones discretas basadas en etiquetas son competitivas con las líneas base continuas de SSL establecidas. Además, este trabajo establece que los tokens de voz discretos pueden servir como un espacio latente compartido para la síntesis tanto de voz como facial, allanando el camino para pipelines de generación multimodal unificados que evitan el paradigma convencional de dos etapas (Texto $\to$ Audio $\to$ Rostro).