ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion

Resumen Técnico: ArtBoost – Aumento de Datos Artulatorios Sintéticos para la Inversión Acústico-Artulatoria

Planteamiento del Problema
La inversión acústico-artulatoria (AAI, por sus siglas en inglés) tiene como objetivo estimar los movimientos físicos articulatorios a partir de señales de voz. Aunque los enfoques de aprendizaje profundo han mejorado el rendimiento de la AAI al aprovechar conjuntos de datos emparejados de audio y articulación a gran escala, su eficacia está fundamentalmente limitada por la escasez de tales conjuntos de datos. La recolección de datos de alta calidad mediante Articulografía Electromagnética (EMA) es costosa, requiere hardware especializado y entornos controlados, y resulta en conjuntos de datos que son limitados en escala y en diversidad de hablantes. En consecuencia, los modelos de AAI basados en datos suelen sufrir de una cobertura insuficiente de la variabilidad articulatoria entre hablantes y contextos fonéticos.

Metodología: ArtBoost
Para abordar el cuello de botella de la escasez de datos sin requerir grabaciones adicionales basadas en sensores, los autores proponen ArtBoost, una estrategia de aumento de datos que reutiliza conjuntos de datos de mallas faciales 3D alineadas con audio a gran escala (originalmente desarrollados para la animación facial 3D impulsada por el habla) como una fuente de supervisión artulatoria pseudo. La metodología procede en tres etapas:

1. Segmentación de Utterances Guiada por ASR: Dado que los conjuntos de datos de habla–malla (por ejemplo, TFHP) consisten en grabaciones de video largas y continuas, mientras que los corpora de EMA están organizados a nivel de utterance (unidad de habla), los autores utilizan el Reconocimiento Automático del Habla (ASR) para segmentar las grabaciones largas en clips de nivel de utterance. Estos clips se sincronizan con los fotogramas de la malla 3D correspondientes para crear pares compatibles con los protocolos estándar de entrenamiento de AAI.
2. Extracción de Trayectorias Artulatorias Pseudo: A partir de las secuencias de malla segmentadas, el sistema rastrea puntos de anclaje faciales específicos que corresponden a los articuladores visibles: el labio superior (UL), el labio inferior (LL) y el incisivo inferior (LI). Para aproximar el movimiento articular, se calcula la posición media de regiones de vértices predefinidas para estos anclajes. El sistema extrae componentes de movimiento a lo largo de las direcciones de protrusión (eje z) y apertura de la boca (eje y). Estas señales se formatean en una representación de trayectoria de 12 canales (que coincide con los formatos estándar de EMA), donde los canales correspondientes a los anclajes visibles se pueblan con los datos extraídos, y los canales restantes se establecen en cero.
3. Estrategia de Entrenamiento de Dos Etapas: El modelo de AAI se entrena utilizando un enfoque de preentrenamiento y ajuste fino (fine-tuning):
   • Preentrenamiento: El modelo se entrena con las trayectorias artulatorias pseudo de gran escala derivadas de los datos de habla–malla. Se emplea una función de pérdida con enmascaramiento de canales, calculando el error de predicción solo en los canales correspondientes a los anclajes visibles (UL, LL, LI).
   • Ajuste Fino (Fine-tuning): El modelo preentrenado es posteriormente ajustado en los limitados conjuntos de datos reales de EMA (HPRC y USC-TIMIT) utilizando supervisión de canales completos con trayectorias de verdad fundamental (ground-truth).

Contribuciones Clave

• Fuente de Datos Novedosa: El artículo introduce el uso de conjuntos de datos de habla–malla como una fuente escalable y sintética de supervisión articulatoria, expandiendo efectivamente el espacio de entrenamiento para AAI sin necesidad de nuevas grabaciones de sensores.
• Pipeline de Extracción: Se establece un pipeline robusto para convertir la geometría de la malla facial visible en trayectorias artulatorias pseudo que se alinean con los formatos de datos convencionales de EMA.
• Agnosticismo de Arquitectura: La estrategia está diseñada para ser integrada en diversas arquitecturas de modelos de AAI, sin limitarse a una estructura de red específica.

Resultados Experimentales
Los autores evaluaron ArtBoost en los conjuntos de datos EMA HPRC y USC-TIMIT utilizando validación cruzada de dejar un hablante fuera (leave-one-speaker-out).

• Ganancias de Rendimiento: La aplicación de ArtBoost resultó en mejoras consistentes tanto en el Coeficiente de Correlación de Pearson (PCC) como en el Error Cuadrático Medio (RMSE). Notablemente, en el conjunto de datos USC-TIMIT (que tiene menos muestras de verdad fundamental), el PCC mejoró aproximadamente un +25% (de 0.351 a 0.510), mientras que HPRC mostró una mejora del +2%.
• Generalización: Se observaron mejoras en múltiples articuladores, incluyendo aquellos no supervisados directamente por las etiquetas pseudo (por ejemplo, los movimientos de la lengua y el paladar), lo que sugiere que el aumento mejora la representación aprendida del modelo sobre la dinámica de producción del habla.
• Robustez: Las ganancias de rendimiento fueron consistentes a través de múltiples arquitecturas de AAI, incluyendo modelos de Aprendizaje Auto-Supervisado (SSL)-AAI y modelos de Independencia de Hablante (SI)-AAI.
• Análisis Cualitativo: Las visualizaciones confirmaron que las trayectorias pseudo extraídas reflejan dinámicas articulatorias visibles físicamente significativas (por ejemplo, el cierre de los labios y el movimiento de la mandíbula) y que las predicciones finales del modelo se alinean con las tendencias temporales de las señales de la verdad fundamental de EMA.

Significancia y Reivindicaciones
El artículo afirma que ArtBoost proporciona una solución efectiva y escalable al problema de la limitación de datos en AAI. Al aprovechar los abundantes datos sintéticos de habla–malla, el método permite que los modelos aprendan un prior fuerte del movimiento articular visible antes de refinar sus predicciones sobre los limitados datos de sensores del mundo real. Los autores postulan que los datos de habla–malla sirven como una fuente práctica de supervisión articulatoria, permitiendo modelos de AAI más robustos que pueden generalizar mejor entre hablantes y condiciones, incluso cuando las mediciones articulatorias directas son escasas. El trabajo sugiere que este enfoque puede integrarse sin problemas en los marcos de trabajo de AAI existentes para mejorar el rendimiento sin la necesidad de campañas de recolección de datos costosas.