Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

Resumen Técnico: Evaluación de la Síntesis de Articulación del Habla con Reconocimiento de Fonemas Articulatorios

Enunciado del Problema
La evaluación de la síntesis de articulación del habla—específicamente la generación de formas del tracto vocal condicionadas a secuencias fonéticas—carece de una métrica de calidad robusta y objetiva. Las métricas tradicionales, como las distancias punto a punto más cercano, están limitadas por una variabilidad sustancial entre hablantes y dentro de un mismo hablante, y a menudo no logran capturar los matices de la producción de fonemas, como los lugares de articulación correctos. Además, estas métricas tienen dificultades para diferenciar entre modelos generativos avanzados (por ejemplo, sistemas sin modelo frente a sistemas basados en autoencoders) que pueden parecer indistinguibles por distancia geométrica pero difieren en estabilidad temporal y precisión articulatoria. El análisis subjetivo es difícil debido a la necesidad de conocimientos especializados en anatomía del tracto vocal y acústica. En consecuencia, existe la necesidad de una métrica que capture mejor la información fonética y la inteligibilidad sin depender exclusivamente de la reconstrucción acústica.

Metodología
Los autores proponen utilizar el reconocimiento de fonemas como métrica proxy para evaluar la calidad de las características articulatorias sintetizadas. La hipótesis central es que un reconocedor de fonemas entrenado con datos articulatorios puede capturar mejor los matices de producción (por ejemplo, el lugar de articulación) que las métricas de distancia tradicionales.

1. Conjunto de Datos: El estudio utiliza un corpus de 2,5 horas de habla de una sola hablante nativa francesa, compuesto por imágenes de Resonancia Magnética en Tiempo Real (RT-MRI) (50 Hz), audio denoised y anotaciones fonéticas manuales. El conjunto de datos se divide en conjuntos de entrenamiento (1.399 enunciados), validación (116) y prueba (114).
2. Extracción de Características:
   • Características Articulatorias: Se extraen los contornos de diez articuladores del tracto vocal (cartílago aritenoides, epiglotis, incisivo inferior, labio inferior, faringe, paladar blando, cartílago tiroides, lengua, labio superior y pliegues vocales). Estos se concatenan en un vector de 2 canales y 500 dimensiones.
   • Codificación de Sonorización: Dado que la RT-MRI en el plano sagital medio carece de datos de excitación de los pliegues vocales, se añade una codificación categórica que representa la información de sonorización al conjunto de características.
   • Características Sintéticas: El estudio evalúa tres sintetizadores de la literatura existente:
     • Media de contorno por fonema: Una línea base que promedia los contornos por fonema.
     • Sistema sin modelo: Genera formas directamente a partir de secuencias de fonemas sin un modelo articulatorio explícito.
     • Sistema basado en autoencoder: Genera parámetros articulatorios basados en una arquitectura de autoencoder.
3. Arquitectura del Modelo: Se emplea un reconocedor de fonemas basado en la arquitectura Deep Speech 2. Consiste en un bloque adaptador (para mapear entradas articulatorias de 500D a 80D), seguido de cinco bloques convolucionales residuales y tres bloques recurrentes (GRU), finalizando con un clasificador lineal.
4. Entrenamiento y Evaluación:
   • El reconocedor se entrena con características acústicas (espectrogramas Mel) y características articulatorias reales (con y sin codificación de sonorización) para establecer líneas base.
   • El reconocedor entrenado se prueba luego con las características articulatorias sintéticas generadas por los tres sintetizadores.
   • Métricas: La métrica de evaluación principal es la Tasa de Error de Fonemas (PER) calculada mediante la distancia de Levenshtein. Además, se utiliza la Incrustación Estocástica de Vecinos T (t-SNE) para visualizar las representaciones de características aprendidas por los modelos.

Resultados Clave

• Rendimiento de la Línea Base: El reconocedor entrenado con características articulatorias reales (con codificación de sonorización) logró una PER del 21,66%, comparable a la PER del 23,30% lograda utilizando la señal acústica. Esto sugiere que los contornos articulatorios por sí solos retienen suficiente información fonética para rivalizar con las señales acústicas, a pesar de la ausencia de información de la fuente.
• Comparación de Sintetizadores:
  • Sistema Sin Modelo: Sorprendentemente, este sistema logró la PER más baja (20,59%) entre todos los conjuntos probados, superando incluso a las características articulatorias reales. Los autores sugieren que esto podría deberse a que el sintetizador filtra el ruido presente en los datos de MRI crudos, generando articulaciones más limpias.
  • Sistema Basado en Autoencoder: Este sistema arrojó una PER más alta (31,69%) que el enfoque sin modelo, lo que indica que reproduce menos información fonética, a pesar de afirmaciones previas sobre un mejor aprendizaje del lugar de articulación.
  • Línea Base de Contorno Medio: Como era de esperar, el enfoque simplista de contorno medio obtuvo el peor rendimiento (PER del 43,18%).
• Análisis de Confusión: Las matrices de confusión revelaron debilidades específicas. El sistema sin modelo exhibió altas tasas de eliminación para vocales labiales, posteriores y redondeadas, probablemente debido a la falta de datos de redondeo de labios o a la dificultad para aproximar el cierre labial. El sistema de autoencoder mostró altas tasas de eliminación en todas las clases, lo que dificultó aislar fallos articulatorios específicos.
• Incrustaciones de Características: Los gráficos t-SNE demostraron que añadir la codificación de sonorización creó grupos distintos y separables en el espacio de incrustación para las características articulatorias, una estructura no tan aparente en las características acústicas.

Significado y Afirmaciones
El artículo afirma que el Reconocimiento Automático del Habla (ASR) sirve como una métrica objetiva viable y efectiva para evaluar la síntesis de articulación del habla. Los autores argumentan que:

1. Riqueza Fonética: Las características articulatorias extraídas de la RT-MRI son fonéticamente ricas y, cuando se combinan con la codificación de sonorización, contienen información comparable o superior a la de la señal acústica en términos de reconocimiento de fonemas.
2. Capacidad de Diferenciación: A diferencia de las métricas de distancia geométrica, el reconocimiento de fonemas puede discriminar significativamente entre diferentes modelos generativos (por ejemplo, distinguir la estabilidad temporal del sistema sin modelo de la del sistema basado en autoencoder).
3. Alineación con la Percepción: El error de reconocimiento se correlaciona con percepciones cualitativas del habla sintetizada (por ejemplo, estabilidad e inteligibilidad), proporcionando una medida objetiva para lo que anteriormente era una evaluación subjetiva.

Los autores mantienen una postura modesta, señalando que sus resultados son específicos de un solo hablante debido al alto costo y las limitaciones logísticas de la recopilación de datos de RT-MRI. No afirman que el método sea una solución universal para todos los hablantes aún, pero proponen que el reconocimiento de fonemas independiente del hablante ofrece una dirección prometedora para la futura evaluación multi-hablante y la normalización implícita del hablante en las tuberías de entrenamiento de síntesis.