Using embeddings to predict spoken word duration and pitch in Mandarin monosyllabic words

Resumen Técnico: Uso de Embeddings para Predecir la Duración y el Tono de Palabras Monosilábicas en Mandarín

Planteamiento del Problema
Las propiedades prosódicas, como la duración de las palabras habladas y los contornos de la frecuencia fundamental ($f_0$), están influenciadas por un complejo conjunto de factores, incluyendo las palabras adyacentes, la velocidad del habla y la emoción del hablante. Investigaciones previas establecieron que los significados de las palabras, operacionalizados mediante embeddings de semántica distributiva, pueden predecir la duración de homófonos en inglés y la forma de los contornos de $f_0$ en mandarín. Sin embargo, no estaba claro si los embeddings contextualizados (CEs) —que aproximan el significado de tokens de palabras específicos dentro de un contexto de enunciado— podrían predecir la duración de las palabras habladas en mandarín, y si estas predicciones son lo suficientemente precisas como para reconstruir los contornos de $f_0$ en tiempo real (milisegundos) en lugar de solo en tiempo normalizado.

Metodología
El estudio utilizó el Corpus de Habla Espontánea de Mandarín de Taiwán, centrándose en 7,470 tokens de 102 palabras monosilábicas CV (vocales /a, i, u, @/ sin codas o glides) para controlar los efectos segmentales.

1. Preparación de Datos:

   • Los embeddings contextualizados fueron generados utilizando GPT-2 (específicamente el modelo base de ckip-transformers para chino) aplicado a los enunciados del corpus, resultando en una matriz de $7,476 \times 768$ ($S$).
   • Se extrajeron las variables objetivo: duración de la vocal ($C_v$), duración de la palabra ($C_w$) y contornos de $f_0$ normalizados en el tiempo ($C_p$).
   • Se utilizó un subconjunto de 6,118 tokens (93 tipos de palabras) para el análisis del contorno de tono tras eliminar los tokens con duraciones extremadamente cortas o saltos de octava.

2. Enfoque de Modelado:

   • El estudio empleó el marco del Modelo de Léxico Discriminativo (DLM). Se estimaron mapeos lineales ($W$) resolviendo las ecuaciones $SW_v = C_v$, $SW_w = C_w$ y $SW_p = C_p$ para predecir duraciones y contornos a partir de los embeddings.
   • Validación: Se utilizó una validación cruzada de 10 pliegues (10-fold cross-validation).
   • Líneas Base (Baselines): Para asegurar que las predicciones no se debieran al azar, se implementaron dos líneas base de permutación:
     • Línea Base Global: Permutación aleatoria de los identificadores de palabras a través de todos los tokens, rompiendo por completo el vínculo entre forma y significado.
     • Línea Base por Tipo: Permutación aleatoria de los embeddings dentro de cada tipo de palabra. Esto evalúa si los embeddings específicos de un token predicen mejor las duraciones específicas de dicho token que otros tokens del mismo tipo.

3. Reconstrucción en Tiempo Real:

   • Los contornos de $f_0$ predichos en tiempo normalizado fueron retrotransformados a tiempo real (ms) multiplicando los puntos de tiempo normalizado por la duración de la palabra predicha.
   • La precisión se evaluó utilizando Dynamic Time Warping (DTW) para medir la distancia entre los contornos observados y los predichos.

Resultados Clave

• Predicción de Duración: Los embeddings contextualizados predijeron significativamente tanto la duración de la vocal como la de la palabra por encima de los niveles del azar.
  • Datos de Entrenamiento: Las correlaciones empíricas fueron de 0.535 (vocal) y 0.557 (palabra), superando significativamente tanto a la línea base de permutación global como a la de tipo de palabra ($p < 0.0001$).
  • Datos de Prueba (Held-out): Las correlaciones empíricas siguieron siendo significativas (0.366 para vocal, 0.399 para palabra) y superiores a las líneas base.
  • Significancia a Nivel de Token: Crucialmente, los resultados empíricos superaron la línea base de permutación por tipo de palabra. Esto indica que el significado y la realización fonética están entrelazados incluso al nivel de los tokens individuales, no solo de los tipos de palabras.
• Predicción del Contorno de Tono:
  • Los embeddings predijeron la forma de los contornos de $f_0$ en tiempo normalizado significativamente mejor que la línea base global.
  • Sin embargo, la línea base por tipo funcionó de manera ligeramente mejor o igual que los resultados empíricos para la forma del tono, lo que sugiere que el significado específico del token no añade un poder predictivo significativo para la forma del tono más allá del nivel del tipo de palabra.
• Contornos en Tiempo Real: Al combinar la forma predicha y la duración para generar contornos de $f_0$ en tiempo real, las predicciones empíricas fueron significativamente más precisas (menor distancia DTW) que las predicciones basadas en permutaciones. No obstante, los autores señalan que estas predicciones siguen siendo imprecisas debido a factores prosódicos no modelados (ej. identidad del hablante, velocidad local del habla).

Significación y Reivindicaciones
El artículo afirma extender los hallazgos previos sobre homófonos en inglés y el tono en mandarín al demostrar que los embeddings contextualizados predicen la duración de las palabras habladas en mandarín al nivel de token.

• Novedad: La contribución principal es la evidencia de que, para la duración, el significado semántico y la realización fonética están entrelazados al nivel de los tokens individuales. Esto contrasta con los contornos de tono, donde la señal parece ser más fuerte en el nivel del tipo de palabra.
• Factibilidad: El estudio demuestra que las predicciones de duración derivadas de los embeddings son lo suficientemente precisas como para retrotransformar los contornos de tono normalizados en contornos de tiempo real que se aproximan mejor a los datos empíricos que las líneas base aleatorias.
• Limitaciones y Alcance: Los autores reconocen modestamente que los embeddings capturan una estimación "promedio e independiente del hablante". Factores como la identidad del hablante, el estado emocional y la velocidad local del habla no están fuertemente representados en los embeddings, lo que limita la precisión de las predicciones en tiempo real. El estudio no pretende reemplazar los modelos que incorporan estos factores prosódicos, sino establecer la capacidad predictiva base del contexto semántico por sí solo.
• Implicación Teórica: Los resultados apoyan la visión de que los detalles semánticos y fonéticos están más profundamente entrelazados en el léxico mental de lo que se asumía anteriormente, desafiando la noción de que la prosodia está gobernada únicamente por factores no semánticos.