Resumen Técnico: NüshuVoice: Reviviendo la voz del Nüshu en peligro de extinción con Text-to-Speech consciente del tono

Planteamiento del problema

El Nüshu es una escritura fonética en peligro de extinción, utilizada históricamente por mujeres en el condado de Jiangyong, Hunan, China. Mientras que los esfuerzos computacionales recientes se han centrado en la digitalización textual, la codificación y el reconocimiento visual (OCR) del Nüshu, su modalidad acústica permanece prácticamente inexplorada. Esta brecha es crítica porque el Nüshu es una escritura silábica donde cada carácter corresponde a una sílaba específica, incluyendo la inicial, la final y el tono, en el dialecto local de Jiangyong.

La construcción de un sistema de Text-to-Speech (TTS) para el Nüshu presenta desafíos extremos debido a la severa escasez de datos. A diferencia de los entornos de bajos recursos modernos, que pueden poseer varias horas de habla continua, las grabaciones de Nüshu disponibles son de archivo, de calidad no profesional y consisten casi por completo en pronunciaciones de sílabas aisladas en lugar de enunciados naturales a nivel de oración. Las arquitecturas de TTS convencionales, que dependen de grandes conjuntos de datos emparejados de texto-voz o de supervisión de alineación externa, son propensas a una alineación inestable entre texto y voz y a un modelado prosódico débil bajo estas condiciones. Además, la ausencia de sistemas de Reconocimiento Automático del Habla (ASR) para el Nüshu impide el uso de métricas de evaluación objetiva estándar como la Tasa de Error de Palabra (WER).

Metodología

1. Construcción del conjunto de datos: NüshuVoice

Los autores construyeron NüshuVoice, el primer benchmark de TTS multimodal a nivel de oración para el Nüshu. El proceso de construcción involucró tres etapas rigurosas:

• Recopilación de datos: Los datos textuales se obtuvieron de The Mystery of Jiangyong Nüshu (aprox. 63,665 caracteres), proporcionando glifos originales, transcripciones fonéticas (usando IPA y una escala de tono de cinco niveles) y traducciones al chino estándar. Los datos de audio se extrajeron del Nuchu Pronunciation Electronic Dictionary, que contiene 873 grabaciones de sílabas aisladas.
• Filtrado ortográfico: Se aplicó un protocolo estricto de referencias cruzadas visuales y semánticas para mapear los glifos manuscritos/impresos a formas Unicode estandarizadas. Las oraciones que contenían cualquier carácter sin un equivalente Unicode verificado o con discrepancias estructurales fueron descartadas para asegurar la fidelidad ortográfica.
• Ensamblaje de audio a nivel de oración: Dado que no había grabaciones continuas disponibles, los autores desarrollaron un flujo de trabajo determinista para ensamblar audio a nivel de oración. Los caracteres Unicode verificados se mapearon con sus correspondientes archivos WAV aislados del diccionario. Estos segmentos se concatenaron temporalmente usando Audacity para reconstruir enunciados continuos, creando una alineación uno a uno entre el texto estandarizado, el IPA y el audio.
• Validación: La validación de expertos realizada por dos especialistas en el dominio del Nüshu confirmó una tasa de corrección del 93.6% para el conjunto de datos final (1,252 enunciados, ~98.8 minutos).

2. Arquitectura del modelo: Nüshu-PitchVITS

Para abordar el entorno de recursos extremadamente bajos, los autores propusieron Nüshu-PitchVITS, una extensión del marco de Inferencia Variacional con Aprendizaje Adversario para Text-to-Speech de extremo a extremo (VITS).

• Marco condicionado por F0: Reconociendo que las anotaciones del Nüshu incluyen explícitamente una notación de tono de cinco niveles, el modelo incorpora un predictor de frecuencia fundamental (F0) explícito como un sesgo inductivo prosódico.
• Detalles de la arquitectura:
  • Entrada: Transcripciones fonéticas conscientes del tono (sílaba + valor de tono de 5 niveles).
  • Rama de tono (Pitch Branch): Una red convolucional 1D ligera de dos capas predice una secuencia de log-F0 por cuadro ($\hat{f}$) a partir de los estados ocultos del codificador de texto.
  • Inyección latente: La representación de tono predicha se proyecta a la dimensión oculta y se añade a la representación acústica latente ($Z' = Z + E_{F0}$) antes de la decodificación de la forma de onda.
  • Alineación: El predictor de tono se excluye de la Búsqueda de Alineación Monotónica (MAS) para evitar desestabilizar la estimación de la alineación en regímenes de pocos datos. La alineación se calcula únicamente a partir de estadísticas previas y variables posteriores transformadas por flujo.
• Estrategia de entrenamiento: Se empleó un enfoque de entrenamiento de dos etapas, inicializado desde un modelo VITS de inglés pre-entrenado:
  1. Etapa 1: El decodificador de forma de onda y el codificador posterior están congelados. Solo se entrenan el codificador de texto, el predictor de tono, el predictor de duración y el flujo normalizante utilizando pérdidas de divergencia KL, de duración y de predicción de tono.
  2. Etapa 2: Todos los módulos se descongelan para un entrenamiento conjunto de extremo a extremo utilizando una función de pérdida combinada que incluye pérdidas adversarias, de coincidencia de características, de reconstrucción y de tono.

Contribuciones clave

1. Conjunto de datos NüshuVoice: La creación del primer conjunto de datos de TTS para Nüshu a nivel de oración, alineando texto Unicode estandarizado, transcripciones IPA, traducciones al chino y audio de archivo ensamblado.
2. Nüshu-PitchVITS: Un nuevo marco de TTS que aprovecha la notación de tono de cinco niveles explícita del Nüshu como un sesgo inductivo prosódico para estabilizar la síntesis en condiciones extremas de bajos recursos.
3. Evaluación sistemática: La primera evaluación objetiva y subjetiva exhaustiva de TTS neuronal para el Nüshu, estableciendo nuevas bases y métricas para escrituras fonéticas en peligro de extinción.
4. Preservación cultural: Un enfoque computacional para hacer que la pronunciación del Nüshu sea accesible, apoyando la revitalización acústica de este sistema de escritura en peligro.

Resultados experimentales

El método propuesto fue evaluado contra cinco bases sólidas (Tacotron 2, FastSpeech 2, Glow-TTS, F5-TTS y VITS estándar) en el conjunto de prueba NüshuVoice.

• Métricas objetivas:
  • Fidelidad espectral: Nüshu-PitchVITS logró una Distorsión Cepstral de Mel (MCD) de 3.11, superando significativamente a la base más fuerte (VITS con 5.19) y mostrando mejoras masivas sobre los modelos autorregresivos (que sufrieron un MCD > 37).
  • Reconstrucción de tono: El modelo redujo el RMSE de F0 a 13.23 (frente a 23.42 para VITS) y logró una correlación de Pearson de 0.92 (frente a 0.73 para VITS), demostiendo una precisión tonal superior.
• Métricas subjetivas (MOS):
  • Inteligibilidad: Nüshu-PitchVITS alcanzó un MOS de Inteligibilidad casi perfecto de 4.97, mientras que las bases estándar puntuaron cerca de 1.0 (ininteligible).
  • Naturalidad: El modelo alcanzó un MOS de Naturalidad de 3.31, comparable a las grabaciones de la verdad de terreno (3.34).
• Análisis espectral: Los espectrogramas indicaron que, mientras que el VITS estándar exhibía un sobre-suavizado y un contraste armónico debilitado, Nüshu-PitchVITS produjo bandas armónicas más nítidas y estructuras relacionadas con el tono más consistentes, confirmando la eficacia del condicionamiento explícito de F0.

Significado y afirmaciones

El artículo afirma que NüshuVoice y Nüshu-PitchVITS representan el primer estudio dedicado a la síntesis de TTS para el Nüshu. Los autores argumentan que para las escrituras fonéticas en peligro donde los datos acústicos son escasos pero las anotaciones tonales están disponibles, el modelado prosódico basado en la lingüística es crítico.

La importancia de este trabajo radica en:

1. Revitalización acústica: Ir más allá del reconocimiento visual para recuperar la realización hablada y la dinámica tonal del Nüshu, lo cual es esencial para preservar su patrimonio oral y cultural.
2. Perspectiva metodológica: Demostrar que el condicionamiento de tono explícito puede estabilizar las arquitecturas VITS en entornos de recursos extremadamente bajos donde los mecanismos de alineación convencionales fallan.
3. Disponibilidad de recursos: Proporcionar un conjunto de datos público y código para servir como base para futuras investigaciones en TTS de bajos recursos, revitalización de lenguas en peligro y preservación computacional del patrimonio cultural inmaterial.

Los autores mantienen una postura modesta, reconociendo limitaciones como la naturaleza ensamblada del audio (que carece de coarticulación natural y prosodia del discurso), la diversidad limitada de hablantes debido a las restricciones de archivo, y la exclusión de variantes de glifos históricos sin equivalentes Unicode exactos. Enfatizan que el objetivo es apoyar la preservación y documentación, no reemplazar el conocimiento de la comunidad.