LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

Resumen Técnico: LuxEmo – Corpus de Texto a Voz Expresivo para el Luxemburgués

Planteamiento del Problema
Los conjuntos de datos de voz de última generación y los sistemas de Texto a Voz (TTS) expresivos se centran predominantemente en lenguas de altos recursos (p. ej., inglés) y grabaciones de estudio controladas. Las lenguas de bajos recursos, como el luxemburgués, permanecen subrepresentadas. El luxemburgués presenta desafíos específicos: está integrado en un ecosato de la multilingüismo con un frecuente cambio de código (code-switching) (alemán, francés, inglés), y los recursos existentes carecen de datos espontáneos y conversacionales con prosodia emocional. Los enfoques actuales de TTS multilingüe suelen depender de lenguas sustitutas de altos recursos o estrategias de aprendizaje por transferencia que no logran capturar los matices lingüísticos y prosódicos específicos del luxemburgués, particularmente en condiciones de medios realistas que involucran ruido, habla superpuesta y registros informales.

Metodología
El artículo presenta LuxEmo, un corpus de habla emocional espontánea de 21 horas derivado de las emisiones juveniles de Radio Télévision Luxembourg (RTL). El trabajo se centra en la construcción de recursos y protocolos más que en un diseño arquitectónico novedoso.

1. Construcción y Curación del Corpus:

   • Fuente: Programas juveniles de RTL que incluyen discusiones en estudio, entrevistas e informes sobre el terreno.
   • Preprocesamiento: El audio fue extraído, remuestreado a banda ancha y procesado mediante Detección de Actividad de Voz (VAD) para eliminar segmentos sin habla. Se aplicó DeepFilterNet para la reducción de ruido (atenuando la música de fondo y el ruido ambiental).
   • Segmentación: Los segmentos se limitaron a entre 1 y 10 segundos (duración media de 9,87 s). Las transcripciones se obtuvieron mediante LuxASR (un modelo Whisper large-v3 ajustado para el luxemburgués) y se alinearon con los segmentos de VAD.
   • Identificación de Locutores: La salida de la diarización se mapeó a cuatro locutores recurrentes (1 hombre, 3 mujeres).
   • Anotación:
     • Identificación de Lengua (LID): Un modelo basado en Wav2Vec2 (mms-lid-4017) clasificó las unidades de habla. El 83,8% era luxemburgués, el 6,5% inglés y el 2,2% alemán. Un hablante nativo revisó manualmente aproximadamente el 15% de los segmentos para validar las asignaciones.
     • Detección de Emoción: Un clasificador basado en HuBERT y modelos léxicos identificaron cuatro categorías: neutral, alegre, triste y enfadado. Las etiquetas se tratan como "débilmente supervisadas" con puntuaciones de confianza; los elementos de alta confianza forman el subconjunto supervisado, mientras que los segmentos de menor confianza apoyan el aprendizaje de representaciones.
   • Divisiones de Datos (Data Splits): Se empleó una estrategia de división consciente del locutor y del episodio para evitar la fuga de datos (data leakage) de contextos conversacionales compartidos. Las divisiones mantienen la distribución global de emociones y aseguran la cobertura de las cuatro clases de emoción en el conjunto de prueba.

2. Evaluación Comparativa de TTS (Benchmarking):
   Cinco sistemas de TTS expresivos fueron evaluados para cubrir diferentes estrategias de despliegue:

   • GradTTS: Modelo basado en difusión utilizando el alemán como lengua de proximidad (proxy).
   • XTTS: Modelo basado en referencia translingüe utilizando el alemán como lengua de proximidad.
   • Toucan: Modelo basado en codificador de referencia con un inventario de fonemas multilingüe que cubre el luxemburgués.
   • Qwen3 FT: Un sistema de TTS basado en modelos de lenguaje controlado por prompt adaptado (ajustado/fine-tuned) a LuxEmo.
   • kNN TTS: Una línea base no paramétrica que transfiere la prosodia mediante la recuperación de los $k$-vecinos más cercanos de LuxEmo.

3. Protocolo de Evaluación:

   • Métricas Objetivas: Incluyeron predicción de calidad no intrusiva (WV-MOS, NISQA-TTS, NISQA v2.0, DNSMOS), inteligibilidad (WER/CER mediante Whisper y LuxASR), similitud de locutor (embeddings ECAPA-TDNN) y prosodia (RMSE de F0, correlación de Pearson).
   • Evaluación Subjetiva: Una prueba de escucha con 20 oyentes nativos de luxemburgués calificó la naturalidad, la adecuación emocional y la intensidad en escalas de 5 puntos.

Contribuciones Clave

• Dataset LuxEmo: El primer corpus de habla emocional espontánea a gran escala (21 horas, 7.562 segmentos) para el luxemburgués, anotado para lengua, locutor y cuatro categorías de emoción en un entorno de cambio de código.
• Flujo de Trabajo de Curación: Un flujo de trabajo semiautomático documentado que combina VAD, eliminación de ruido, segmentación basada en LuxASR, claves emocionales acústicas/léxicas y revisión humana dirigida, adecuado para archivos de radiodifusión con restricciones prácticas de reutilización.
• Evaluación Comparativa: Una evaluación exhaustiva de cinco estrategias de TTS (translingüe zero-shot, multilingüe y adaptada) bajo condiciones reales y heterogéneas.
• Divisiones Estandarizadas: Divisiones de entrenamiento/desarrollo/prueba conscientes del locutor y del episodio, diseñadas para minimizar la fuga de datos preservando al mismo tiempo la cobertura de las emociones.

Resultados

• Compromisos entre Calidad e Inteligibilidad: Ningún modelo dominó de forma unívoca en todas las métricas.
  • GradTTS (proximidad alemana) logró la mayor suavidad de la forma de onda (WV-MOS) pero el mayor WER en luxemburgués, lo que indica que las formas de onda suaves no garantizan la precisión segmental del idioma objetivo.
  • Toucan (consciente del luxemburgués) logró el menor WER de LuxASR y una alta calidad general, demostrando el valor de la cobertura de fonemas específica de la lengua.
  • XTTS (proximidad alemana) mostró una alta similitud de locutor pero una inteligibilidad intermedia.
• Efectos de la Adaptación:
  • Qwen3 FT (ajustado/fine-tuned) recibió las calificaciones subjetivas más altas de naturalidad y adecuación emocional por parte de los oyentes nativos, a pesar de tener puntuaciones de calidad objetiva (NISQA/DNSMOS) más bajas y un WER de ASR superior a los sistemas zero-shot. Esto sugiere que la expresividad percibida no siempre se alinea con la precisión de la transcripción derivada de ASR.
  • kNN TTS recuperó con éxito la prosodia (comparable en F0 RMSE a GradTTS) pero se vio limitado por una pobre calidad de la forma de onda acústica.
• Rendimiento de la Emoción: Las emociones de "enfadado" y "triste" fueron consistentemente más difíciles de sintetizar, lo que se correlaciona con el desequilibrio del corpus (el enfado representa solo el 0,5% de los segmentos).
• Divergencia de Métricas: Las métricas objetivas (WV-MOS, NISQA, DNSMOS) enfatizaron diferentes aspectos de la calidad (por ejemplo, suavidad de la forma de onda frente a supresión de ruido), reforzando la necesidad de una evaluación multimétrica.

Significado y Reivindicaciones
El artículo posiciona a LuxEmo como un banco de pruebas para el TTS expresivo en entornos de bajos recursos y cambio de código, en lugar de una solución definitiva para el rendimiento universal del TTS.

• Restricciones Realistas: El trabajo destaca que las grabaciones limpias, las etiquetas equilibradas y la amplia cobertura de locutores no están disponibles en entornos de bajos recursos realistas; LuxEmo aborda esto documentando las estrategias de curación para datos de radiodifusión ruidosos y espontáneos.
• Limitaciones de los Sustitutos (Surrogates): Los resultados indican que los modelos de proximidad alemana, aunque mejoran la calidad percibida, no logran capturar completamente la fonotáctica y las claves expresivas específicas del luxemburgués.
• Alcance Modesto: Los autores declaran explícitamente que el benchmark caracteriza el comportamiento de sistemas reales bajo condiciones heterogéneas y no debe interpretarse como evidencia de un modelo de TTS universalmente superior. La composición de cuatro locutores es un resultado de la disponibilidad de material fuente, no de un muestreo demográfico, lo que significa que el corpus no es demográficamente representativo de todos los hablantes de luxemburgués.
• Dirección Futura: El artículo concluye que el trabajo futuro debería ampliar la cobertura de locutores y dominios, refinar las etiquetas de emoción mediante el análisis de inter-anotadores y adaptar el flujo de trabajo a otros entornos de bajos recursos y cambio de código.