Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

Resumen Técnico: Cerrando la brecha de calidad en el TTS de bajos recursos mediante el ajuste fino de LoRA de VoxCPM2

Planteamiento del problema
Si bien los modelos de texto a voz (TTS) preentrenados de gran escala logran una calidad cercana a la humana para idiomas con abundantes recursos (por ejemplo, inglés, mandarín), exhiben una brecha de calidad significativa para idiomas de bajos recursos. Esta brecha se caracteriza por pronunciaciones erróneas, acentuación e entonación torpes y una calidad sintética notable. El problema es particularmente agudo para idiomas como el jemer, que están subrepresentados en los datos de preentrenamiento y poseen características ortográficas únicas (por ejemplo, la falta de espaciado de palabras). El ajuste fino completo convencional es computacionalmente costoso, requiere checkpoints separados para cada idioma y conlleva el riesgo de olvido catastrófico. El ajuste fino eficiente en parámetros (PEFT), específicamente la adaptación de bajo rango (LoRA), ofrece una solución potencial, pero su eficacia para cerrar la brecha de calidad en el TTS de bajos recursos y su capacidad para servir a múltiples idiomas tipológicamente distintos a través de un único adaptador compartido siguen siendo preguntas abiertas.

Metodología
Los autores investigan estas cuestiones utilizando VoxCPM2, un modelo de TTS de 2.4 mil millones de parámetros, libre de tokenización, que combina un esqueleto de modelo de lenguaje MiniCPM-4 con un decodificador de difusión de coincidencia de flujo (flow-matching).

• Construcción del corpus: Se creó un corpus compartido y etiquetado por idioma que comprende aproximadamente 26 horas de audio de jemer (3.96 horas) y coreano (22.21 horas). Los datos de jemer se obtuvieron del Instituto de Investigación y Desarrollo Digital (Camboya), mientras que los datos de coreano provinieron del corpus KSS y Common Voice/FLEURS. Para abordar la escasez de datos, los clips de entrenamiento de jemer se aumentaron mediante upsampling para constituir el 40% de la mezcla de entrenamiento.
• Adaptación del modelo: En lugar del ajuste fino completo, se adjuntó un único adaptador LoRA compartido al esqueleto congelado de VoxCPM2. Este adaptador se aplicó a las proyecciones de consulta (query), clave (key), valor (value) y salida (output) de los mecanismos de atención tanto en el modelo de lenguaje MiniCPM-4 (capas base y residuales) como en el decodificador de difusión de coincidencia de flujo.
• Configuración de entrenamiento: El adaptador se inicializó en cero ($\Delta W = 0$), asegurando que el entrenamiento comenzara exactamente en el punto de partida zero-shot. El estudio probó cinco configuraciones de rango ($r \in \{8, 16, 32, 64, 128\}$), que representan del 0.19% al 3.03% de los parámetros totales. El entrenamiento utilizó el optimizador AdamW con precisión mixta en una única GPU NVIDIA H200.
• Evaluación: El rendimiento se midió mediante:
  1. Métricas automáticas: Pérdida de coincidencia de flujo de validación y pérdida del token de parada.
  2. Evaluación humana: Puntuaciones de opinión media (MOS) de hablantes nativos en una escala de 5 puntos a través de tres ejes: naturalidad, prosodia y pronunciación. La significancia estadística se evaluó mediante pruebas de Wilcoxon de suma de rangos con signo emparejadas.

Resultados clave
El estudio arrojó resultados divergentes para los dos idiomas, resaltando la dependencia de la eficacia de la adaptación respecto a la competencia inicial del modelo base:

• Jemer (Bajos recursos): El adaptador produjo una mejora altamente significativa en la calidad. El MOS general aumentó de 3.85 (zero-shot) a 4.23 con un rango de 64 ($p < 0.001$). La ganancia más sustancial se observó en la prosodia (pasando de 3.76 a 4.36), lo que indica que la principal debilidad del modelo base era el ritmo y la entonación. Notablemente, incluso el adaptador más pequeño (rango 8) recuperó la mayor parte de la ganancia, alcanzando un MOS de 3.91.
• Coreano (Abundantes recursos): El modelo base ya manejaba bien el coreano, y el adaptador no proporcionó una mejora general significativa. De hecho, los rangos más altos (específicamente el rango 64) degradaron significativamente la calidad (el MOS cayó a 3.48, $p = 0.02$), debido principalmente a una pérdida en la naturalidad. Esto sugiere que, para idiomas que el modelo ya conoce bien, la capacidad adicional conduce al sobreajuste (overfitting) sobre el pequeño conjunto de datos de ajuste fino.
• Discrepancia entre pérdida y percepción: Un hallazgo crítico es la desalineación entre la pérdida automática y la percepción humana. La pérdida de validación fue más baja en el rango 128 (0.7094), sin embargo, el MOS más alto para el jemer ocurrió en el rango 64. La pérdida continuó disminuyendo en el rango 128, pero la calidad perceptual cayó, sugiriendo que la pérdida de validación sobrestima el valor de la capacidad adicional.

Contribuciones clave

1. Adaptador multilingüe compartido: Los autores presentan la primera adaptación eficiente en parámetros de un modelo de TTS fundacional para el jemer. Demuestran que un único y pequeño adaptador LoRA (0.19–3.03% de los parámetros) puede servir eficazmente a dos idiomas tipológicamente distintos (jemer y coreano) simultáneamente sin requerir modelos separados.
2. Eficacia de la adaptación dirigida: El estudio valida empíricamente que la adaptación produce ganancias significativas solo donde el modelo base es genuinamente débil. El tamaño "útil" del adaptador escala con la distancia entre el idioma y el conocimiento existente del modelo; las brechas grandes (jemer) absorben más capacidad, mientras que las brechas pequeñas (coreano) sufren de sobreajuste.
3. Perspectiva sobre la selección de rango: El artículo desafía la dependencia de la pérdida de validación para la selección de hiperparámetros en TTS. Demuestra que el rango óptimo para la calidad perceptual (rango 64 para el jemer) no necesariamente se alinea con la pérdida de validación más baja (rango 128), abogando por las pruebas de escucha como la métrica principal para la selección de rango.
4. Utilidad diagnóstica: Los autores proponen que la magnitud de la mejora proporcionada por un adaptador inicializado en cero sirve como una sonda para el conocimiento existente del modelo base sobre un idioma.

Significancia y afirmaciones
El artículo afirma que los pequeños adaptadores LoRA son un mecanismo altamente efectivo y eficiente en recursos para cerrar la brecha de calidad en el TTS de bajos recursos, siempre que el modelo base carezca de conocimiento previo suficiente del idioma objetivo. El estudio enfatiza que un rango global de "talla única" es inapropiado; en su lugar, la selección del rango debe ser específica para cada idioma y guiada por la evaluación perceptual en lugar de la pérdida automática.

Los autores señalan modestamente las limitaciones, incluyendo la falta de un límite superior de ajuste fino completo, los posibles factores de confusión entre la cobertura del idioma y la calidad de la fuente de datos (corpus privados vs. públicos), y los paneles de evaluadores relativamente pequeños utilizados para la evaluación MOS. Concluyen que el trabajo futuro debe centrarse en establecer líneas base de ajuste fino completo y expandir la evaluación para incluir más idiomas de bajos recursos y métricas objetivas.