UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech

Resumen Técnico: UtterTune

Planteamiento del Problema

Los sistemas de Texto a Voz (TTS) multilingües basados en arquitecturas de Modelos de Lenguaje Extensos (LLM), como CosyVoice 2, han logrado una naturalidad notable en la síntesis de múltiples hablantes y múltiples idiomas en entornos zero-shot. Sin embargo, estos modelos suelen tener dificultades con la pronunciación precisa, particularmente en idiomas como el japonés. A diferencia de los sistemas TTS convencionales que utilizan frontends explícitos de Grapheme-to-Phoneme (G2P), los modelos LLM-TTS suelen procesar texto bruto tokenizado mediante Byte-Pair Encoding (BPE). Aunque esto simplifica la arquitectura y facilita el entrenamiento multilingüe, obliga al modelo a aprender la pronunciación segmental y la prosodia puramente a partir de los datos.

El japonés presenta desafíos específicos para este enfoque basado en datos:

1. Complejidad Ortográfica: El japonés utiliza una combinación de Kanji (ideogramas) y Kana (fonogramas). Muchos Kanji tienen múltiples lecturas, y ciertas combinaciones específicas poseen pronunciaciones únicas.
2. Interferencia Cross-Lingual: Dado que el japonés y el chino comparten tokens para Kanjis comunes, los modelos pueden aplicar inadvertidamente pronunciaciones chinas al habla japonesa.
3. Acento de Tono (Pitch Accent): El japonés de Tokio depende de acentos de tono específicos por palabra, donde la caída del tono (núcleo del acento) puede desplazarse según la unión de las palabras.
4. Falta de Control: En los modelos de G2P implícitos, los usuarios no pueden corregir fácilmente los errores de pronunciación. Si bien el uso de Kana puede resolver la ambigüedad segmental, no permite el control del acento de tono, lo que conduce a una degradación de la inteligibilidad y la calidad.

Metodología

Los autores proponen UtterTune, un método de adaptación ligero que aprovecha la Adaptación de Bajo Rango (LoRA) para permitir un control preciso de la pronunciación sin necesidad de un ajuste fino (fine-tuning) completo o reentrenamiento.

Arquitectura Central

• Modelo Base: El sistema se construye sobre CosyVoice 2 (0.5B de parámetros), que utiliza un modelo de lenguaje unificado de texto-voz (Qwen2.5-0.5B) para generar tokens de voz discretos a partir de texto bruto.
• Integración de LoRA: Los pesos originales del backbone de CosyVoice 2 permanecen congelados. Se inyectan capas LoRA en las proyecciones de Query, Key, Value y Output (Q, K, V, O) de cada bloque de auto-atención del modelo de lenguaje de texto-voz. Esto implica el entrenamiento de matrices pequeñas ($B$ y $C$), donde el peso efectivo se convierte en $W + \alpha \cdot BC$.
• Eficiencia de Parámetros: Los parámetros entrenables constituyen menos del 0.5% del modelo base, lo que reduce significativamente los requisitos de memoria y el tiempo de entrenamiento, evitando al mismo tiempo el olvido catastrófico de las capacidades multilingües del modelo base.

Representación de Entrada y Control

Para proporcionar un control explícito sobre la pronunciación y la prosodia, UtterTune introduce un mecanismo de "cambio de modo" mediante dos nuevos tokens especiales: <PHON_START> y <PHON_END>.

• Modo Fonema: Cuando el modelo encuentra <PHON_START>, interpreta la secuencia subsiguiente como una ortografía fonémica (Kana) con marcadores de acento de tono explícitos hasta <PHON_END>.
• Notación: La entrada sigue una notación estándar donde el Kana representa la pronunciación segmental, los apóstrofos (') indican los núcleos de acento y las barras (/) denotan los límites de frase de acento (por ejemplo, <PHON_START>チ'ミ/モーリョー<PHON_END>).
• Entrenamiento: Solo las matrices LoRA y los embeddings para los nuevos tokens especiales son actualizados. El objetivo de entrenamiento sigue siendo la entropía cruzada estándar para la predicción del siguiente token.

Contribuciones Clave

1. Primera Aplicación de LoRA para el Control de la Pronunciación: Este trabajo presenta la primera aplicación de LoRA para un LLM-TTS multilingüe específicamente para la edición de la pronunciación segmental y la prosodia de un idioma específico. Introduce una intervención mínima que requiere solo dos tokens especiales y capas LoRA.
2. Preservación de Capacidades Zero-Shot: El método mantiene la naturalidad y la similitud del hablante en entornos zero-shot, según lo confirmado por evaluaciones tanto objetivas como subjetivas.
3. Alta Eficiencia de Parámetros: La adaptación requiere un tamaño de archivo pequeño (<0.5% del modelo base) y puede entrenarse en menos de una hora en una sola GPU (NVIDIA RTX 4090).
4. Reproducibilidad: Los autores han liberado los scripts de entrenamiento, los datos de evaluación y los pesos preentrenados de LoRA para facilitar la investigación de la comunidad.

Resultados Experimentales

El método fue evaluado en habla japonesa utilizando dos conjuntos de prueba: un conjunto de naturalidad general y un conjunto de prueba de estrés enfocado en palabras difíciles de leer y control de acento de tono.

• Naturalidad (MOS): En el conjunto de prueba general, UtterTune mejoró la Puntuación Media de Opinión (MOS) subjetiva de 3.44 (línea base) a 3.88, una ganancia estadísticamente significativa ($p < 0.0001$). Las predicciones de MOS objetivas (UTMOSv2) se mantuvieron consistentes, indicando que no hubo degradación en la calidad.
• Similitud del Hablante: Las puntuaciones de similitud de coseno (ERes2Net) se mantuvieron estables alrededor de 0.69 en todos los sistemas, confirmando que la adaptación no alteró las características de la voz del hablante objetivo.
• Control de Pronunciación y Acento:
  • Tasa de Error de Caracteres (CER): UtterTune logró un CER de 0.0626, comparable a la línea base de entrada de Kana (0.0595) y significativamente mejor que la línea base de texto bruto (0.1005).
  • Corrección de Acento: Este fue el diferenciador principal. El sistema de línea base de entrada de Kana logró solo 0.472 de corrección de acento (a menudo leyendo los fonemas correctos con el tono incorrecto). UtterTune alcanzó un 0.975 de corrección de acento, demostrando un control efectivo sobre los patrones de acento de tono.
• Localización: Los experimentos confirmaron que el control de la pronunciación está estrictamente confinado al texto encerrado entre los tokens especiales, sin que haya "filtraciones" que afecten a las partes no etiquetadas de la entrada.

Significado y Reivindicaciones

El artículo afirma que UtterTune aborda con éxito las deficiencias específicas de los sistemas LLM-TTS basados en datos en japonés —a saber, la incapacidad de modelar con precisión el mapeo G2P y el acento de tono— sin comprometer el rendimiento del modelo en otros idiomas. Al demostrar que actualizaciones menores y dirigidas (LoRA) pueden rectificar problemas específicos de un idioma preservando las sólidas capacidades zero-shot de un backbone multilingüe, el trabajo sugiere un camino escalable para adaptar sistemas LLM-TTS a idiomas con reglas ortográficas o prosódicas complejas. Los autores señalan que este enfoque evita la necesidad de un reentrenamiento completo y permite un control intuitivo del usuario sobre la salida de voz.