JaiTTS: A Thai Voice Cloning Model

1. Planteamiento del Problema

El artículo aborda tres brechas críticas en la tecnología actual de Texto a Voz (TTS), específicamente en relación con el idioma tailandés:

• Sesgo centrado en el inglés: La mayoría de los modelos TTS de código abierto y comerciales más avanzados están fuertemente optimizados para el inglés. Aunque existen modelos multilingües (por ejemplo, Qwen3-TTS), a menudo sufren errores de pronunciación y prosodia en tailandés debido a la escasez de datos tailandeses en sus corpus de entrenamiento.
• Limitaciones de los modelos tailandeses existentes: Los sistemas dedicados al tailandés (por ejemplo, ThonburianTTS) suelen tener capacidades limitadas de clonación de hablantes en cero disparos (zero-shot) y luchan con la generación de habla de larga duración porque se entrenan con conjuntos de datos dominados por enunciados cortos.
• Requisitos complejos de preprocesamiento: Las pipelines tradicionales de TTS en tailandés dependen en gran medida de una normalización de texto compleja para manejar números y el cambio de código frecuente entre tailandés e inglés (común en el uso del mundo real). Esto añade complejidad a la implementación y puntos potenciales de fallo.
• Limitaciones de los códecs: Los modelos autoregresivos recientes que utilizan códecs de audio discretos (como X-codec2) carecen de una capacidad verificada para reconstruir contrastes fonéticos específicos del tailandés, como los tonos léxicos y los grupos de consonantes, ya que sus datos de entrenamiento supuestamente excluyen el tailandés.

2. Metodología

Los autores presentan JaiTTS-v1.0, un modelo de clonación de voz de última generación adaptado de VoxCPM. El sistema está diseñado para ser libre de tokenizadores, evitando por completo el uso de códecs de audio externos.

Descripción General de la Arquitectura

El modelo opera mediante una pipeline jerárquica de cuatro componentes principales (ilustrada en la Figura 1 del artículo):

1. Modelo de Lenguaje Semántico de Texto (TSLM): Un Transformer solo de decodificador (inicializado desde MiniCPM-4) que se condiciona sobre texto tokenizado y contexto acústico histórico. Genera una representación semántico-prosódica continua, capturando conjuntamente el contenido y el estilo de entrega.
2. Cuantización Escalar Finita (FSQ): Esta capa comprime la salida continua del TSLM en un "esqueleto semidiscreto". Actúa como un regularizador, estabilizando la señal de planificación mientras mantiene la diferenciabilidad mediante un estimador directo.
3. Modelo de Lenguaje Acústico Residual (RALM): Un Transformer solo de decodificador que refina el esqueleto semidiscreto. Se especializa en la expresividad acústica y las características del hablante, añadiendo detalles que el cuello de botella discreto no puede representar.
4. Transformador de Difusión Local (LocDiT): Un Transformer bidireccional que decodifica los parches latentes de habla continua finales. Utiliza desruido por coincidencia de flujo, condicionado por la señal combinada del esqueleto FSQ y los residuos RALM, así como el parche de audio anterior para garantizar la continuidad entre parches.
5. Predictor de Parada: Una cabeza ligera que predice el final de la secuencia para terminar la generación.

Estrategia de Entrenamiento

• Datos: Entrenado sobre un corpus centrado en tailandés de ~10.000 horas, combinando habla conversacional/formal general con contenido específico de dominio (Finanzas, Salud, Educación, Derecho).
• Procesamiento Directo: El modelo se entrena para procesar texto crudo directamente, manejando el cambio de código tailandés-inglés y los numerales sin normalización de texto explícita.
• Objetivo: El sistema se optimiza de extremo a extremo utilizando una función de pérdida combinada de Coincidencia de Flujo (para el proceso de difusión) y Entropía Cruzada Binaria (para el predictor de parada).

3. Contribuciones Clave

• Primer Clonador de Voz Tailandés de Alto Rendimiento: JaiTTS-v1.0 es el primer modelo que logra un rendimiento de última generación (SOTA) en clonación de voz tailandesa, superando la verdad fundamental humana en tareas de corta duración y igualándola en tareas de larga duración.
• Arquitectura Libre de Tokenizadores: Al adaptar VoxCPM, el modelo evita las limitaciones de reconstrucción fonética de los códecs de audio discretos, permitiendo una modelización más precisa de los tonos y grupos consonánticos tailandeses.
• Robustez ante Entradas del Mundo Real: El modelo elimina la necesidad de pipelines complejas de normalización de texto, sintetizando directamente el habla a partir de texto crudo que contiene idiomas mixtos y números.
• Nueva Referencia: Los autores introducen un nuevo marco de evaluación que divide las tareas en Corta Duración (1–15s) y Larga Duración (16–30s) para reflejar mejor los casos de uso del mundo real y probar la estabilidad a lo largo del tiempo.

4. Resultados Experimentales

Métricas Objetivas

• Tareas de Corta Duración: JaiTTS-v1.0 logró una Tasa de Error de Caracteres (CER) del 1,94%, superando la verdad fundamental humana (1,98%) y superando a todos los modelos base (Qwen3-TTS-1.7B: 2,56%; ThonburianTTS: 6,26%).
• Tareas de Larga Duración: El modelo mantuvo una CER del 2,55%, igualando estrechamente el rendimiento humano (2,47%). En contraste, Qwen3-TTS-1.7B se degradó al 3,64% y ThonburianTTS no logró generar una salida sensata.
• Similitud de Hablante (SIM): Logró una SIM competitiva de 0,62 para tareas cortas y 0,76 para tareas largas.

Eficiencia

• Factor de Tiempo Real (RTF): JaiTTS-v1.0 logró un RTF de 0,1136, lo que significa que genera habla casi 9 veces más rápido que en tiempo real. Esto es aproximadamente 13 veces más rápido que los modelos autoregresivos Qwen3-TTS (RTF > 1,5) y ligeramente más rápido que el ThonburianTTS no autoregresivo (0,1150).

Evaluación de Juicio Humano

• Comparación: Probado contra modelos insignia comerciales ElevenLabs (eleven_v3) y MiniMax (speech-2.8-hd).
• Resultado: En 400 comparaciones por pares, JaiTTS-v1.0 ganó 283 veces, empató 59 veces y perdió solo 58 veces.
• Preferencia: Los jueces humanos prefirieron JaiTTS-v1.0 aproximadamente el 70% de las veces, citando una superior naturalidad, inteligibilidad (especialmente con cambio de código/números) y similitud de hablante.

5. Significado

JaiTTS-v1.0 representa un gran salto adelante en el TTS para idiomas de recursos limitados. Demuestra que las arquitecturas autoregresivas libres de tokenizadores pueden superar tanto a los modelos multilingües tradicionales como a los modelos dedicados de idiomas pequeños cuando se entrenan con datos de alta calidad y diversos en dominio.

Su capacidad para manejar texto crudo con cambio de código y números sin normalización simplifica significativamente las pipelines de implementación. Además, su rendimiento superior en generación de larga duración aborda un punto crítico de fallo en los modelos existentes, haciéndolo viable para aplicaciones como audiolibros, creación de contenido de formato largo y sistemas de diálogo complejos. El modelo establece una nueva referencia para la síntesis de voz tailandesa, demostrando que datos de entrenamiento especializados y de alta calidad pueden superar las limitaciones de los modelos multilingües generalistas.