Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech

Este trabajo presenta Bolbosh, el primer sistema de texto a voz neuronal de código abierto para el idioma cachemiri, que supera significativamente a los modelos multilingües existentes mediante una adaptación supervisada basada en el emparejamiento de flujos condicionales y un pipeline de mejora acústica, logrando así una inteligibilidad y calidad de voz sin precedentes para esta lengua con recursos limitados.

Lo esencial

¡Hola! Imagina que el idioma kashmirí es como un jardín hermoso y antiguo, lleno de flores raras y sonidos delicados que solo unos pocos conocen. Sin embargo, hasta ahora, la tecnología de voz (como los asistentes de Siri o Alexa) había ignorado este jardín, dejándolo en silencio.

Este paper presenta Bolbosh, un nuevo proyecto que ha logrado "darle voz" a este idioma por primera vez de forma abierta y gratuita. Aquí te explico cómo lo hicieron usando analogías sencillas:

1. El Problema: El Traductor Ciego

Imagina que intentas enseñarle a un robot a hablar kashmirí usando solo lo que sabe de otros idiomas (como el hindi o el inglés). El robot intenta adivinar, pero comete errores graves.

• La analogía: Es como si le dieras a un chef experto en pizza italiana una receta de sushi, pero le dices que use los mismos ingredientes y técnicas. El resultado será un desastre: el sushi se quemará y la pizza se verá rara.
• La realidad: Los sistemas actuales (llamados "baselines multilingües") fallaron estrepitosamente. Obtuvieron una calificación de 1.86 sobre 5 (casi ininteligible). ¿Por qué? Porque el alfabeto kashmirí (Perso-Árabe) usa muchos "acento" o diacríticos (pequeños signos encima de las letras) que cambian totalmente el sonido de las vocales. Los robots anteriores ignoraban estos detalles, como si un pianista tocara las teclas equivocadas.

2. La Solución: Bolbosh (El Puente Inteligente)

Los autores crearon Bolbosh, que no es un robot que empieza de cero, sino un estudiante brillante que ya sabe hablar inglés y lo están entrenando específicamente para kashmirí.

• El Método (Flow Matching / OT-CFM): Imagina que tienes un montón de arcilla gris (ruido) y quieres esculpir una estatua perfecta (la voz kashmirí).
  • Los métodos antiguos (como la difusión) son como intentar esculpir golpeando la arcilla poco a poco, muy lento y con mucho riesgo de romperla.
  • Bolbosh usa una técnica llamada "Flow Matching". Es como tener un río mágico que lleva la arcilla desde el montón gris hasta la estatua final de forma fluida y directa. Es más rápido, más estable y necesita menos agua (menos datos) para funcionar.

3. Los Ingredientes Secretos

Para que este "río mágico" funcionara, tuvieron que preparar el terreno con tres trucos:

1. Limpieza de Audio (El Filtro de Café): Tuvieron dos tipos de grabaciones: unas de estudio (limpias como agua cristalina) y otras grabadas en la calle con ruido (como un café revuelto). Antes de entrenar al robot, pasaron las grabaciones de la calle por un filtro especial para quitar el eco y el ruido, igual que cuando pones un filtro de café para que el líquido salga limpio.
2. El Vocabulario Expandido (El Diccionario Personalizado): El robot original solo conocía letras en inglés. Los autores le añadieron 272 letras nuevas específicas del kashmirí, incluyendo esos signos mágicos (diacríticos) que tanto importan. Le dijeron al robot: "Oye, esta pequeña línea sobre la 'a' cambia el sonido por completo, ¡no la ignores!".
3. Aprendizaje Supervisado (El Entrenador): En lugar de dejar que el robot adivine (lo cual falló antes), le dieron un "entrenador" humano que le corrigió paso a paso cómo alinear las letras con los sonidos correctos.

4. Los Resultados: De un Murmullo a una Voz Clara

Al final, el resultado fue impresionante:

• Calidad: Bolbosh obtuvo una calificación de 3.63 sobre 5. ¡Es casi el doble de bueno que los intentos anteriores!
• Claridad: Ya no suena como un robot robótico o ininteligible; suena natural, con la entonación y los acentos correctos.
• Comparación: Mientras que el sistema anterior (IndicParler) hacía que las palabras sonaran como un galimatías, Bolbosh las pronuncia con la precisión de un locutor nativo.

En Resumen

Bolbosh es como construir un puente sólido sobre un río que antes era imposible de cruzar. Demostró que para idiomas con alfabetos complejos y pocos datos (como el kashmirí), no basta con "adivinar" con inteligencia artificial general. Necesitas:

1. Un método de transporte de datos más eficiente (el río mágico).
2. Un diccionario que respete los detalles finos del idioma (los diacríticos).
3. Una limpieza cuidadosa de los datos.

Gracias a este trabajo, ahora 7 millones de hablantes de kashmirí pueden interactuar con la tecnología de voz de una manera que antes era imposible, cerrando una brecha digital importante. ¡Y lo mejor es que el código es libre para que otros lo usen y mejoren!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech", presentado en español:

1. El Problema

El idioma kashmirí, hablado por aproximadamente 7 millones de personas, permanece críticamente desatendido en el campo de la tecnología del habla, a pesar de su estatus oficial y rico patrimonio lingüístico. La ausencia de sistemas robustos de Texto a Voz (TTS) limita la accesibilidad digital y la interacción humano-computadora inclusiva.

Los desafíos principales para desarrollar TTS en kashmirí son:

• Recursos limitados: Los corpus de texto y voz emparejados son escasos y fragmentados.
• Complejidad ortográfica: El idioma se escribe principalmente en el alfabeto Perso-Árabe, que depende heavily de diacríticos para codificar distinciones vocálicas sutiles esenciales para la inteligibilidad.
• Fallo de los modelos existentes: Las evaluaciones muestran que los modelos multilingües de "zero-shot" (como IndicParler) entrenados para lenguas indias fallan estrepitosamente en kashmirí, obteniendo una Puntuación de Opinión Media (MOS) de solo 1.86. Esto se debe a una modelización inadecuada de los diacríticos y a desajustes fonotácticos, resultando en pronunciaciones de vocales incorrectas y distorsión prosódica.

2. Metodología

Los autores proponen Bolbosh, el primer sistema TTS neuronal de código abierto diseñado específicamente para kashmirí. La metodología se basa en tres pilares fundamentales:

A. Arquitectura y Adaptación Supervisada

• Base: Se utiliza el marco Matcha-TTS, que emplea Flow Matching Condicional de Transporte Óptimo (OT-CFM). A diferencia de los modelos difusivos (que requieren pasos iterativos costosos) o autoregresivos (que sufren inestabilidad de alineación), OT-CFM aprende un campo vectorial continuo que transporta una distribución previa gaussiana a la distribución acústica objetivo.
• Estrategia de Adaptación: En lugar de entrenar desde cero, se inicia con un checkpoint preentrenado de Matcha-TTS multihablante en inglés. Luego, se realiza un ajuste fino (fine-tuning) supervisado en un corpus de kashmirí.
• Alineación Monótona: El modelo integra internamente la Búsqueda de Alineación Monótona (MAS), eliminando la necesidad de alineadores externos (como Montreal Forced Aligner) que requieren recursos de G2P (Grafema a Fonema) inexistentes para el kashmirí.

B. Pipeline de Mejora Acústica

Para unificar fuentes de datos heterogéneas (grabaciones de estudio de alta calidad vs. grabaciones espontáneas ruidosas), se implementa un pipeline de tres etapas antes del entrenamiento:

1. Dereverberación y eliminación de ruido: Uso del marco Resemble-Enhance con un denoiser basado en UNet y refinamiento CFM latente.
2. Recorte de silencio dinámico: Eliminación de segmentos por debajo de 40 dB para evitar asignaciones erróneas de duración.
3. Normalización de volumen: Estandarización a -23.0 LUFS y remuestreo a 22.05 kHz.

C. Procesamiento de Texto y Vocabulario

• Enfoque "Script-Aware": Se omite la conversión explícita de Grafema a Fonema (G2P). En su lugar, se expande el vocabulario del modelo a 272 grafemas para incluir caracteres y diacríticos específicos del kashmirí.
• Esto permite que el codificador aprenda mapeos grafema-a-acústica de extremo a extremo, preservando las distinciones vocálicas finas que los diacríticos representan.

3. Contribuciones Clave

1. Primer sistema TTS específico para kashmirí: Introducción de un marco de flujo de coincidencia (flow-matching) consciente del guion (script-aware).
2. Integración de dominio acústico y adaptación cruzada: Desarrollo de un pipeline de mejora principista y una estrategia de ajuste fino supervisado que unifica corpus heterogéneos y aprovecha priores acústicos de un modelo en inglés para la adaptación de bajos recursos.
3. Rendimiento de vanguardia: Establecimiento de un nuevo estándar de referencia (benchmark) para la síntesis de voz en kashmirí, superando significativamente a las líneas base multilingües.

4. Resultados

El sistema Bolbosh fue evaluado tanto objetivamente como subjetivamente, mostrando mejoras sustanciales sobre la línea base (IndicParler):

• Puntuación de Opinión Media (MOS):
  • Bolbosh: 3.63 (±0.061).
  • IndicParler (Línea base): 1.86 (±0.065).
  • Interpretación: La mejora de casi 2 puntos indica ganancias significativas en inteligibilidad y naturalidad prosódica.
• Distorsión Cefálica Mel (MCD):
  • Bolbosh: 3.73.
  • IndicParler: 4.73.
  • Interpretación: Un MCD más bajo indica una mayor fidelidad fonética y consistencia timbral.
• Tasa de Error de Palabras (WER) Relativa (rWER):
  • Bolbosh logró un rWER del 4.14% (con diacríticos), frente al 46.75% de IndicParler.
  • Se demostró que la eliminación de diacríticos degrada el rendimiento de Bolbosh (a 13.23%), confirmando que la modelización explícita de diacríticos es crítica para la inteligibilidad.
• Análisis Espectral: Los espectrogramas muestran que Bolbosh preserva estructuras armónicas claras y trayectorias de formantes bien definidas, mientras que la línea base presenta sobre-suavizado e inestabilidad temporal.

5. Significado e Impacto

El trabajo Bolbosh demuestra que para lenguas de bajos recursos con scripts sensibles a diacríticos (como el kashmirí en alfabeto Perso-Árabe), la transferencia multilingüe "zero-shot" es insuficiente.

• Validación Técnica: Confirma que la adaptación supervisada basada en flujo (Flow Matching) combinada con un modelado consciente del guion es esencial para preservar la integridad acústica en estos idiomas.
• Accesibilidad: Proporciona la primera herramienta TTS de alta calidad y código abierto para la comunidad kashmirí, cerrando la brecha digital y permitiendo interfaces de voz inclusivas.
• Generalización: Los hallazgos sugieren que este enfoque es aplicable a otras lenguas de bajos recursos que dependen de sistemas de escritura complejos o diacríticos, ofreciendo una ruta escalable para la síntesis de voz de alta fidelidad.

El código y los datos están disponibles públicamente en el repositorio del laboratorio Gaash Lab.