BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language

Este artículo presenta BaltiVoice, el primer corpus de voz y modelo ASR Whisper ajustado para el idioma Balti disponibles públicamente, lo cual reduce significativamente las tasas de error de palabra de un valor de referencia zero-shot del 182.18% al 30.07% en un conjunto de datos de 16.8 horas derivado de Mozilla Common Voice.

Lo esencial

Imagina que tienes una biblioteca de libros, pero para un idioma específico —el Balti, hablado por unas 400.000 personas en Pakistán e India— no hay ningún libro en absoluto. No solo no hay libros, sino que tampoco hay asistentes de voz, software de dictado, ni forma de que las computadoras entiendan la palabra hablada. Es como intentar navegar por una ciudad sin señales de tráfico ni mapas.

Este artículo presenta BaltiVoice, un proyecto diseñado para construir ese primer mapa.

El Problema: Un Idioma en la Oscuridad

El Balti es un idioma único con sus propios sonidos y gramática, escrito en un hermoso guion llamado Nastaliq (que se parece al urdu). A pesar de tener una gran comunidad de hablantes, ha sido completamente invisible para el mundo de la Inteligencia Artificial. Si intentaras pedirle a una computadora inteligente que "escuchara" Balti antes de este proyecto, sería como pedirle a un perro que lea un libro; la computadora simplemente adivinaría al azar, equivocándose en casi todo.

La Solución: Construyendo un Gimnasio de Entrenamiento

Para enseñar a una computadora a hablar un idioma, necesitas mostrarle miles de ejemplos de personas hablándolo. El autor, Muhammad Ali, acudió a un proyecto de comunidad en línea masivo llamado Mozilla Common Voice. Piensa en esto como una cabina de grabación global donde voluntarios leen frases en voz alta.

• La Colección: Ali reunió 16,8 horas de habla grabada.
• El Volumen: Esto equivale a 10.060 frases pronunciadas por 136 personas diferentes.
• La Validación: Al igual que un profesor calificando la tarea, otros voluntarios revisaron estas grabaciones para asegurarse de que fueran correctas.

Esta colección ahora se llama el corpus BaltiVoice. Es el primer "libro de texto" público para enseñar a las computadoras sobre el idioma Balti.

El Maestro: Whisper y el Truco del "Urdu"

El autor no construyó un cerebro de computadora desde cero. En su lugar, utilizó un modelo de IA preexistente y muy inteligente llamado Whisper (específicamente la versión "small").

Imagina a Whisper como un estudiante políglota que ya ha estudiado 99 idiomas (como el inglés, el español y el mandarín) durante miles de horas. Sin embargo, este estudiante nunca ha escuchado Balti antes. Si le pidieras a este estudiante que escuchara Balti ahora mismo, alucinaría tonterías, equivocándose en un 182% de las palabras (lo que significa que está inventando palabras que ni siquiera se dijeron).

Para solucionar esto, el autor utilizó un trucción astuta:

• La Analogía: Dado que el Balti se escribe en el guion Nastaliq (que es muy similar al urdu), el autor le dijo a la IA: "Oye, finge que esto es urdu por un momento".
• El Entrenamiento: La IA fue entonces "ajustada" (fine-tuned). Esto es como tomar a ese estudiante políglota y darle un curso intensivo utilizando las 16,8 horas de grabaciones de Balti. El estudiante tenía que escuchar, leer el texto y aprender los sonidos específicos del Balti.

Los Resultados: Del Caos a la Claridad

Después de aproximadamente 2 horas de entrenamiento en una computadora estándar, los resultados fueron dramáticos:

1. Antes del Entrenamiento: La IA estaba adivinando locamente (tasa de error del 182%). Básicamente, estaba inventando cosas.
2. Después del Entrenamiento: Los errores de la IA cayeron al 30%.

¿Qué significa una tasa de error del 30%?
Imagina que la IA escucha una frase. Si la frase tiene 10 palabras, la IA acertará unas 7 y fallará en 3.

• ¿Es perfecto? No. No es lo suficientemente bueno todavía para la dictación de un médico o una transcripción legal donde cada palabra debe ser exacta.
• ¿Es útil? Sí. Demuestra que el idioma puede ser entendido por las máquinas. Es la diferencia entre una persona ciega tropezando en la oscuridad y una persona que ahora puede ver una tenue luz en el horizonte.

Por Qué Esto Importa

El artículo enfatiza que esto no se trata solo de obtener una puntuación alta; se trata de iniciar la conversación.

• La Línea de Base: Antes de esto, no había forma de medir el progreso. Ahora, los investigadores tienen una "línea de salida" desde la cual correr.
• El Futuro: El autor espera que este "gimnasio" de código abierto (los datos y el modelo entrenado) permita que otros científicos entren, realicen más entrenamiento y, eventualmente, reduzcan esa tasa de error.

La Conclusión

Este artículo es un paso fundacional. Tomó un idioma que era invisible para la IA, construyó una pequeña biblioteca de ejemplos hablados y enseñó a una computadora inteligente cómo escucharlo. Aunque la computadora todavía comete errores (aproximadamente una palabra de cada tres), ha pasado de la "confusión total" al "entendimiento de lo básico", abriendo la puerta a futuras herramientas que podrían ayudar a los hablantes de Balti a interactuar con la tecnología en su propio idioma.

Resumen técnico

Resumen Técnico: BaltiVoice

Planteamiento del Problema
El idioma Balti (ISO 639-3: bft), hablado por aproximadamente 400,000 personas en Gilgit-Baltistán, Pakistán, y partes de Ladakh, India, ha estado históricamente ausente en la investigación de Procesamiento de Lenguaje Natural (NLP) y Reconocimiento Automático del Habla (ASR). A pesar de ser un idioma tibético con una fonología y gramática distintivas, y escrito en un script basado en Nastaliq adaptado del urdu, no existían recursos de ASR públicamente disponibles, corpus de habla anotados ni sistemas de referencia para el idioma. En consecuencia, los hablantes carecen de acceso a interfaces de voz, software de dictado y herramientas de accesibilidad en su lengua materna, y los investigadores no tienen una métrica para medir el progreso en el ASR del Balti.

Metodología
Para abordar esta brecha, los autores desarrollaron BaltiVoice, un pipeline para la recolección de datos, preprocesamiento y ajuste fino (fine-tuning) del modelo:

• Construcción del Conjunto de Datos: El corpus se derivó del subconjunto de Balti de Mozilla Common Voice. Los autores utilizaron 10,060 enunciados validados (de un total de 10,547 clips grabados), sumando 16.8 horas de habla. Los datos consisten en grabaciones de habla leída en el script nativo Nastaliq.

  • Preprocesamiento: Los archivos de audio se convirtieron de MP3 a formato WAV mono de 16 kHz. Se filtraron los enunciados con menos de dos palabras.
  • División (Splitting): Se aplicó una división estricta de hablantes disjuntos utilizando GroupShuffleSplit (semilla 42) para asegurar que no hubiera superposición entre los hablantes en los conjuntos de entrenamiento y validación. Esto resultó en 9,519 enunciados de entrenamiento (122 hablantes) y 538 enunciados de validación (14 hablantes).
  • Normalización: No se aplicó normalización de texto; la puntuación se preservó tal como fue proporcionada. Los autores señalaron una limitación respecto a la ambigüedad de Unicode en el script Nastaliq (por ejemplo, diferentes codepuntos para caracteres visualmente idénticos), pero pospusieron la normalización sistemática para trabajos futuros.

• Arquitectura del Modelo y Entrenamiento:

  • Modelo Base: Se seleccionó la variante Whisper-small (244 millones de parámetros) de OpenAI. Se eligió sobre variantes más grandes (por ejemplo, Whisper-medium) debido a las restricciones de memoria de la GPU NVIDIA T4 utilizada para el entrenamiento.
  • Tokenización: El tokenizador se inicializó con language="urdu" y task="transcribe". Esta elección fue motivada por la similitud de script entre el Balti y el urdu (ambos usan Nastaliq), lo que permite al modelo manejar correctamente los caracteres Unicode de Balti sin pérdida de caracteres durante la tokenización de ida y vuelta.
  • Ajuste Fino (Fine-tuning): El modelo fue ajustado utilizando el Seq2SeqTrainer de HuggingFace Transformers con el optimizador AdamW, una tasa de aprendizaje de $1 \times 10^{-5}$ y precisión fp16. El entrenamiento se ejecutó durante 1,000 pasos con 16.8 horas de datos, guardando checkpoints cada 250 pasos.

Contribuciones Clave
El artículo presenta tres artefactos principales, todos lanzados públicamente en HuggingFace y GitHub:

1. Corpus BaltiVoice: Un corpus de habla leída de 16.8 horas y 10,060 enunciados con transcripciones en Nastaliq nativo, lanzado bajo CC0.
2. Whisper-small-balti: Un modelo de ASR ajustado específicamente para el idioma Balti.
3. Pipeline Reproducible: Código de entrenamiento completo, un cuaderno de Colab y una demo de Gradio en vivo para la transcripción.

Resultados
El modelo ajustado demostró una mejora significativa sobre la línea base de cero disparos (zero-shot):

• Línea Base Zero-Shot: Al aplicarse al Balti sin ajuste fino, Whisper-small produjo una Tasa de Error de Palabra (WER) del 182.18%. Los autores señalan que una WER superior al 100% indica que el modelo está alucinando palabras no presentes en la referencia, confirmando que el Balti se encuentra totalmente fuera de la distribución de preentrenamiento del modelo.
• Desempeño del Modelo Ajustado: Tras 1,000 pasos de entrenamiento, el modelo alcanzó una WER del 30.07% en el conjunto de validación retenido.
• Análisis de Errores: El análisis cualitativo sugiere que la mayoría de los errores son sustituciones de un solo carácter al final de las palabras, lo cual es consistente con el hecho de que el modelo está aprendiendo patrones léxicos pero tiene dificultades con las complejidades morfológicas de la lengua aglutinante. Los errores de eliminación o inserción de palabras completas fueron menos frecuentes.

Significancia y Reivindicaciones
Los autores enmarcan la significancia de este trabajo como el establecimiento de un punto de partida medible para un idioma que anteriormente no tenía ninguno.

• Establecimiento de la Línea Base: El objetivo principal es proporcionar una línea base reproducible para acelerar la investigación futura en NLP para el Balti.
• Viabilidad de la Transferencia de Bajos Recursos: La reducción de la WER del 182% al 30% utilizando solo 16.8 horas de datos sugiere que la transferencia translingüística desde lenguas relacionadas (específicamente el urdu y el tibetano, que comparten script y características fonológicas) es efectiva incluso para idiomas ausentes en la distribución de preentrenamiento.
• Expectativas Modestas: Los autores afirman explícitamente que una WER del 30% es "demasiado alta para dictado" o herramientas de accesibilidad general, ya que requiere corregir aproximadamente una de cada tres palabras. Sin embargo, argumentan que el resultado puede ser utilizable para tareas más estrechas como la detección de palabras clave o la detección de temas donde la transcripción exacta no es crítica.
• Direcciones Futuras: El artículo identifica caminos claros para la mejora, incluyendo la normalización de texto para la morfología del Balti, la expansión del corpus con habla espontánea (conversacional) y la experimentación con variantes de modelos más grandes (por ejemplo, Whisper-medium) bajo presupuestos de cómputo mayores.

El artículo concluye enfatizando la liberación de todos los artefactos para reducir las barreras para la investigación futura, mientras reconoce limitaciones como el uso de datos de habla leída en lugar de conversación espontánea.