Nw\=ach\=a Mun\=a: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR

Este trabajo presenta Nwāchā Munā, un corpus de voz en devanagari de 5,39 horas para el nepalí (Newari), y demuestra que la transferencia proximal desde el nepalí es una alternativa computacionalmente eficiente a los modelos multilingües masivos para el reconocimiento automático de voz en esta lengua en peligro.

Lo esencial

Imagina que el mundo de la Inteligencia Artificial (IA) es como una gran biblioteca gigante. En esta biblioteca, hay millones de libros en inglés, español o chino, llenos de historias, datos y conocimientos. Pero, si buscas libros en Nepal Bhasha (también conocida como Newari), un idioma hablado en el Valle de Katmandú, la estantería está casi vacía. De hecho, es como si el idioma estuviera "olvidado" digitalmente, a pesar de que más de 860,000 personas lo hablan.

Este paper, titulado "Nwāchā Munā" (que significa algo así como "Hablar y Escuchar"), es una historia de cómo un grupo de investigadores decidió llenar esos estantes vacíos y enseñar a la IA a entender este idioma olvidado.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: La IA no sabe hablar "Newari"

Para que una IA aprenda a entender el habla (como Siri o Google Assistant), necesita "escuchar" miles de horas de conversaciones reales. El problema es que para el Nepal Bhasha, no existían grabaciones transcritas (escritas) en su alfabeto original (Devanagari). Sin estos datos, la IA estaba ciega y sorda ante este idioma.

2. La Solución: Creando un "Gimnasio" de Datos

Los investigadores crearon algo llamado Nwāchā Munā.

• La analogía: Imagina que quieres entrenar a un atleta olímpico, pero no tienes un gimnasio. Primero, tuvieron que construir el gimnasio.
• Qué hicieron: Grabaron a 18 personas nativas (hombres y mujeres de diferentes edades) hablando durante 5.39 horas. No eran solo frases robóticas, sino conversaciones reales. Luego, transcribieron todo manualmente al alfabeto Devanagari. ¡Crearon el primer "gimnasio" digital para este idioma!

3. El Truco Maestro: ¿Enseñar desde cero o usar un "Primo"?

Aquí viene la parte más interesante. Normalmente, para entrenar a una IA, necesitas millones de datos. Pero aquí solo tenían 5 horas. ¿Qué hacer?

Los investigadores se preguntaron: "¿Podemos usar lo que la IA ya sabe sobre el idioma Nepalí (el idioma oficial de Nepal) para enseñarle el Nepal Bhasha?"

• La analogía: Imagina que el idioma Nepalí y el Nepal Bhasha son primos hermanos. Viven en la misma casa (el Valle de Katmandú), usan la misma ropa (el mismo alfabeto Devanagari) y se parecen mucho en cómo suenan.
• La estrategia: En lugar de intentar enseñar a la IA desde cero (que sería como intentar enseñar a un bebé a correr sin que nunca haya caminado), decidieron tomar un modelo de IA que ya era un "maratón" experto en Nepalí y simplemente le dieron un "entrenamiento de ajuste" para que aprendiera las diferencias sutiles de su primo, el Nepal Bhasha.

4. El Experimento: El Primo vs. El Gigante

Para ver si su idea funcionaba, hicieron una carrera contra dos oponentes:

1. El Gigante Multilingüe (Whisper): Una IA superpoderosa de la empresa OpenAI que ha escuchado miles de idiomas. Es como un genio que sabe todo, pero es enorme y lento.
2. El Primo Local (NepConformer): Su modelo entrenado específicamente en Nepalí y ajustado para Nepal Bhasha. Es más pequeño y ágil.

El resultado fue sorprendente:
El "Primo Local" (ajustado) ganó o empató con el "Gigante Multilingüe".

• La lección: No necesitas ser un gigante con millones de datos si tienes un "primo" cercano que ya sabe mucho. Usar el conocimiento de un idioma vecino es más eficiente y rápido que intentar que la IA aprenda todo desde cero.

5. El Secreto Extra: "Aumentar" la Realidad

Como tenían tan pocos datos (solo 5 horas), usaron un truco de magia llamado Aumento de Datos.

• La analogía: Imagina que tienes una foto de un perro y quieres que la IA aprenda a reconocerlo. En lugar de sacar 100 fotos nuevas, tomas la misma foto, la haces un poco más oscura, la estiras un poco, le cambias el volumen o le pones un poco de ruido de fondo. ¡Ahora tienes 5 versiones diferentes de la misma foto!
• Hicieron esto con las voces: cambiaron la velocidad, el tono y añadieron ruido. Esto engañó a la IA para que pensara que había escuchado muchas más horas de conversación, mejorando su aprendizaje drásticamente.

6. ¿Qué pasó con los errores?

Aunque la IA mejoró mucho, todavía comete errores.

• El problema: El Nepal Bhasha es un idioma muy "pegajoso" (aglutinante). Las palabras se unen como bloques de Lego. A veces, la IA adivina bien las letras individuales, pero se confunde al unir los bloques.
• El detalle: Se confunden mucho con los "acento" o puntos diacríticos (como la nasalización o el sonido de la 'h' aspirada). Es como si la IA supiera las letras, pero a veces olvidara poner la tilde o el punto que cambia el significado de la palabra.

Conclusión: ¿Por qué importa esto?

Este trabajo es como dar una llave digital a una comunidad que estaba cerrada fuera de la era moderna.

1. Preservación: Ayuda a salvar un idioma en peligro de extinción dándole un lugar en el mundo digital.
2. Accesibilidad: Ahora, las personas que hablan Nepal Bhasha podrán usar asistentes de voz, dictar mensajes o interactuar con tecnología sin tener que aprender inglés o Nepalí.
3. El futuro: Demuestra que para salvar idiomas pequeños, no siempre necesitamos superordenadores gigantes. A veces, basta con mirar a nuestros "vecinos" lingüísticos y trabajar juntos.

En resumen: Crearon un diccionario de voz, usaron la inteligencia de un idioma hermano para enseñar a la máquina, y demostraron que con creatividad y datos locales, se puede cerrar la brecha digital incluso para los idiomas más olvidados.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Nwāchā Munā: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR", presentado en español:

1. Planteamiento del Problema

El idioma Nepal Bhasha (también conocido como Newari), hablado por más de 860.000 personas en el Valle de Katmandú, se encuentra en peligro de extinción y está digitalmente marginado. A pesar de su larga historia y su estatus como lengua oficial de trabajo en la provincia de Bagmati, carece de recursos de voz anotados suficientes para entrenar sistemas modernos de Reconocimiento Automático de Voz (ASR).

La brecha digital es crítica porque los modelos de ASR de última generación (basados en arquitecturas Transformer y Conformer) requieren grandes volúmenes de datos. Mientras que idiomas como el nepalí o el hindi tienen sistemas robustos, las lenguas indígenas como el Nepal Bhasha sufren de una escasez extrema de datos anotados, lo que impide su integración en tecnologías de IA. El objetivo principal es cerrar esta brecha desarrollando un corpus de voz y evaluando estrategias de aprendizaje para entornos de recursos ultra-bajos.

2. Metodología

A. Creación del Corpus "Nwāchā Munā"

Los autores han curado y liberado Nwāchā Munā, el primer corpus de voz anotado manualmente para Nepal Bhasha en escritura Devanagari.

• Datos: 5.39 horas de audio total con 5,727 enunciados.
• Origen: Datos recopilados mediante grabaciones de campo con 18 hablantes nativos (diversidad de edad y género en áreas como Banepa, Dhulikhel y Patan) y transcripción de audio web existente (transliterado de romanizado a Devanagari).
• Preprocesamiento: Se eliminaron tokens no objetivo y se estandarizó el audio a 16 kHz mono. El texto se procesó rigurosamente para mantener la ortografía Devanagari original.

B. Estrategias de Entrenamiento y Transferencia

El estudio investiga si la transferencia proximal (usar un idioma vecino geográfica y lingüísticamente, el nepalí) puede igualar el rendimiento de los modelos multilingües masivos. Se compararon tres enfoques principales:

1. Evaluación Zero-Shot: Uso directo de un modelo preentrenado en nepalí (NepConformer) sin fine-tuning en Newari.
2. Fine-Tuning Supervisado:
   • Fine-tuning completo: Ajuste de todo el modelo NepConformer.
   • Fine-tuning solo del decodificador: Congelación del codificador (encoder) para preservar características acústicas del nepalí y adaptar solo el decodificador al patrón lingüístico newari.
   • Fine-tuning de Whisper-Small: Ajuste de un modelo multilingüe masivo (244M parámetros) en el corpus newari.
3. Aumento de Datos: Se aplicaron técnicas de aumento estático (cambio de velocidad, volumen, ruido) y dinámico (estiramiento temporal, cambio de tono, ruido gaussiano) para expandir el conjunto de entrenamiento.
4. Modelado de Lenguaje: Se integró un modelo de lenguaje externo (KenLM de 5-gramas) mediante fusión superficial (shallow fusion) durante la decodificación para mejorar la coherencia léxica.
5. Aprendizaje Semi-supervisado: Se intentó usar pseudo-etiquetado con 13.65 horas de datos no etiquetados, pero esto degradó el rendimiento debido a la desalineación de dominio (ruido de fondo y variaciones no curadas).

3. Contribuciones Clave

1. Recurso Abierto: Liberación del corpus Nwāchā Munā (5.39 horas, Devanagari), llenando un vacío crítico de datos para la comunidad Newari.
2. Benchmark Comparativo: Primera comparación controlada entre la transferencia proximal (Nepalí → Newari) y el preentrenamiento multilingüe masivo (Whisper) en un escenario de recursos ultra-bajos.
3. Evidencia de Eficiencia: Demostración de que la transferencia proximal con preservación de la escritura (script-preserving) puede igualar el rendimiento de modelos masivos utilizando significativamente menos parámetros y recursos computacionales.

4. Resultados Principales

Los resultados se midieron utilizando la Tasa de Error de Caracteres (CER):

• Línea Base Zero-Shot: El modelo NepConformer sin entrenamiento previo en Newari tuvo un rendimiento muy pobre (52.54% CER), confirmando que, aunque comparten escritura, las diferencias fonológicas requieren ajuste.
• Fine-Tuning Efectivo:
  • El NepConformer ajustado con datos aumentados logró un 17.59% CER.
  • El modelo Whisper-Small ajustado con datos aumentados logró un 17.88% CER.
  • Ambos modelos alcanzaron un rendimiento casi idéntico, a pesar de que NepConformer es mucho más ligero y no tiene la base de datos masiva de Whisper.
• Análisis de Estrategias:
  • El fine-tuning solo del decodificador (18.77% CER) fue casi tan efectivo como el ajuste completo (18.72% CER), lo que sugiere que las características acústicas del codificador nepalí son lo suficientemente generalizables.
  • La fusión superficial con KenLM redujo la Tasa de Error de Palabras (WER) en un 11.7%, aunque aumentó ligeramente el CER (1.37%) debido a la preferencia del modelo por ortografías estándar sobre formas locales.
• Fracaso del Semi-supervisado: El uso de datos pseudo-etiquetados de fuentes de transmisión (radio/TV) sin curación estricta aumentó el error (19.83% CER), indicando que en lenguas en peligro, la alineación de dominio es más importante que la cantidad bruta de datos.

Análisis de Errores: Los errores principales no fueron en la identificación de caracteres individuales, sino en la segmentación morfológica y el modelado de diacríticos (como el halant, anusvara y visarga), lo cual es crucial en la estructura aglutinante del Newari.

5. Significado e Impacto

Este trabajo demuestra que para las lenguas minoritarias y en peligro de extinción en el sur de Asia, no es necesario depender exclusivamente de modelos multilingües masivos que requieren recursos computacionales enormes.

• Eficiencia Computacional: La transferencia proximal desde un idioma vecino (nepalí) es una alternativa viable y eficiente.
• Preservación Cultural: Al proporcionar un corpus en escritura Devanagari (en lugar de romanización), el proyecto respeta y estandariza la ortografía nativa, facilitando la creación de herramientas de voz que empoderen a la comunidad Newari.
• Hoja de Ruta: El estudio ofrece un "blueprint" escalable para otras lenguas subrepresentadas en la región, sugiriendo que la proximidad lingüística y la adaptación de modelos monolingües vecinos pueden superar las limitaciones de datos.

En conclusión, el proyecto Nwāchā Munā no solo provee datos, sino que valida una estrategia metodológica robusta para democratizar el acceso a la IA de voz en comunidades lingüísticas marginadas.