💬 NLP

From a Multilingual Streaming ASR Backbone to Kenyan-Language Systems: Data-Centric Adaptation of Nemotron 3.5 for Kikuyu, Dholuo, and Kalenjin

Este artículo presenta un estudio de ingeniería exhaustivo sobre la adaptación del modelo ASR de transmisión de NVIDIA Nemotron 3.5 a los idiomas kikuyu, dholuo y kalenjin mediante estrategias centradas en los datos, tales como la auditoría y normalización de corpus, logrando métricas específicas de WER y CER mientras se informan de manera transparente los desafíos, los hallazgos negativos y la ausencia de reclamos de estado del arte debido a protocolos de evaluación no estandarizados.

Autores originales: Mark Gatere

Publicado 2026-07-22

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mark Gatere

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot superinteligente a escuchar al mundo. Este robot, llamémoslo "Nemotron", ya es un experto en entender muchos idiomas, pero está más acostumbrado a los grandes y populares. Ahora, imagina que quieres enseñarle tres idiomas específicos que se hablan en Kenia: kikuyu, dholuo y kalenjin. Este es el mundo del Reconocimiento Automático del Habla (ASR). Piensa en el ASR como el "oído" y el "cerebro" del robot trabajando juntos para convertir ondas sonoras en palabras escritas.

Pero aquí está la parte difícil: enseñarle un nuevo idioma a un robot no es solo ponerle algunas canciones. Es como intentar enseñarle una nueva receta a un chef cuando los ingredientes están desordenados, las instrucciones están escritas en un código que no entiendes del todo y algunas herramientas de cocina faltan. En el mundo de la IA, esto se llama el problema de los "bajos recursos". No significa solo que no haya suficiente audio; significa que el audio puede tener errores ortográficos extraños, partes faltantes o ruidos de fondo confusos que dificultan que el robot distinga entre una palabra real y un fallo.

Este artículo es la historia de cómo un equipo de ingenieros tomó a ese robot superinteligente, le dio una "lección de puente" usando un idioma relacionado, y luego intentó enseñarle estos tres idiomas kenianos. No solo querían que entendiera las palabras; querían que escuchara en tiempo real, como un humano charlando por teléfono, en lugar de esperar hasta que termine toda la conversación para escribirla. Es un relato de trabajo de detective de datos, de arreglar instrucciones rotas y de ver qué tan lejos puede llegar un robot cuando le das las herramientas adecuadas y la cantidad de paciencia necesaria.

La historia del Proyecto de Lenguas Kenianas

El artículo, escrito por Mark Gatere de C-elo Labs, es esencialmente un diario de ingeniería. Documenta el viaje de adaptar un modelo de IA masivo y preentrenado (Nemotron 3.5) para entender el kikuyu, el dholuo y el kalenjin. El equipo no empezó desde cero; empezaron con un "puente". Tomaron una versión del robot que ya había aprendido el suajili de Kenia y la usaron como punto de partida. Piensa en esto como aprender italiano si ya sabes español: la gramática y el vocabulario son lo suficientemente cercanos como para tener una gran ventaja, incluso si los dos idiomas no son gemelos idénticos.

El trabajo de detective: Limpieza de datos
Antes de que el robot pudiera aprender, el equipo tuvo que actuar como detectives de datos. Los archivos de audio originales que encontraron eran desordenados. Algunos tenían audio faltante, otros tenían transcripciones con símbolos extraños (como escribir "pausa larga" en lugar de silencio) y algunos tenían una ortografía que no coincidía con los sonidos reales.

El dilema de "Eliminar vs. Corregir": El equipo se enfrentó a una decisión difícil. Si una transcripción tenía un símbolo extraño, ¿deberían intentar adivinar qué significaba y corregirlo, o simplemente desechar toda la grabación? Decidieron que adivinar era demasiado peligroso. Si no estaban 100% seguros de lo que el hablante dijo, eliminaban la fila. Es como un chef que tira un pastel si no está seguro de si el ingrediente era azúcar o sal, en lugar de arriesgarse a un mal sabor. Esto significó que perdieron algunos datos, pero los que conservaron eran confiables.
El problema de los "Marcadores": En los datos de kalenjin, descubrieron que las grabaciones tenían pequeñas notas escritas en el texto como [pausa] o [cs] (cambio de código). ¡El robot estaba intentando decir "pausa" en voz alta! El equipo tuvo que eliminar estas notas por completo para que el robot aprendiera a reconocer el silencio y el cambio de idioma, no las palabras que los describen.

El entrenamiento: Un maratón, no un sprint
Una vez que los datos estuvieron limpios, comenzaron el entrenamiento. No entrenaron al robot una sola vez; lo hicieron en etapas, como subir de nivel en un videojuego.

Ajuste de parámetros completos (Full-Parameter Tuning): En lugar de solo retocar algunos ajustes, permitieron que el robot reaprendiera casi todo sobre cómo procesa el sonido para estos idiomas específicos.
Modo de transmisión (Streaming Mode): Crucialmente, mantuvieron al robot en modo de "transmisión". Esto significa que el robot tiene que adivinar las palabras a medida que llega el sonido, por fragmentos, sin esperar al final de la frase. Es como intentar transcribir una transmisión de radio en vivo frente a leer un libro terminado. Esto es mucho más difícil pero mucho más útil para aplicaciones de la vida real.

Los resultados: ¿Qué tan bien lo hicieron?
El artículo es muy honesto sobre lo que funcionó y lo que no. No afirma haber "resuelto" estos idiomas, pero muestra un progreso masivo.

Kikuyu: El robot se volvió muy bueno. Después de toda la limpieza y el entrenamiento, logró una Tasa de Error de Palabra (WER) del 42.97%. En lenguaje sencillo, esto significa que si el robot escuchó 100 palabras, acertó unas 57 de ellas. Es una mejora enorme desde donde empezaron. También midieron una "Tasa de Error de Caracteres sin Espacios" del 7.79%, que es una forma elegante de decir que, incluso si se equivocó en los límites de las palabras (como escribir "in ya" en lugar de "inya"), las letras reales eran mayormente correctas.
Dholuo: Este funcionó aún mejor, con una WER del 33.98%. El robot cometió menos errores aquí, acertando aproximadamente dos tercios de las palabras.
Kalenjin: Este todavía es un "trabajo en progreso". El robot obtuvo una WER del 68.74% en un conjunto de prueba filtrado. Esta es una tasa de error alta, lo que significa que el robot todavía tiene dificultades. Los autores explican que este puntaje es un resultado "diagnóstico", no uno final, porque tuvieron que ser muy estrictos con los datos en los que probaron (eliminando cualquier cosa con números o frases cortas). Todavía están descubriendo la mejor manera de enseñar este idioma.

Lo que el artículo no afirma
Los autores son muy cuidadosos de no exagerar sus resultados.

No hay reclamo de "Estado del Arte": Explícitamente dicen que aún no son los mejores del mundo. No han comparado su robot con todos los demás robots del planeta usando exactamente la misma prueba. Sus números son internos, lo que significa que son excelentes para rastrear su propio progreso, pero no son una calificación final para todo el mundo.
El misterio del "Puente": Usaron un modelo de suajili keniano como punto de partida, pero admiten que no demostraron que esto fuera mejor que empezar con el robot original sin entrenar. Fue una suposición inteligente que funcionó, pero no realizaron una prueba comparativa para demostrar que era la única forma.
La prueba "Repetida": Usaron los mismos datos de prueba una y otra vez para guiar sus decisiones. Aunque no dejaron que el robot "viera" las respuestas durante el entrenamiento, observaron los resultados para decidir cuándo detenerse. Esto significa que los puntajes podrían ser ligeramente optimistas porque el equipo llegó a conocer demasiado bien las preguntas de la prueba.

La prueba del mundo real
El equipo no se detuvo solo en los números. Construyeron un prototipo de sistema donde un usuario podía hablar con el robot a través de un navegador web, y el robot escribía de vuelta en tiempo real. Se aseguraron de que el robot estuviera aislado para que, si la versión de dholuo fallaba, no hiciera colapsar la versión de kikuyu. También configuraron la seguridad para que solo los usuarios con sesión iniciada pudieran acceder al servicio, protegiendo el "cereño" del robot de ser robado.

La conclusión
Este artículo es una clase magistral de IA "centrada en los datos". Demuestra que tener un modelo de robot potente no es suficiente; tienes que ser un editor meticuloso de los datos que le alimentas. Al limpiar las transcripciones, eliminar las "notas" confusas y entrenar al robot para escuchar en tiempo real, convirtieron una IA de propósito general en una herramienta especializada para los idiomas kenianos.

Para el kikuyu y el dholuo, tienen un sistema vivo y funcional que es lo suficientemente bueno como para ser útil. Para el kalenjin, tienen una hoja de ruta de lo que aún está roto y cómo arreglarlo. La lección más grande no es solo sobre estos tres idiomas; es que para los idiomas de bajos recursos, la fórmula secreta no es solo computadoras más grandes, sino una mejor higiene de datos y un proceso de ingeniería cuidadoso y paso a paso. El robot está aprendiendo, pero está aprendiendo porque los humanos hicieron el trabajo duro de limpiar el desorden primero.

Resumen Técnico: Adaptación de Nemotron 3.5 centrada en los datos para lenguas kenianas

Planteamiento del problema

El Reconocimiento Automático del Habla (ASR) para lenguas africanas enfrenta restricciones que van más allá de la simple escasez de datos. El artículo identifica un conjunto más amplio de desafíos operativos: inconsistencia ortográfica, artefactos de anotación (por ejemplo, marcadores de no-habla tratados como texto), objetos de audio faltantes, desequilibrios de hablantes y dominios, y procedimientos de evaluación que divergen de las realidades de despliegue. Específicamente, los autores abordan la necesidad de adaptar un modelo base de ASR multilingüe y de transmisión (streaming) a kikuyu, dholuo y kalenjin, manteniendo capacidades de streaming reales (baja latencia, inferencia con estado) en lugar de depender de modelos codificador-decodificador fuera de línea (offline). El estudio cuestiona si un modelo multilingüe grande puede ser adaptado, evaluado y servido exitosamente como un sistema de streaming bajo restricciones realistas de curación de datos e infraestructura.

Metodología

Arquitectura del sistema y modelo base

El estudio utiliza NVIDIA Nemotron 3.5 ASR Streaming 0.6B como base. La arquitectura es un FastConformer RNN-T (Transductor de Redes Neuronales Recurrentes) que presenta:

Un codificador consciente de la caché de 24 capas (dimensión 1024).
Un identificador de lenguaje de un solo bit (one-hot) de 128 dimensiones.
Un vocabulario SentencePiece de 13,087 unidades.
Mecanismo de Streaming: El modelo utiliza atención consciente de la caché con una configuración de contexto de [56, 13] (56 unidades de contexto a la izquierda, 13 unidades a la derecha), lo que permite la inferencia con estado a través de fragmentos de audio sin la recomputación completa del prefijo.

Estrategia de adaptación

En lugar de adaptarse directamente desde la base original de NVIDIA, los autores inicializan desde un punto de control puente adaptado al suajili de Kenia (publicado por Tony Kipkemboi). Este "puente" se trata como un punto de inicialización para aprovechar entornos acústicos, nombres y patrones de alternancia de código (code-switching) compartidos comunes en el habla keniana, en lugar de como un maestro léxico.

Ajuste fino (Fine-Tuning): Se realiza un ajuste fino de todos los parámetros sobre pares de audio-transcripción de la lengua objetivo.
Prompting: El prompt de lenguaje permanece como sw-KE (suajili-Kenia) durante todo el entrenamiento; la lengua objetivo se aprende a través de los datos supervisados y las actualizaciones de parámetros, no mediante el cambio del prompt.
Protocolo de entrenamiento: El proceso implica una continuación por etapas, donde un punto de control seleccionado de una etapa inicializa la siguiente. Los hiperparámetros incluyen la optimización AdamW con una tasa de aprendizaje baja ( $5 \times 10^{-7}$ ) y el loteo basado en duración.

Curación y gobernanza de datos

Una parte significativa del trabajo se centra en la forense de datos y la curación específica de la lengua utilizando conjuntos de datos de African Next Voices (ANV).

Pipeline: Un pipeline determinista gestiona la decodificación de audio, el filtrado de duración y la normalización de texto. Se descartan las filas con audio faltante, transcripciones vacías o caracteres de reemplazo Unicode no resueltos.
Decisiones específicas de la lengua:
- Kikuyu: Normalización ortográfica estricta para vocales contrastivas (por ejemplo, ˜ı, ˜u), rechazando filas con mapeos de caracteres inciertos.
- Dholuo: Se mantuvo una política de etiqueta "histórica congelada" donde el token cs (marcador de alternancia de código) no fue eliminado de las referencias, permitiendo una comparación controlada dentro de ese linaje específico.
- Kalenjin: Limpieza iterativa de clean-v1 a clean-v3. Esto implicó la eliminación de envoltorios de anotación ([cs], (pause)) y, en clean-v3, la exclusión de filas que contienen frases literales como "long pause", dígitos o menos de tres tokens para evitar la sobregeneración de enunciados cortos.
Integridad de la división (Split): Los autores enfatizan la separación estricta de los conjuntos de entrenamiento, validación y prueba. Se aplicó una corrección a las divisiones de Kalenjin para asegurar que el conjunto de validación no contuviera filas de origen de prueba, un fallo presente en ejecuciones experimentales anteriores.

Protocolo de evaluación

El estudio distingue entre validación del entrenador (evaluación fuera de línea de enunciado completo utilizada para la selección de puntos de control) y evaluación de streaming real.

Streaming Real: El evaluador interno imita el despliegue procesando audio en fragmentos limitados, transportando cachés del codificador y el estado del decodificador, y emitiendo hipótesis parciales.
Métricas: Tasa de Error de Palabra (WER), Tasa de Error de Carácter (CER) y CER Sin Espacios (NS-CER), que elimina los espacios para dar cuenta de las inconsistencias de los límites morfológicos en lenguas aglutinantes.
Estado de exclusión (Held-Out): Los conjuntos de prueba nunca se usaron para actualizaciones de gradiente, pero se consultaron de forma adaptativa durante la selección del modelo. Los autores declaran explícitamente que estos son diagnósticos internos, no benchmarks de un solo paso prístinos.

Resultados Clave

Kikuyu

Estado: Caso de estudio de ingeniería completado con un despliegue de streaming en vivo.
Rendimiento: El modelo campeón (v13) logró un 42.97% de WER y un 7.79% de NS-CER en el conjunto de prueba de streaming real interno.
Trayectoria: Se observaron mejoras significativas mediante la continuación por etapas y la curación ortográfica, reduciendo el WER en más de 10 puntos porcentuales respecto a la línea base inicial filtrada.

Dholuo

Estado: Caso de estudio de ingeniería completado con un despliegue de streaming en vivo.
Rendimiento: El modelo campeón (v7) logró un 33.98% de WER, 9.59% de CER y 8.13% de NS-CER.
Nota: Estos resultados están bajo una política de "histórica congelada" donde el token cs permaneció en las referencias. Los autores advierten que estos puntajes no son directamente comparables con sistemas que utilizan una política de normalización diferente.

Kalenjin

Estado: Caso de estudio de investigación en curso; aún no es un sistema de producción.
Rendimiento: El punto de control v1-v alcanzó un 68.74% de WER en un subconjunto diagnóstico filtrado clean-v3.
Advertencias: Este resultado es un "diagnóstico adaptativo" porque la selección del punto de control utilizó un manifiesto de validación de fuentes mixtas que contenía filas de origen de prueba. El alto índice de error refleja problemas residuales con la calidad del corpus, la sensibilidad de los límites y la sobregeneración de enunciados cortos.

Significado y Reivindicaciones

El artículo no reclama un rendimiento de estado del arte (SOTA) frente a leaderboards públicos (por ejemplo, PazaBench). Los autores declaran explícitamente que los resultados internos difieren de los benchmarks públicos en cuanto a audio, normalización y protocolos de evaluación.

En su lugar, la significancia del artículo reside en proporcionar una cuenta de ingeniería auditable y de extremo a extremo para la adaptación de un modelo de streaming multilingüe a lenguas de bajos recursos. Las contribuciones clave incluyen:

Adaptación centrada en los datos: Demostrar que la curación rigurosa de datos (eliminación de artefactos, corrección de ortografía, garantía de integridad de la división) es tan crítica como la arquitectura del modelo para el éxito en bajos recursos.
Fidelidad de Streaming: Probar que un RNN-T consciente de la caché puede adaptarse desde un punto de control puente a lenguas objetivo preservando el comportamiento de streaming real desde el entrenamiento hasta el despliegue.
Evidencia Negativa: Reportar fallos y limitaciones (por ejemplo, el fallo de selección de fuentes mixtas en Kalenjin, la sobregeneración de enunciados cortos y la insuficiencia del WER agregado) para evitar que trabajos futuros repitan estos errores.
Marco de Reproducibilidad: Definir un flujo de trabajo para la preservación de artefactos, la promoción de puntos de control y el despliegue aislado de servicios lingüísticos, incluyendo protocolos específicos para el manejo de resultados "negativos" y gobernanza de datos.

El trabajo concluye que el ASR de bajos recursos es un problema de supervisión válida, disciplina de evaluación y fidelidad de despliegue tanto como es un problema de escala de modelo. Ofrece un camino reproducible para pasar de experimentos de investigación a tecnología de voz interactiva sin abandonar la cautela científica.