Speech Representation System For The Karakalpak Automatic Speech Recognition

Resumen Técnico: Sistema de Representación de Voz para el Reconocimiento Automático del Habla en Karakalpak

Planteamiento del Problema
El Reconocimiento Automático del Habla (ASR) ha avanzado significativamente para lenguas de altos recursos mediante arquitecturas neuronales de extremo a extremo (E2E). Sin embargo, el desarrollo de sistemas de ASR fiables para lenguas de bajos recursos sigue siendo un desafío crítico debido al alto coste y la dificultad de recopilar y verificar datos de habla etiquetados. El karakalpak, una lengua túrquica hablada principalmente en la República de Karakalpakstán (Uzbekistán), enfrenta estas limitaciones específicas. Sus características lingüísticas —específicamente la morfología aglutinante, la armonía vocálica y el orden de la oración sujeto-objeto-verbo— dan lugar a formas de palabras largas y una rica inflexión, lo que crea numerosas variantes superficiales a partir de un único lexema. Históricamente, el karakalpak ha carecido de recursos tecnológicos de voz abiertos, lo que dificulta la evaluación comparativa o el entrenamiento de modelos robustos. Además, el uso de los alfabetos latino y cirílico en el idioma requiere una normalización estricta del texto para garantizar una evaluación consistente.

Metodología
Los autores proponen un sistema de ASR para el karakalpak basado en representaciones de habla multilingües autosupervisadas, adaptando específicamente la arquitectura wav2vec 2.0 XLS-R. La metodología sigue un flujo de trabajo diseñado para escenarios de bajos recursos:

1. Conjunto de Datos (Karakalpak Speech Corpus - KSC): El núcleo del estudio es el KSC, un conjunto de datos de referencia disponible públicamente, recopilado por los autores y publicado a través de Mendeley Data. Contiene aproximadamente 50 horas de habla predominantemente leída de 25 hablantes nativos. El conjunto de datos incluye archivos WAV (16 kHz, 16-bit PCM) y transcripciones verificadas manualmente en la ortografía latina estándar del karakalpak. Crucialmente, el conjunto de datos se divide en conjuntos de entrenamiento, validación y prueba de manera independiente al hablante para evitar la fuga de datos.
2. Arquitectura del Modelo: El sistema utiliza el modelo XLS-R, que consta de un codificador de características (capas convolucionales temporales), una red de contexto (bloques Transformer) y un módulo de cuantización utilizado durante el preentrenamiento. Para la tarea del karakalpak, el modelo XLS-R preentrenado se ajusta mediante una capa de proyección lineal inicializada aleatoriamente sobre la red de contexto para predecir tokens de caracteres. El modelo se optimiza utilizando la pérdida de Clasificación Temporal Conectivista (CTC).
3. Configuraciones de Entrenamiento: Para analizar el impacto de la escasez de datos, los autores realizaron experimentos utilizando tres configuraciones de datos etiquetados:
   • Configuración de 50 horas: Porción completa de entrenamiento del KSC.
   • Configuración de 10 horas: Un subconjunto equilibrado de hablantes.
   • Configuración de 1 hora: Un subconjunto más pequeño y equilibrado por hablante que simula condiciones de ultra-bajo recurso.
     Los hiperparámetros, incluyendo las tasas de aprendizaje y las actualizaciones máximas, se ajustaron en función del volumen de datos.
4. Decodificación y Modelado de Lenguaje: Para abordar los desafíos de la morfología aglutinante y la confusión acústica, los autores integraron modelos de lenguaje de n-gramas a nivel de palabra (trigrama, 4-grama y 5-grama) entrenados mediante KenLM. Se probaron dos variantes de modelos de lenguaje:
   • LM1: Entrenado exclusivamente con textos de transcripción del KSC.
   • LM2: Entrenado con textos del KSC más recursos de texto adicionales en karakalpak (noticias, materiales educativos, etc.).
     La decodificación se realizó mediante una combinación de puntuaciones del modelo acústico, restricciones de léxico y probabilidades del modelo de lenguaje.

Contribuciones Clave
El artículo realiza las siguientes contribuciones específicas al campo del ASR de bajos recursos:

• Desarrollo del Sistema: La presentación de un sistema de ASR funcional para el karakalpak que utiliza representaciones autosupervisadas multilingües.
• Utilización de Conjuntos de Datos: El entrenamiento y ajuste del modelo wav2vec 2.0 XLS-R específico para el karakalpak sobre el nuevo corpus de habla de karakalpak (KSC) publicado por los autores, estableciendo una base reproducible.
• Análisis de Escasez de Datos: Una evaluación sistemática de la calidad del reconocimiento a través de diferentes cantidades de datos etiquetados (1h, 10h, 50h) para determinar el umbral mínimo de datos viables para un rendimiento fiable.
• Integración de Modelos de Lenguaje: La aplicación de modelos de lenguaje de n-gramas a nivel de palabra para mejorar la decodificación en entornos de bajos recursos, demostrando su eficacia para reducir errores en lenguas aglutinantes.
• Análisis de Errores: Un desglose detallado de los errores de reconocimiento en categorías de sustitución, inserción y eliminación, proporcionando información sobre los modos de fallo específicos del sistema bajo diferentes condiciones de datos y dominios.

Resultados
Los experimentos arrojaron los siguientes indicadores de rendimiento en un conjunto de prueba no utilizado para el entrenamiento:

• Rendimiento Base: El modelo XLS-R entrenado con 50 horas de KSC logró una Tasa de Error de Palabra (WER) del 21,10% y una Tasa de Error de Carácter (CER) del 4,32% sin un modelo de lenguaje externo.
• Impacto del Volumen de Datos: Como era de esperar, el rendimiento mejoró con el aumento de los datos etiquetados. La configuración de 1 hora resultó en un WER del 47,15%, mientras que la configuración de 10 horas alcanzó un WER del 29,42%.
• Impacto de los Modelos de Lenguaje: La integración de modelos de lenguaje redujo consistentemente las tasas de error.
  • Usando LM1 (solo texto de KSC), el WER del modelo de 50 horas descendió al 18,92% (con un modelo de 5-gramas y top-k=20.000).
  • Usando LM2 (KSC + texto adicional), el rendimiento mejoró aún más hasta alcanzar un WER de 17,86% y un CER de 3,82% para la configuración de 50 horas.
• Evaluación Fuera de Dominio (OOD): Al ser probado en un conjunto de datos OOD (noticias, educación, medios públicos), el modelo de 50 horas sin modelo de lenguaje tuvo un WER del 38,40%. Con LM2, este mejoró significamente a un WER de 32,10%, indicando que los corpus de texto más amplios ayudan a generalizar a diferentes estilos y temas de habla.
• Distribución de Errores: Los errores de sustitución fueron el tipo de error dominante en todas las configuraciones, atribuidos a sufijos acústicamente similares y una morfología rica. El modelo de lenguaje redujo eficazmente los errores de sustitución e inserción, aunque las eliminaciones siguieron siendo sensibles a la calidad del audio y la velocidad del habla.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un paso fundacional hacia la inclusión digital y la preservación de la lengua para el karakalpak. El artículo afirma que el conjunto de datos KSC proporciona una base necesaria, transparente y reproducible para la investigación de ASR en karakalpak, alejando el campo de las colecciones de audio informales hacia estándares de referencia.

El estudio demuestra que las representaciones multilingües autosupervisadas (XLS-R) son efectivas para las lenguas túrquicas de bajos recursos, incluso con datos etiquetados limitados. Los autores concluyen modestamente que, si bien el WER del 21,10% sirve como punto de referencia, las mejoras futuras dependen de corpus de texto verificados más grandes, modelos de lenguaje con un dominio más ajustado, la inclusión de habla espontánea y una normalización cuidadosa de las variantes de escritura. El trabajo establece una base para investigaciones futuras, sugiriendo que el conjunto de datos recopilado puede apoyar la expansión de los corpus de entrenamiento mediante la corrección de humano en el bucle (human-in-the-loop) y que el proceso propuesto es viable para tareas derivadas como el análisis de hablantes y la identificación de lenguas.