Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

Resumen Técnico: Sometin Beta Pass Notin (SBPN)

Enunciado del Problema
A pesar de la diversidad lingüística de Nigeria, con más de 500 idiomas, los sistemas modernos de Reconocimiento Automático del Habla (ASR) multilingües rinden consistentemente menos en los idiomas nigerianos en comparación con idiomas de alto recurso como el inglés y el francés. Los autores identifican varios obstáculos críticos: escasez aguda de datos, ortografía inconsistente, la necesidad de diacríticos tonales (en Yorùbá e Igbo), acentos diversos, cambios de código frecuentes y la presencia de entidades nomadas localizadas. Los conjuntos de datos existentes a menudo consisten en habla leída basada en plantillas predefinidas, fallando en generalizar a escenarios conversacionales de la vida real. Además, la dominancia de los idiomas de alto recurso en internet acelera la pérdida lingüística, creando una brecha digital que hace necesaria la creación de recursos especializados de ASR para garantizar la continuidad lingüística.

Metodología
El artículo introduce Sometin Beta Pass Notin (SBPN), un modelo fundacional de ASR multilingüe diseñado para cinco idiomas nigerianos específicos: Yorùbá, Hausa, Igbo, Pidgin nigeriano e Inglés nigeriano. El marco emplea un proceso de destilación en dos etapas:

1. Destilación de Conocimiento desde Profesores Monolingües:

   • Modelos Profesores: Los autores utilizaron modelos monolingües existentes de última generación (basados en arquitecturas como W2v-bert-2.0 y w2v-large-xlsr-53) como "profesores".
   • Fusión de Modelos de Lenguaje: Reconociendo que los modelos profesores basados en CTC luchan en regímenes de bajo recurso sin modelado de lenguaje, el equipo curó modelos de lenguaje N-grama a gran escala para cada uno de los cinco idiomas utilizando corpus de texto de fuentes como Common-Crawl-100 y repositorios específicos.
   • Etiquetado Pseudo: Los modelos profesores generaron etiquetas pseudo duras para datos de audio sin etiquetar. Crucialmente, estas etiquetas se refinaron mediante una fusión superficial de las predicciones del ASR con los modelos de lenguaje N-grama curados durante la inferencia (utilizando el decodificador Flashlight) para reducir las Tasas de Error de Palabra (WER).
   • Curación de Datos: El pipeline incluyó un procesamiento extensivo de audio: eliminación de ruido (MossFormer2), diarización de hablantes (Pyannote), detección de actividad de voz e identificación de idioma. Se aplicó una estrategia de normalización específica para el Pidgin nigeriano para manejar la ortografía no estándar y los homófonos agrupando palabras y seleccionando el token más probable basado en el LM N-grama.

2. Mejora Iterativa Propia:

   • El modelo estudiante multilingüe (SBPN) se entrenó primero en una combinación de datos de verdad fundamental y los datos etiquetados pseudo generados en la primera etapa.
   • Posteriormente, el modelo pasó por un bucle de mejora propia donde generó nuevas etiquetas pseudo más precisas para los datos sin etiquetar, las cuales se utilizaron luego para afinar aún más el modelo. Este proceso continuó hasta que la WER promedio se estabilizó.

Arquitectura del Modelo
Los modelos SBPN se basan en la arquitectura Transductor basado en Redes Neuronales Recurrentes (RNNT), que cuenta con un codificador Fast Conformer, una red de predicción basada en LSTM con estado y una red conjunta de alimentación directa. Una cabeza CTC auxiliar se adjunta al codificador para regularizar las características, lo cual es particularmente beneficioso al entrenar con datos pseudo etiquetados ruidosos. Los modelos se lanzan en dos tamaños:

• SBPN-Base: 120 millones de parámetros.
• SBPN-Large: 600 millones de parámetros.
  Ambos están diseñados para ejecutarse en CPUs durante la inferencia, haciéndolos accesibles para investigadores sin recursos de GPU a gran escala.

Contribuciones Clave

• Primer Modelo Fundacional Multilingüe para Idiomas Nigerianos: SBPN es el primer modelo capaz de transcribir con precisión tanto el habla leída como la conversación rápida en los cinco idiomas objetivo, mientras realiza identificación de idioma hablado (SLID).
• Modelos de Lenguaje N-grama Curados: Los autores crearon los primeros modelos de lenguaje N-grama a gran escala para estos cinco idiomas y demostraron su papel crítico en la mejora de la calidad de las etiquetas pseudo y el rendimiento general del ASR.
• Validación del Etiquetado Pseudo en Entornos de Bajo Recurso: El estudio demuestra que el etiquetado pseudo a gran escala, cuando se combina con destilación de conocimiento y fusión de modelos de lenguaje, mejora significativamente la precisión de reconocimiento para idiomas de bajo recurso, no solo para los de alto recurso.
• Lanzamiento Abierto: Los modelos (SBPN-Base y SBPN-Large) y sus puntos de control se lanzan como modelos fundacionales abiertos para facilitar más investigación sobre el paisaje fonético y cultural de la región.

Resultados

• Ganancia de Rendimiento: SBPN cierra significativamente la brecha de rendimiento, logrando una reducción relativa promedio del 29% en la Tasa de Error de Palabra (WER) sobre las líneas base monolingües.
• Comparación con Profesores: El modelo SBPN-Large superó a los modelos profesores monolingües (incluso aquellos fusionados con LM N-grama) en un promedio del 16% de reducción relativa de WER.
• Comparación con el Estado del Arte: Los modelos SBPN superaron a los modelos multilingües existentes de última generación (como AfriHuBERT, mHuBERT-147 y MMS-1B) en importantes puntos de referencia, incluidos Common Voice y Fleurs. Notablemente, el SBPN-Large de 600M parámetros superó en promedio a los modelos de miles de millones de parámetros para los idiomas nigerianos.
• Robustez: SBPN-Large demostró una estabilidad superior al transcribir habla conversacional rápida (hasta 2 veces la velocidad normal) en comparación con los profesores monolingües, cuyo rendimiento se degradó bruscamente con el aumento de las tasas de habla.
• Identificación de Idioma: Los modelos lograron puntuaciones F1 micro-promedio casi perfectas (100% para la mayoría de los idiomas) en la identificación del idioma hablado, superando a los modelos dedicados de identificación de idioma basados en audio y texto para el Inglés nigeriano y el Pidgin.
• Desafíos de los Diacríticos: Si bien el rendimiento mejoró, el artículo señala que predecir marcas diacríticas sigue siendo un desafío, particularmente para el Yorùbá, donde la brecha de WER entre las predicciones con y sin diacríticos sigue siendo significativa, aunque reducida en comparación con las líneas base.

Significado
El artículo afirma que SBPN representa un paso significativo hacia la contrarrestación de la brecha digital y la garantía de la continuidad lingüística para los idiomas nigerianos. Al demostrar que "profesores promedio" (modelos monolingües) pueden ser destilados en un "estudiante" superior (modelo multilingüe) mediante un riguroso etiquetado pseudo y fusión de modelos de lenguaje, el trabajo proporciona un marco escalable para el procesamiento de idiomas de bajo recurso. El lanzamiento de modelos amigables con CPU tiene como objetivo democratizar el acceso a la tecnología ASR para lingüistas e investigadores en la región, fomentando una mayor exploración de la rica diversidad fonética y cultural del área. Los autores reconocen modestamente que, aunque SBPN es un paso fundacional, queda un trabajo significativo por hacer para abordar la predicción de diacríticos y expandir el marco para cubrir más de los 500+ idiomas de Nigeria.