Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition

Resumen Técnico: Aprendizaje de Currículo Condicionado por Tono para el Reconocimiento de Voz en Lenguas Bantúes de Bajos Recursos

Planteamiento del Problema
Las lenguas bantúes meridionales (p. ej., isiZulu, isiXhosa, Sesotho, Setswana, Tshivenda, Xitsonga) son habladas por más de 80 millones de personas, pero permanecen subrepresentadas en el Reconocimiento Automático del Habla (ASR). Los modelos fundacionales actuales, como Whisper y MMS, producen tasas de error de palabra (WER) zero-shot superiores al 100% en estas lenguas, lo que las hace impracticables para la educación y los servicios públicos. Un desafío primordial es que estas lenguas dependen fuertemente del tono y la prosodia para codificar relaciones gramaticales y significados léxicos, aunque las ortografías estándar omiten el tono. A diferencia del mandarín, donde el tono suele ser local a la sílaba, los sistemas bantúes meridionales exhiben una alta propagación tonal y contornos fraseológicos. Los enfoques de aprendizaje de currículo estándar, que típicamente ordenan los datos por error de reconocimiento (WER) o duración, no logran dar cuenta de estas complejidades morfotonales y fonológicas específicas.

Metodología
Los autores proponen un Marco de Aprendizaje de Currículo Condicionado por Tono diseñado para abordar la escasez de datos y la complejidad tonal a través de tres fases integradas:

1. Puntuación de Dificultad Híbrida:
   En lugar de depender únicamente del error de reconocimiento, los autores definen una puntuación de dificultad híbrida $s(u)$ para cada enunciado $u$:
   $$s(u) = \alpha \cdot \text{WER}_{\text{norm}}(u) + \beta \cdot \text{Tonal}_{\text{norm}}(u)$$
   Con pesos $\alpha=0.7$ y $\beta=0.3$, esta métrica equilibra el rendimiento empírico del modelo con la complejidad lingüística. El componente tonal agrega características morfotonales (densidad de transición, variedad de patrones únicos) extraídas de los contornos F0 sin requerir transcripción fonética manual. Los enunciados se mapean a quintiles de dificultad para impulsar un entrenamiento por etapas.

2. Adaptadores Puerta Condicionados por Tono (Tone-Conditioned Gated Adapters):
   Para inyectar contexto tonal en el modelo, los autores introducen adaptadores de puerta ligeros (añadiendo ~2.1M de parámetros, o 0.3% del modelo base). Un MLP de 2 capas mapea un vector tonal de 5 dimensiones (derivado de estadísticas de F0 como la tasa y el rango de transición) a valores de puerta. Estas puertas modulan las representaciones del codificador, permitiendo que el modelo aumente dinámicamente la contribución del adaptador para enunciados con perfiles tonales complejos, mientras retiene las representaciones preentrenadas para los más simples.

3. Entrenamiento de Currículo por Etapas:
   El entrenamiento sigue un esquema de tres etapas inspirado en CL-DM para prevenir el sobreajuste en muestras ruidosas y difíciles durante las primeras fases del entrenamiento:

   • Etapa 1: Entrena con el 40% de las muestras más fáciles.
   • Etapa 2: Se expande al 80% de las muestras más fáciles.
   • Etapa 3: Utiliza el conjunto de entrenamiento completo.
     Esta fusión progresiva busca preservar el rendimiento en patrones estables mientras se adapta a estructuras tonales más complejas.

Contribuciones Clave

1. Función de Puntuación Híbrida: Una novedosa métrica de dificultad que combina el WER con características morfotonales diseñadas específicamente para las lenguas bantúes.
2. Adaptadores de Tono con Puerta (Gated Tone Adapters): Un mecanismo de parámetros eficientes (2.1M de parámetros) que condiciona las representaciones del codificador mediante estadísticas tonales por enunciado.
3. Evaluación Exhaustiva: Un análisis de tres arquitecturas fundacionales (Whisper, W2V-BERT, MMS) a través de dos conjuntos de datos (Swivuriso y NCHLT), revelando preferencias arquitectura-lenguaje distintivas.
4. Análisis de Generalización: Evidencia de que la transferibilidad del modelo varía significativamente según la familia lingüística, mostrando que W2V-BERT posee una transferencia superior para las lenguas Nguni en comparación con Whisper.

Resultos
El estudio evaluó 12 configuraciones de las tres familias de modelos sobre seis lenguas bantúes meridionales:

• Rendimiento Base: Los baselines zero-shot (Whisper, MMS) fallaron con WERs >100%. El ajuste fino (fine-tuning) redujo los errores sustancialmente, pero ningún modelo único superó a otros en todas las lenguas.
• Divergencia de Arquitectura:
  • Lenguas Nguni (isiZulu, isiXosa): W2V-BERT superó significativamente a Whisper (p. ej., 24.79% vs. 28.12% WER en Swivuriso para isiZulu).
  • Lenguas Sotho-Tswana (Sesotho, Setswana): Whisper superó a W2V-BERT (p. ej., Setswana alcanzó un 18.60% de WER con Whisper Tone+Curr.).
• Impacto del Condicionamiento Tonal:
  • W2V-BERT: El condicionamiento por tono proporcionó una ganancia relativa significativa (reducción del 7.2% en el WER promedio del 25.65% al 23.81%), beneficiando particularmente la decodificación CTC.
  • Whisper & MMS: El condicionamiento por tono ofreció beneficios mínimos o mixtos. Para MMS, el ordenamiento de currículo basado únicamente en el WER fue más efectivo que el enfoque híbrido.
• Robustez de Transferencia: El rendimiento varió al transferir desde el conjunto de datos de grabación comunitaria Swivuriso al de grabación de estudio NCHLT. Por ejemplo, Tshivenda mostró una gran brecha de rendimiento (22 puntos de WER) entre los conjuntos de datos, mientras que Xitsonga demostró una mayor estabilidad con el condicionamiento de tono de W2V-BERT.

Significancia y Reivindicaciones
El artículo sostiene que ninguna arquitectura de modelo es universalmente óptima para todas las seis lenguas bantúes meridionales. La idoneidad de una arquitectura depende de la familia lingüística (Nguni vs. Sotho-Tswana). En consecuencia, los autores argumentan que un despliegue fiable requiere:

1. Selección de modelos específicos para cada lengua en lugar de un enfoque de "talla única".
2. Validación a través de diversos corpora para dar cuenta de los cambios de distribución entre grabaciones comunitarias y de estudio.
3. Integración de la estructura tonal en las estrategias de adaptación, demostrando que la adaptación de parámetros eficientes puede aprovechar la estructura lingüística sin necesidad de anotación fonológica manual.

Este trabajo destaca que, si bien el aprendizaje de currículo y el condicionamiento por tono mejoran la robustez, su efectividad depende altamente de la interacción entre la arquitectura específica y las propiedades lingüísticas de la lengua objetivo.