Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition

Résumé technique : Apprentissage curriculaire conditionné par le ton pour la reconnaissance de la parole des langues bantoues à faibles ressources

Énoncé du problème
Les langues bantoues méridionales (par exemple, l'isiZulu, l'isiXhosa, le Sesotho, le Setswana, le Tshivenda, le Xitsonga) sont parlées par plus de 80 millions de personnes mais restent sous-représentées dans la reconnaissance automatique de la parole (ASR). Les modèles de fondation actuels, tels que Whisper et MMS, produisent des taux d'erreur de mots (WER) zero-shot dépassant 100 % sur ces langues, ce qui les rend impraticables pour l'éducation et les services publics. Un défi majeur réside dans le fait que ces langues reposent fortement sur le ton et la prosodie pour encoder les relations grammaticales et le sens lexical, alors que les orthographies standards omettent le ton. Contrairement au mandarin, où le ton est souvent local à la syllabe, les systèmes bantoues méridionaux présentent une forte propagation tonale et des contours phrastiques. Les approches classiques d'apprentissage curriculaire, qui ordonnent généralement les données selon l'erreur de reconnaissance (WER) ou la durée, ne parviennent pas à prendre en compte ces complexités morphotonales et phonologiques spécifiques.

Méthodologie
Les auteurs proposent un cadre d'apprentissage curriculaire conditionné par le ton conçu pour traiter la rareté des données et la complexité tonale via trois phases intégrées :

1. Score de difficulté hybride :
   Au lieu de se fier uniquement à l'erreur de reconnaissance, les auteurs définissent un score de difficulté hybride $s(u)$ pour chaque énoncé $u$ :
   $$s(u) = \alpha \cdot \text{WER}_{\text{norm}}(u) + \beta \cdot \text{Tonal}_{\text{norm}}(u)$$
   Avec des poids $\alpha=0,7$ et $\beta=0,3$, cette métrique équilibre la performance empirique du modèle et la complexité linguistique. La composante tonale agrège les caractéristiques morphotonales (densité de transition, variété de motifs uniques) extraites des contours F0 sans nécessiter de transcription phonétique manuelle. Les énoncés sont mappés sur des quintiles de difficulté pour piloter un entraînement par étapes.

2. Adaptateurs à porte conditionnés par le ton :
   Pour injecter le contexte tonal dans le modèle, les auteurs introduisent des adaptateurs légers à porte (ajoutant environ 2,1 millions de paramètres, soit 0,3 % du modèle de base). Un MLP à 2 couches mappe un vecteur tonal à 5 dimensions (dérivé des statistiques F0 comme le taux et l'étendue de transition) vers des valeurs de porte. Ces portes modulent les représentations de l'encodeur, permettant au modèle d'augmenter dynamiquement la contribution de l'adaptateur pour les énoncés ayant des profils tonaux complexes tout en conservant les représentations pré-entraînées pour les plus simples.

3. Entraînement curriculaire par étapes :
   L'entraînement suit un calendrier en trois étapes inspiré du CL-DM afin d'éviter le surapprentissage sur des échantillons bruités ou difficiles au début de l'entraînement :

   • Étape 1 : Entraînement sur les 40 % d'échantillons les plus faciles.
   • Étape 2 : Extension aux 80 % les plus faciles.
   • Étape 3 : Utilisation de l'ensemble complet des données d'entraînement.
     Cette fusion progressive vise à préserver la performance sur les motifs stables tout en s'adaptant aux structures tonales plus complexes.

Contributions clés

1. Fonction de score hybride : Une nouvelle métrique de difficulté combinant le WER avec des caractéristiques morphotonales spécifiquement adaptées aux langues bantoues.
2. Adaptateurs tonaux à porte : Un mécanisme efficace en paramètres (2,1 millions de paramètres) qui conditionne les représentations de l'encodeur sur les statistiques tonales par énoncé.
3. Évaluation exhaustive : Une analyse de trois architectures de fondation (Whisper, W2V-BERT, MMS) sur deux jeux de données (Swivuriso et NCHLT), révélant des préférences architecture-langue distinctes.
4. Analyse de la généralisation : Preuve que la transférabilité du modèle varie considérablement selon la famille de langues, W2V-BERT montrant une supériorité de transfert pour les langues Nguni par rapport à Whisper.

Résultats
L'étude a évalué 12 configurations parmi les trois familles de modèles sur six langues bantoues méridionales :

• Performance de base : Les baselines zero-shot (Whisper, MMS) ont échoué avec des WER > 100 %. Le fine-tuning a réduit substantiellement les erreurs, mais aucun modèle unique n'a surpassé les autres sur l'ensemble des langues.
• Divergence d'architecture :
  • Langues Nguni (isiZulu, isiXhosa) : W2V-BERT a significativement surpassé Whisper (ex: 24,79 % vs 28,12 % de WER sur Swivuriso pour l'isiZulu).
  • Langues Sotho-Tswana (Sesotho, Setswana) : Whisper a surpassé W2V-BERT (ex: le Setswana a atteint 18,60 % de WER avec Whisper Tone+Curr.).
• Impact du conditionnement tonal :
  • W2V-BERT : Le conditionnement tonal a apporté un gain relatif significatif (réduction de 7,2 % du WER moyen, passant de 25,65 % à 23,81 %), bénéficiant particulièrement au décodage CTC.
  • Whisper & MMS : Le conditionnement tonal a offert des bénéfices minimes ou mitigés. Pour MMS, l'ordonnancement curriculaire basé uniquement sur le WER était plus efficace que l'approche hybride.
• Robustesse du transfert : La performance a varié lors du transfert du jeu de données communautaire Swivuriso vers le jeu de données en studio NCHLT. Par exemple, le Tshivenda a montré un écart important (22 points de WER) entre les jeux de données, tandis que le Xitsonga a démontré une plus grande stabilité avec le conditionnement tonal de W2V-BERT.

Signification et affirmations
L'article affirme qu'aucune architecture de modèle n'est universellement optimale pour les six langues bantoues méridionales. L'adéquation d'une architecture dépend de la famille linguistique (Nguni vs Sotho-Tswana). Par conséquent, les auteurs soutiennent qu'un déploiement fiable nécessite :

1. Une sélection de modèle spécifique à la langue plutôt qu'une approche unique.
2. Une validation à travers divers corpus pour tenir compte des changements de distribution entre les enregistrements communautaires et en studio.
3. L'intégration de la structure tonale dans les stratégies d'adaptation, démontrant que l'adaptation efficace en paramètres peut exploiter la structure linguistique sans annotation phonologique manuelle.

Ce travail souligne que, bien que l'apprentissage curriculaire et le conditionnement tonal améliorent la robustesse, leur efficacité dépend fortement de l'interaction entre l'architecture spécifique et les propriétés linguistiques de la langue cible.