Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition

Technische Samenvatting: Toon-geconditioneerd Curriculum Learning voor deen-arme Bantoe Spraakherkenning

Probleemstelling
Zuidelijke Bantoe-talen (bijv. isiZulu, isiXhosa, Sesotho, Setswana, Tshivenda, Xitsonga) worden gesproken door meer dan 80 miljoen mensen, maar blijven ondervertegenwoordigd in Automatic Speech Recognition (ASR). Huidige fundamentmodellen, zoals Whisper en MMS, produceren zero-shot Word Error Rates (WER) van meer dan 100% voor deze talen, wat ze onpraktisch maakt voor onderwijs en publieke diensten. Een primaire uitdaging is dat deze talen sterk leunen op toon en prosodie om grammaticale relaties en lexicale betekenis te coderen, terwijl standaard orthografieën toon weglaten. In tegen tegenstelling tot Mandarijn, waar toon vaak lokaal per lettergreep is, vertonen Zuidelijke Bantoe-systemen een hoge mate van toonspreiding en frase-contouren. Standaard curriculum learning-benaderingen, die doorgaans data ordenen op basis van herkenningsfout (WER) of duur, houden geen rekening met deze specifieke fonologische en morphotonale complexiteiten.

Methodologie
De auteurs stellen een Toon-geconditioneerd Curriculum Framework voor, ontworpen om datarelatie en tonale complexiteit aan te pakken via drie geïntegreerde fasen:

1. Hybride Moeilijkheidsscore:
   In plaats van enkel te vertrouwen op herkenningsfout, definiëren de auteurs een hybride moeilijkheidsscore $s(u)$ voor elke uiting $u$:
   $$s(u) = \alpha \cdot \text{WER}_{\text{norm}}(u) + \beta \cdot \text{Tonal}_{\text{norm}}(u)$$
   Met gewichten $\alpha=0.7$ en $\beta=0.3$, balanceert deze metriek empirische modelprestaties met linguïstische complexiteit. De tonale component aggregeert morphotonale kenmerken (transitie-densiteit, variëteit van unieke patronen) geëxtraheerd uit F0-contouren zonder dat handmatige fonetische transcriptie vereist is. Uitingen worden toegewezen aan moeilijkheids-quintielen om gestage training aan te sturen.

2. Toon-geconditioneerde Gated Adapters:
   Om tonale context in het model te injecteren, introduceren de auteurs lichtgewicht, gated adapters (die ~2,1 miljoen parameters toevoegen, oftewel 0,3% van het basismodel). Een 2-laagse MLP brengt een 5-dimensionale tonale vector (afgeleid van F0-statistieken zoals transitie-snelheid en bereik) in kaart naar gate-waarden. Deze gates moduleren de encoder-representaties, waardoor het model dynamisch de bijdrage van de adapter kan vergroten voor uitingen met complexe tonale profielen, terwijl de gepre-trainde representaties behouden blijven voor eenvoudigere uitingen.

3. Gestage Curriculum Training:
   De training volgt een driefasen-schema geïnspireerd door CL-DM om overfitting op ruizige, moeilijke samples vroeg in de training te voorkomen:

   • Fase 1: Traint op de 40% makkelijkste samples.
   • Fase 2: Breidt uit naar de 80% makkelijkste samples.
   • Fase 3: Maakt gebruik van de volledige trainingsset.
     Deze progressieve fusie beoogt prestaties op stabiele patronen te behouden terwijl het zich aanpast aan moeilijkere tonale structuren.

Belangrijkste Bijdragen

1. Hybride Scoring Functie: Een nieuwe moeilijkheidsmetriek die WER combineert met morphotonale kenmerken, specifiek afgestemd op Bantoe-talen.
2. Gated Tone Adapters: Een parameterefficiënt mechanisme (2,1 miljoen parameters) dat encoder-representaties conditioneert op per-uiting statistieken van de toon.
3. Uitgebreide Evaluatie: Een analyse van drie fundamentele architecturen (Whisper, W2V-BERT, MMS) over twee datasets (Swivurso en NCHLT), waarbij duidelijke architectuur-taalvoorkeuren aan het licht komen.
4. Generalisatieanalyse: Bewijs dat de overdraagbaarheid van modellen significant varieert per taalfamilie, waarbij W2V-BERT een superieure transfer laat zien voor Nguni-talen vergeleken met Whisper.

Resultaten
De studie evalueerde 12 configuraties van de drie modelfamilies over zes Zuidelijke Bantoe-talen:

• Baseline Prestaties: Zero-shot baselines (Whisper, MMS) faalden met WERs >100%. Fine-tuning verminderde de fouten aanzienlijk, maar geen enkel model presteerde universeel beter dan de andere over alle talen.
• Architecturale Divergentie:
  • Nguni Talen (isiZulu, isiXhosa): W2V-BERT presteerde aanzienlijk beter dan Whisper (bijv. 24,79% vs. 28,12% WER op Swivuriso voor isiZulu).
  • Sotho-Tswana Talen (Sesotho, Setswana): Whisper presteerde beter dan W2V-BERT (bijv. Setswana bereikte 18,60% WER met Whisper Tone+Curr.).
• Impact van Toon-conditionering:
  • W2V-BERT: Toon-conditionering leverde een significante relatieve winst op (7,2% reductie in gemiddelde WER van 25,65% naar 23,81%), wat met name de CTC-decodering ten goede kwam.
  • Whisper & MMS: Toon-conditionering bood minimale of gemengde voordelen. Voor MMS was curriculum ordering gebaseerd op enkel WER effectiever dan de hybride benadering.
• Transfer Robuustheid: De prestaties varieerden wanneer er werd getransfereerd van de door de gemeenschap opgenomen Swivuriso-dataset naar de in de studio opgenomen NCHLT-dataset. Zo vertoonde Tshivenda een grote prestatiekloof (22 punten WER) tussen de datasets, terwijl Xitsonga een sterkere stabiliteit demonstreerde met W2V-BERT toon-conditionering.

Betekenis en Claims
Het artikel claimt dat geen enkele modelarchitectuur universeel optimaal is voor alle zes de Zuidelijke Bantoe-talen. De geschiktheid van een architectuur is afhankelijk van de taalfamilie (Nguni vs. Sotho-Tswana). Bijgevolg beargumenteren de auteurs dat betrouwbare implementatie vereist:

1. Taalspecifieke modelselectie in plaats van een "one-size-fits-all" benadering.
2. Validatie over corpora om distributieverschuivingen tussen gemeenschapsopnames en studio-opnames op te vangen.
3. Integratie van tonale structuur in adaptatiestrategieën, wat aantoont dat parameterefficiënte adaptatie de linguïstische structuur kan benutten zonder handmatige fonologische annotatie.

Het werk benadrukt dat hoewel curriculum learning en toon-conditionering de robuustheid verbeteren, hun effectiviteit sterk afhankelijk is van de interactie tussen de specifieke architectuur en de linguïstische eigenschappen van de doeltaal.