Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

Technische Samenvatting: Sometin Beta Pass Notin (SBPN)

Probleemstelling
Ondanks de taalkundige diversiteit van Nigeria, met meer dan 500 talen, presteren moderne meertalige systemen voor Automatische Spraakherkenning (ASR) consequent slechter op Nigeriaanse talen in vergelijking met talen met veel bronnen, zoals Engels en Frans. De auteurs identificeren verschillende kritieke hindernissen: acute schaarste aan data, inconsistente orthografie, de noodzaak van toonaccenten (in Yorùbá en Igbo), diverse accenten, frequente code-switching en het voorkomen van gelokaliseerde naamwoorden. Bestaande datasets bestaan vaak uit voorgelezen spraak op basis van vooraf gedefinieerde sjablonen, waardoor ze niet generaliseren naar realistische conversatiescenario's. Bovendien versnelt de dominantie van talen met veel bronnen op internet het taalkundige verval, wat een digitale kloof creëert die de ontwikkeling van gespecialiseerde ASR-bronnen vereist om taalkundige continuïteit te waarborgen.

Methodologie
Het artikel introduceert Sometin Beta Pass Notin (SBPN), een meertalig fundamenteel ASR-model dat is ontworpen voor vijf specifieke Nigeriaanse talen: Yorùbá, Hausa, Igbo, Nigeriaans Pidgin en Nigeriaans Engels. Het raamwerk maakt gebruik van een distillatieproces in twee fasen:

1. Kennisdistillatie vanuit monolinguale leraren:

   • Leraar-modellen: De auteurs gebruikten bestaande state-of-the-art monolinguale modellen (gebaseerd op architecturen zoals W2v-bert-2.0 en w2v-large-xlsr-53) als "leraren".
   • Fusie van Taalmodellen: Inzichtelijk dat CTC-gebaseerde leraar-modellen worstelen in regimes met weinig bronnen zonder taalmodelleren, stelde het team grote N-gram taalmodellen samen voor elk van de vijf talen, gebruikmakend van tekstcorpora uit bronnen zoals Common-Crawl-100 en specifieke repositories.
   • Pseudo-labeling: De leraar-modellen genereerden harde pseudo-labels voor niet-gelabelde audiogegevens. Cruciaal werden deze labels verfijnd door een ondiepe fusie van de ASR-predicties met de samengestelde N-gram taalmodellen tijdens inferentie (met behulp van de Flashlight-decoder) om de Woordfoutenratio (WER) te verlagen.
   • Data-curatie: De pijplijn omvatte uitgebreide audiobewerking: ruisreductie (MossFormer2), spreker-diarisatie (Pyannote), spraakactiviteitsdetectie en taalidentificatie. Een specifieke normalisatiestrategie werd toegepast op Nigeriaans Pidgin om om te gaan met niet-standaard orthografie en homofonen door woorden te clusteren en het meest waarschijnlijke token te selecteren op basis van het N-gram LM.

2. Iteratieve zelfverbetering:

   • Het meertalige studentmodel (SBPN) werd eerst getraind op een combinatie van grond-waarheid data en de pseudo-gelabelde data die in de eerste fase was gegenereerd.
   • Vervolgens onderging het model een zelfverbeteringslus waarbij het nieuwe, nauwkeurigere pseudo-labels genereerde voor de niet-gelabelde data, die vervolgens werden gebruikt om het model verder te fine-tunen. Dit proces werd voortgezet totdat de gemiddelde WER een plateau bereikte.

Modelarchitectuur
De SBPN-modellen zijn gebaseerd op de Recurrent Neural Network-based Transducer (RNNT)-architectuur, met een Fast Conformer-encoder, een stateful LSTM-gebaseerd voorspellingsnetwerk en een feed-forward joint netwerk. Een auxiliaire CTC-kop is aan de encoder bevestigd om kenmerken te regulariseren, wat bijzonder voordelig is bij training met ruizige pseudo-gelabelde data. De modellen worden uitgeleverd in twee maten:

• SBPN-Base: 120 miljoen parameters.
• SBPN-Large: 600 miljoen parameters.
  Beide zijn ontworpen om tijdens inferentie op CPU's te draaien, waardoor ze toegankelijk zijn voor onderzoekers zonder grote GPU-bronnen.

Belangrijkste bijdragen

• Eerste meertalig fundamenteel model voor Nigeriaanse talen: SBPN is het eerste model dat zowel voorgelezen als snelle conversatiespraak nauwkeurig kan transcriberen in de vijf doeltalen, terwijl het ook gesproken taalidentificatie (SLID) uitvoert.
• Samengestelde N-gram taalmodellen: De auteurs hebben de eerste grote N-gram taalmodellen voor deze vijf talen gemaakt en hun kritieke rol aangetoond bij het verbeteren van de kwaliteit van pseudo-labels en de algehele ASR-prestaties.
• Validatie van pseudo-labeling in regimes met weinig bronnen: De studie bewijst dat grootschalige pseudo-labeling, in combinatie met kennisdistillatie en fusie van taalmodellen, de herkenningsnauwkeurigheid voor talen met weinig bronnen significant verbetert, niet alleen voor talen met veel bronnen.
• Open release: De modellen (SBPN-Base en SBPN-Large) en hun checkpoints worden vrijgegeven als open fundamentele modellen om verder onderzoek naar het fonetische en culturele landschap van de regio te faciliteren.

Resultaten

• Prestatiewinst: SBPN overbrugt de prestatiekloof aanzienlijk en bereikt een gemiddelde relatieve reductie van 29% in de Woordfoutenratio (WER) ten opzichte van monolinguale baselines.
• Vergelijking met leraren: Het SBPN-Large-model presteerde beter dan de monolinguale leraar-modellen (zelfs die welke zijn gefuseerd met N-gram LM's) met een gemiddelde relatieve WER-reductie van 16%.
• Vergelijking met state-of-the-art: SBPN-modellen presteerden beter dan bestaande state-of-the-art meertalige modellen (zoals AfriHuBERT, mHuBERT-147 en MMS-1B) op belangrijke benchmarks, waaronder Common Voice en Fleurs. Opmerkelijk is dat de SBPN-Large van 600M parameters gemiddeld beter presteerde dan modellen met miljarden parameters voor Nigeriaanse talen.
• Robuustheid: SBPN-Large toonde superieure stabiliteit bij het transcriberen van snelle conversatiespraak (tot 2x normale snelheid) in vergelijking met monolinguale leraren, wiens prestaties sterk verslechterden bij verhoogde spreektempo's.
• Taalidentificatie: De modellen behaalden bijna perfecte micro-gegemiddelde F1-scores (100% voor de meeste talen) bij het identificeren van de gesproken taal, en presteerden beter dan toegewijde op audio-gebaseerde en op tekst-gebaseerde taalidentificatiemodellen voor Nigeriaans Engels en Pidgin.
• Uitdagingen met diacritica: Hoewel de prestaties verbeterden, merkt het artikel op dat het voorspellen van diakritische tekens nog steeds een uitdaging blijft, met name voor Yorùbá, waar de WER-kloof tussen voorspellingen met en zonder diakritische tekens aanzienlijk blijft, hoewel deze in vergelijking met de baselines is verkleind.

Betekenis
Het artikel beweert dat SBPN een belangrijke stap voorwaarts is om de digitale kloof te bestrijden en taalkundige continuïteit voor Nigeriaanse talen te waarborgen. Door aan te tonen dat "gemiddelde leraren" (monolinguale modellen) kunnen worden gedistilleerd tot een superieure "student" (meertalig model) door middel van rigoureuze pseudo-labeling en fusie van taalmodellen, biedt het werk een schaalbaar raamwerk voor de verwerking van talen met weinig bronnen. De release van CPU-vriendelijke modellen beoogt de toegang tot ASR-technologie voor taalkundigen en onderzoekers in de regio te democratiseren, waardoor verdere verkenning van het rijke fonetische en culturele diversiteit van het gebied wordt gestimuleerd. De auteurs erkennen bescheiden dat hoewel SBPN een fundamentele stap is, er nog aanzienlijk werk moet worden verzet om de voorspelling van diakritische tekens aan te pakken en het raamwerk uit te breiden om meer van de 500+ talen van Nigeria te bestrijken.