Speech Representation System For The Karakalpak Automatic Speech Recognition

Technische Samenvatting: Spraakrepresentatiesysteem voor de automatische spraakherkenning van het Karakalpak

Probleemstelling
Automatische spraakherkenning (ASR) heeft aanzienlijke vooruitgang geboekt voor talen met veel middelen door middel van end-to-end (E2E) neurale architecturen. Het ontwikkelen van betrouwbare ASR-systemen voor talen met weinig middelen blijft echter een kritieke uitdaging vanwege de hoge kosten en de moeilijkheid van het verzamelen en verifiëren van gelabelde spraakgegevens. Karakalpak, een Turkse taal die voornamelijk wordt gesproken in de Republiek Karakalpakstan (Oezbekistan), staat voor deze specifieke beperkingen. De linguïstische kenmerken — specifiek agglutinerende morfologie, klinkerharmonie en de subject-object-werkwoord zinsvolgorde — resulteren in lange woordvormen en rijke inflectie, wat talloze oppervlaktevarianten creëert vanuit enkele lexicale stammen. Historisch gezien heeft Karakalpak een tekort aan open spraaktechnologiebronnen gehad, wat het bemoeilijkt om robuuste modellen te benchmarken of te trainen. Bovendien vereist het gebruik van zowel het Latijnse als het Cyrillische schrift in de taal strikte tekstnormalisatie om consistente evaluatie te waarborgen.

Methodologie
De auteurs stellen een ASR-systeem voor Karakalpak voor op basis van meertalige zelfgesuperviseerde spraakrepresentaties, specifiek door het aanpassen van de wav2vec 2.0 XLS-R architectuur. De methodologie volgt een pijplijn die is ontworpen voor scenario's met weinig middelen:

1. Dataset (Karakalpak Speech Corpus - KSC): De kern van de studie is de KSC, een publiekelijk beschikbare benchmark-dataset die door de auteurs is verzameld en via Mendeley Data is vrijgegeven. De dataset bevat ongeveer 50 uur aan overwegend voorgelezen spraak van 25 moedertaalsprekers. De dataset bevat WAV-bestanden (16 kHz, 16-bit PCM) en handmatig geverifieerde transcripties in de standaard Karakalpak Latijnse orthografie. Cruciaal is dat de dataset in een spreker-onafhankelijke wijze is opgesplitst in trainings-, validatie- en testsets om datalekken te voorkomen.
2. Modelarchitectuur: Het systeem maakt gebruik van het XLS-R model, dat bestaat uit een feature encoder (temporele convolutionele lagen), een contextnetwerk (Transformer-blokken) en een kwantiseringsmodule die wordt gebruikt tijdens de pre-training. Voor de Karakalpak-taak wordt het voorgetrainde XLS-R model gefinetuned met een willekeurig geïnitialiseerde lineaire projectielaag bovenop het contextnetwerk om karaktertekens te voorspellen. Het model wordt geoptimaliseerd met behulp van Connectionist Temporal Classification (CTC) loss.
3. Trainingsconfiguraties: Om de impact van gegevensschaarste te analyseren, voerden de auteurs experimenten uit met drie gelabelde data-opstellingen:
   • 50-uur opstelling: De volledige trainingscomponent van de KSC.
   • 10-uur opstelling: Een gebalanceerde subset van sprekers.
   • 1-uur opstelling: Een kleinere, spreker-gebalanceerde subset die ultra-low-resource condities simuleert.
     Hyperparameters, inclusief leersnelheden en maximale updates, werden aangepast op basis van het datavolume.
4. Decoding en Taalmodellering: Om de uitdagingen van agglutinerende morfologie en akoestische verwarring aan te pakken, hebben de auteurs woordniveau n-gram taalmodellen (trigram, 4-gram en 5-gram) geïntegreerd die zijn getraind met KenLM. Twee varianten van het taalmodel werden getest:
   • LM1: Uitsluitend getraind op KSC-transcriptieteksten.
   • LM2: Getraind op KSC-teksten plus aanvullende Karakalpak tekstbronnen (nieuws, educatief materiaal, etc.).
     Decoding werd uitgevoerd met een combinatie van akoestische modelscores, lexicon-beperkingen en taalmodel-waarschijnlijkheden.

Belangrijkste Bijdragen
Het artikel levert de volgende specifieke bijdragen aan het veld van low-resource ASR:

• Systeemontwikkeling: De presentatie van een functioneel Karakalpak ASR-systeem dat gebruikmaakt van meertalige zelfgesuperviseerde representaties.
• Datasetgebruik: Het trainen en finetunen van een Karakalpak-specifiek wav2vec 2.0 XLS-R model op de nieuw uitgebrachte Karakalpak Speech Corpus (KSC) van de auteurs, waarmee een reproduceerbare baseline wordt gevestigd.
• Analyse van Gegevensschaarste: Een systematische evaluatie van de herkenningskwaliteit over variërende hoeveelheden gelabelde data (1u, 10u, 50u) om de minimale levensvatbare datadrempel voor betrouwbare prestaties te bepalen.
• Integratie van Taalmodellen: De toepassing van woordniveau n-gram taalmodellen om decoding te verbeteren in low-resource omgevingen, waarbij de effectiviteit ervan bij het verminderen van fouten voor agglutinerende talen wordt aangetoond.
• Foutanalyse: Een gedetailleerde uitsplitsing van herkenningsfouten in substitutie-, insertie- en deletiecategorieën, wat inzicht biedt in de specifieke faalmodi van het systeem onder verschillende data- en domeincondities.

Resultaten
De experimenten leverden de volgende prestatie-metrieken op een onafhankelijke testset:

• Baseline Prestaties: Het op 50 uur KSC getrainde XLS-R model behaalde een Word Error Rate (WER) van 21,10% en een Character Error Rate (CER) van 4,32% zonder extern taalmodel.
• Impact van Datavolume: Zoals verwacht verbeterde de prestatie met een toename van de gelabelde data. De 1-uur opstelling resulteerde in een WER van 47,15%, terwijl de 10-uur opstelling een WER van 29,42% bereikte.
• Impact van Taalmodellen: De integratie van taalmodellen verminderde de foutpercentages consistent.
  • Bij gebruik van LM1 (alleen KSC-tekst), daalde de WER van het 50-uur model naar 18,92% (met een 5-gram model en top-k=20.000).
  • Met LM2 (KSC + aanvullende tekst), verbeterde de prestatie verder naar een WER van 17,86% en een CER van 3,82% voor de 50-uur opstelling.
• Out-of-Domain (OOD) Evaluatie: Wanneer getest op een OOD-dataset (nieuws, educatie, publieke media), had het 50-uur model zonder taalmodel een WER van 38,40%. Met LM2 verbeterde dit aanzienlijk naar een WER van 32,10%, wat aangeeft dat bredere tekstcorpora helpen generaliseren naar verschillende spraakstijlen en onderwerpen.
• Foutdistributie: Substitutiefouten waren het dominante fouttype in alle configuraties, toegeschreven aan akoestisch gelijkaardige suffixen en rijke morfologie. Het taalmodel verminderde effectief substitutie- en insertiefouten, hoewel deleties gevoelig bleven voor audiokwaliteit en spreeksnelheid.

Betekenis en Claims
De auteurs positioneren dit werk als een fundamentele stap naar digitale inclusie en taalbehoud voor het Karakalpak. Het artikel stelt dat de KSC-dataset een noodzakelijke, transparante en reproduceerbare basis biedt voor Karakalpak ASR-onderzoek, waarmee het veld wordt weggeleid van informele audioverzamelingen naar gestandaardiseerde benchmarks.

De studie demonstreert dat meertalige zelfgesuperviseerde representaties (XLS-R) effectief zijn voor talen met weinig middelen binnen de Turkse taalfamilie, zelfs met beperkte gelabelde data. De auteurs concluderen bescheiden dat hoewel de 21,10% WER dient als referentiepunt, verdere verbeteringen afhankelijk zijn van grotere geverifieerde tekstcorpora, sterkere domein-specifieke taalmodellen, de inclusie van spontane spraak en zorgvuldige normalisatie van schrijfwarianten. Het werk vestigt een baseline voor toekomstig onderzoek, waarbij wordt gesuggereerd dat de verzamelde dataset de expansie van trainingscorpora kan ondersteunen door middel van human-in-the-loop correctie en dat de voorgestelde pijplijn levensvatbaar is voor downstream taken zoals sprekersanalyse en taalidentificatie.