LSTM-Based Speech Recognition for Assamese: A Low-Resource Language Approach

Technische Samenvatting: LSTM-gebaseerde spraakherkenning voor het Assamees: Een aanpak voor een taal met lage middelen

Probleemstelling
Spraakherkenningssystemen zijn aanzienlijk geavanceerd voor grote talen, maar de Noord-Oost-Indiase talen, in het bijzonder het Assamees, blijven onderbelicht. Het Assamees wordt gekenmerkt als een taal met lage middelen (low-resource language) met beperkte computationele linguïstische data. Bestaand onderzoek naar Assamese spraakverwerking leunt vaak op traditionele methoden (bijv. Hidden Markov Models) of richt zich op beperkte feature-representaties, waarbij een uitgebreide analyse op klinker-niveau ontbreekt. Bov�elijke blijft de integratie van meerdere akoestische features om de prestaties van spraakherkenning in dergelijke contexten met lage middelen te verbeteren, een openstaande uitdaging. Deze studie adresseert de kloof in de ontwikkeling van een efficiënt spraakherkenningssysteem specifiek voor Assamese klinkers met behulp van deep learning-technieken.

Methodologie
De voorgestelde aanpak maakt gebruik van een Long Short-Term Memory (LSTM) netwerk, een gespecialiseerde Recurrent Neural Network (RNN) architectuur die is ontworpen om het vanishing gradient-probleem te overwinnen en langetermijn temporele afhankelijkheden in sequentiële data te leren.

• Dataset: De auteurs hebben een zelf samengestelde dataset samengesteld bestaande uit 1.760 klinkerfragmenten. De gegevens werden verzameld van 22 sprekers (14 man, 8 vrouw) uit de Assamese gemeenschap. Elk van de acht verschillende Assamese klinkers werd 10 keer per spreker opgenomen. De dataset werd opgesplitst in trainingssets (70%), testsets (15%) en validatiesets (15%).
• Feature Extractie: Om de spraakrepresentatie te verbeteren, integreert de studie drie verschillende akoestische features:
  1. Mel Frequency Cepstral Coefficients (MFCC): 13 coëfficiënten (12 MFCC + 1 energie) gebaseerd op de niet-lineaire toonhoog perceptie van het menselijk gehoorsysteem.
  2. Short-Term Energy (STE): Meet de energie die aanwezig is in een specifiek tijdssegment van het signaal.
  3. Zero Crossing Rate (ZCR): Telt het aantal keren dat het signaal van teken verandert binnen een frame, waardoor onderscheid wordt gemaakt tussen stemhebbende en stemloze signalen.
     Deze features werden gecombineerd in een 15-dimensionale feature vector (1 STE + 1 ZCR + 13 MFCC).
• Modelarchitectuur: Het LSTM-model bestaat uit een inputlaag, een verborgen laag met 64 LSTM-units, en een volledig verbonden outputlaag met units die overeenkomen met de acht klinkerklassen. De outputlaag maakt gebruik van een SoftMax activatiefunctie.
• Trainingsconfiguratie: Het model werd getraind voor 60 epochs met een batchgrootte van 32. De Categorical Cross-Entropy lossfunctie werd gebruikt, geoptimaliseerd via de Adam optimizer met een leersnelheid van 0.001.

Belangrijkste Bijdragen
Het artikel beschrijft vijf primaire bijdragen:

1. Ontwikkeling van een zelf samengestelde, gebalanceerde Assamese klinker-spraakdataset.
2. Integratie van MFCC, STE en ZCR features om een robuuste spraakrepresentatie te creëren.
3. Ontwerp en implementatie van een LSTM-gebaseerd herkenningsmodel dat is afgestemd op de Assamese taal.
4. Vergelijkende evaluatie tegen bestaande deep learning modellen (BLSTM en SincConv+DSConv).
5. Analyse van de prestatiedegradatie veroorzaakt door fonetische gelijkenissen tussen specifieke Assamese klinkers.

Resultaten
Het systeem werd geëvalueerd met behulp van Precision, Recall, F1-Score, Accuracy en Word Error Rate (WER).

• Algemene Prestaties: Het model behaalde een gemiddelde classificatienauwkeurigheid van 95%, met een gemiddelde Precision van 84%, Recall van 83% en een F1-Score van 83%. De gemiddelde Word Error Rate (WER) was 18,60%.
• Per-klasse Analyse: Een hoge nauwkeurigheid (99%) werd waargenomen voor de klinkers /aa/ en /ea/. Echter, de prestaties verslechterden voor de klinkers /u/, /o/ en /a/ (weergegeven als 'oo' en 'ow' in de tekst), waarbij lagere Precision, Recall en F1-Scores werden getoond.
• Foutanalyse: De auteurs schrijven de hogere misclassificaties en verhoogde WER voor specifieke klinkers toe aan hun fonetische gelijkenissen. Spectrogrammen van /u/, /a'/ en /o/ toonden bijna gelijke formantbewegingen, wat leidde tot verwarring in het model en een toename van substitutiefouten.
• Vergelijkende Prestaties: Wanneer het wordt vergeleken met bestaande modellen (BLSTM en SincConv+DSConv) met dezelfde feature set, vertoonde het voorgestelde LSTM-model superieure prestaties, met een nauwkeurigheid van 95% vergeleken met 93,4% en 92% respectievelijk, en een lagere WER (18,60% versus 19,40% en 20,30%).

Betekenis en Claims
De auteurs positioneren dit werk als een fundamentele stap naar het behoud en de ontwikkeling van Assamese taaltechnologieën. Door aan te tonen dat een combinatie van standaard akoestische features en LSTM-netwerken zelfs met een relatief kleine, zelf samengestelde dataset een hoge nauwkeurigheid (95%) kan bereiken, valideert de studie de haalbaarheid van deep learning voor talen met lage middelen.

Het artikel erkent bescheiden de beperkingen, waarbij wordt opgemerkt dat de kleine omvang van de dataset de generalisatie kan beïnvloeden en dat de huidige reikwijdte beperkt is tot geïsoleerde klinkerherkenning. De auteurs benadrukken dat hoewel de classificatienauwkeurigheid hoog is, de WER een uitdaging blijft vanwege de inherente fonetische ambiguïteiten in de taal. Ze concluderen dat dit werk een basis biedt voor toekomstige verbeteringen, waarbij zij suggereren dat grotere datasets, geavanceerdere architecturen en optimalisatietechnieken de herkenningspercentages voor continue spraak en keyword detectie verder kunnen verbeteren.