BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language

Dit artikel introduceert BaltiVoice, het eerste publiekelijk beschikbare spraakcorpus en het gefinetunede Whisper ASR-model voor de Balti-taal, dat de woordfoutpercentages aanzienlijk vermindert van een zero-shot baseline van 182,18% naar 30,07% op een dataset van 16,8 uur afgeleid van Mozilla Common Voice.

De kern

Stel je voor dat je een bibliotheek met boeken hebt, maar voor één specifieke taal — Balti, gesproken door ongeveer 400.000 mensen in Pakistan en India — zijn er helemaal geen boeken. Niet alleen geen boeken, maar ook geen stemassistenten, geen dicteersoftware en geen manier voor computers om het gesproken woord te begrijpen. Het is alsof je een stad probeert te navigeren zonder straatnaamborden of kaarten.

Dit artikel introduceert BaltiVoice, een project ontworpen om die eerste kaart te tekenen.

Het Probleem: Een Taal in het Duister

Balti is een unieke taal met een eigen klank en grammatica, geschreven in een prachtig schrift genaamd Nastaliq (dat op Urdu lijkt). Ondanks dat er een grote gemeenschap van sprekers is, is het volledig onzichtbaar voor de wereld van Kunstmatige Intelligentie. Als je een slimme computer vóór dit project zou vragen om naar Balti te "luisteren", zou dat zijn als een hond vragen om een boek te lezen; de computer zou willekeurig gokken en bijna alles fout doen.

De Oplossing: Het Bouwen van een Trainingsgym

Om een computer te leren een taal te spreken, moet je hem duizenden voorbeelden laten horen van mensen die die taal spreken. De auteur, Muhammad Ali, ging naar een massaal online gemeenschapsproject genaamd Mozilla Common Voice. Zie dit als een wereldwijde opnamecabine waar vrijwilligers zinnen hardop voorlezen.

• De Collectie: Ali verzamelde 16,8 uur aan opgenomen spraak.
• Het Volume: Dit komt overeen met 10.060 zinnen uitgesproken door 136 verschillende mensen.
• De Validatie: Net zoals een leraar huiswerk nakijkt, controleerden andere vrijwilligers of deze opnames wel correct waren.

Deze collectie wordt nu de BaltiVoice corpus genoemd. Het is het eerste publieke "leerboek" ooit om computers iets te leren over de Balti-taal.

De Leraar: Whisper en de "Urdu"-truc

De auteur heeft geen computerbrein vanaf nul opgebouwd. In plaats daarvan gebruikte hij een reeds bestaand, zeer slim AI-model genaamd Whisper (specifiek de "small" versie).

Stel je Whisper voor als een meertalige student die al 99 talen heeft bestudeerd (zoals Engels, Spaans en Mandarijn) gedurende duizenden uren. Echter, deze student heeft nooit eerder Balti gehoord. Als je deze student nu om Balti zou vragen te luisteren, zou hij hallucineren en onzin uitkramen, waarbij hij ongeveer 182% van de woorden fout heeft (wat betekent dat hij woorden verzint die helemaal niet zijn gezegd).

Om dit op te lossen, gebruikte de auteur een slimme truc:

• De Analogie: Omdat Balti in het Nastaliq-schrift wordt geschreven (dat erg lijkt op Urdu), zei de auteur tegen de AI: "Hé, doe alsof dit even Urdu is."
• De Training: De AI werd vervolgens "gefine-tuned". Dit is alsof je die meertalige student die crashcursus geeft met behulp van de 16,8 uur aan Balti-opnames. De student moest luisteren, de tekst lezen en de specifieke klanken van Balti leren.

De Resultaten: Van Chaos naar Helderheid

Na ongeveer 2 uur training op een standaardcomputer, waren de resultaten spectaculair:

1. Vóór de Training: De AI gokte wild rond (182% foutenpercentage). Hij was in feite dingen aan het verzinnen.
2. Na de Training: De fouten van de AI daalden naar 30%.

Wat betekent een foutenpercentage van 30%?
Stel je voor dat de AI naar een zin luistert. Als de zin 10 woorden heeft, krijgt de AI er ongeveer 7 goed en 3 fout.

• Is het perfect? Nee. Het is nog niet goed genoeg voor de dictie van een arts of een juridisch transcript waar elk woord exact moet zijn.
• Is het nuttig? Ja. Het bewijst dat de taal door machines begrepen kan worden. Het is het verschil tussen een blinde persoon die in het donker struikelt en een persoon die nu een zwak licht aan de horizon kan zien.

Waarom Dit Belangrijk Is

Het artikel benadrukt dat dit niet alleen gaat over het behalen van een hoge score; het gaat over het starten van de conversatie.

• De Basislijn: Vóór dit moment was er geen manier om vooruitgang te meten. Nu hebben onderzoekers een "startlijn" om vanaf te vertrekken.
• De Toekomst: De auteur hoopt dat deze open-source "gym" (de data en het getrainde model) andere wetenschappers in staat zal stellen om binnen te komen, meer training te doen en uiteindelijk dat foutenpercentage te verlagen.

De Kernboodschap

Dit artikel is een fundamentele stap. Het nam een taal die onzichtbaar was voor AI, bouwde een kleine bibliotheek van gesproken voorbeelden, en leerde een slimme computer hoe hij ernaar moet luisteren. Hoewel de computer nog steeds fouten maakt (ongeveer één op de drie woorden), is hij bewogen van "totale verwarring" naar "het begrijpen van de basis", wat de deur opent naar toekomstige hulpmiddelen waarmee Balti-sprekers in hun eigen taal met technologie kunnen communiceren.

Technische samenvatting

Technische Samenvatting: BaltiVoice

Probleemstelling
De Balti-taal (ISO 639-3: bft), die door ongeveer 400.000 mensen in Gilgit-Baltistan (Pakistan) en delen van Ladakh (India) wordt gesproken, is historisch gezien afwezig geweest in onderzoek naar Natural Language Processing (NLP) en Automatic Speech Recognition (ASR). Ondanks dat het een Tibetische taal is met een eigen fonologie en grammatica, en geschreven wordt in een op Nastaliq gebaseerd schrift dat is aangepast vanuit het Urdu, waren er geen publiek beschikbare ASR-bronnen, geannoteerde spraakcorpora of basissystemen voor de taal. Als gevolg hiervan hebben sprekers geen toegang tot steminterfaces, dicteersoftware en toegankelijkheidstools in hun moedertaal, en hebben onderzoekers geen metriek om vooruitgang in Balti ASR te meten.

Methodologie
Om deze kloof te dichten, ontwikkelden de auteurs BaltiVoice, een pipeline voor gegevensverzameling, voorbewerking en model fine-tuning:

• Datasetconstructie: Het corpus werd afgeleid van de Mozilla Common Voice Balti-subset. De auteurs maakten gebruik van 10.060 gevalideerde uitingen (van de 10.547 opgenomen fragmenten), wat in totaal 16,8 uur aan spraak oplevert. De data bestaat uit voorlees-spraakopnames in het oorspronkelijke Nastaliq-schrift.

  • Voorbewerking: Audiobestanden werden omgezet van MP3 naar 16 kHz mono WAV-formaat. Uitingen met minder dan twee woorden werden weggefilterd.
  • Splitsing: Er werd een strikte spreker-disjuncte splitsing toegepast met behulp van GroupShuffleSplit (seed 42) om te garanderen dat er geen overlap is tussen de sprekers in de trainings- en validatiesets. Dit resulteerde in 9.519 trainingsuitingen (122 sprekers) en 538 validatieuitingen (14 sprekers).
  • Normalisatie: Er werd geen tekstnormalisatie toegepast; interpunctie werd behouden zoals verstrekt. De auteurs merkten een beperking op met betrekking tot Unicode-ambiguïteit in het Nastaliq-schrift (bijv. verschillende codepoints voor visueel identieke tekens), maar stelden systematische normalisatie uit naar toekomstig werk.

• Modelarchitectuur en Training:

  • Basismodel: OpenAI's Whisper-small (244M parameters) werd gekozen als het basismodel. Dit werd verkozen boven grotere varianten (bijv. Whisper-medium) vanwege de geheugenbeperkingen op de gebruikte NVIDIA T4 GPU tijdens de training.
  • Tokenisatie: De tokenizer werd geïnitialiseerd met language="urdu" en task="transcribe". Deze keuze werd gemotiveerd door de gelijkenis in schrift tussen Balti en Urdu (beiden gebruiken Nastaliq), waardoor het model de Balti Unicode-tekens correct kan afhandelen zonder karakterverlies tijdens de round-trip tokenisatie.
  • Fine-tuning: Het model werd gefinetuned met de HuggingFace Transformers Seq2SeqTrainer met de AdamW-optimizer, een leersnelheid van $1 \times 10^{-5}$ en fp16-precisie. De training liep 1.000 stappen over 16,8 uur aan data, waarbij checkpoints elke 250 stappen werden opgeslagen.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire artefacten, die alle drie publiekelijk beschikbaar zijn gesteld op HugserFace en GitHub:

1. BaltiVoice Corpus: Een 16,8-urige, 10.060-uitingen tellende voorlees-spraakcorpus met originele Nastaliq-transcripties, uitgebracht onder CC0.
2. Whisper-small-balti: Een specifiek voor de Balti-taal gefinetuned ASR-model.
3. Reproduceerbare Pipeline: Volledige trainingscode, een Colab-notebook en een live Gradio-demo voor transcriptie.

Resultaten
Het gefinetunede model vertoonde een significante verbetering ten opzichte van de zero-shot baseline:

• Zero-Shot Baseline: Wanneer toegepast op Balti zonder fine-tuning, produceerde Whisper-small een Word Error Rate (WER) van 182,18%. De auteurs merken op dat een WER boven de 100% aangeeft dat het model woorden hallucineert die niet in de referentie aanwezig zijn, wat bevestigt dat Balti volledig buiten de pretraining-distributie van het model valt.
• Fine-Tuned Prestaties: Na 1.000 trainingsstappen bereikte het model een WER van 30,07% op de apart gehouden validatieset.
• Foutanalyse: Kwalitatieve analyse suggereert dat de meeste fouten bestaan uit enkelvoudige karaktervervangingen aan het einde van woorden, wat consistent is met het feit dat het model lexicale patronen leert maar worstelt met de morfologische complexiteit van de agglutinerende taal. Fouten in het verwijderen of invoegen van volledige woorden kwamen minder vaak voor.

Betekenis en Claims
De auteurs kaderen de betekenis van dit werk als het vestigen van een meetbaar startpunt voor een taal die er voorheen geen had.

• Baseline Vestiging: Het primaire doel is om een reproduceerbare baseline te bieden om toekomstig onderzoek in Balti NLP te versnellen.
• Haalbaarheid van Low-Resource Transfer: De reductie van de WER van 182% naar 30% met slechts 16,8 uur aan data suggereert dat cross-linguale transfer van verwante talen (met name Urdu en Tibetaans, die een vergelijkbaar schrift en fonologische kenmerken delen) effectief is, zelfs voor talen die afwezig zijn in de pretraining-distributie.
• Bescheiden Verwachtingen: De auteurs stellen expliciet dat een WER van 30% "te hoog is voor dictatie" of algemene toegankelijkheidstools, omdat het vereist dat ongeveer één op de drie woorden wordt gecorrigeerd. Ze argumenteren echter dat de output bruikbaar kan zijn voor nauwere taken zoals keyword spotting of onderwerpdetectie, waar exacte transcriptie minder kritiek is.
• Toekomstige Richtingen: Het artikel identificeert duidelijke paden voor verbetering, waaronder tekstnormalisatie voor de Balti-morfologie, het uitbreiden van het corpus met spontane (conversationele) spraak, en het experimenteren met grotere modelvarianten (bijv. Whisper-medium) onder grotere rekenbudgetten.

Het artikel concludeert door de nadruk te leggen op de release van alle artefacten om de drempel voor toekomstig onderzoek te verlagen, terwijl het ook de beperkingen erkent zoals het gebruik van voorlees-spraakdata in plaats van spontane conversatie.