BaltiVoice: A Speech Corpus and Fine-tuned Whisper ASR System for the Balti Language

Dieses Paper stellt BaltiVoice vor, das erste öffentlich verfügbare Sprachkorpus und das feinabgestimmte Whisper-ASR-Modell für die baltische Sprache, welches die Wortfehlerraten von einer Zero-Shot-Baseline von 182,18 % auf 30,07 % bei einem 16,8-stündigen Datensatz aus Mozilla Common Voice signifikant reduziert.

Das Wesentliche

Stellen Sie sich vor, Sie hätten eine Bibliothek voller Bücher, aber für eine ganz bestimmte Sprache – Balti, die von etwa 400.000 Menschen in Pakistan und Indien gesprochen wird – gibt es überhaupt keine Bücher. Nicht nur keine Bücher, sondern auch keine Sprachassistenten, keine Diktiersoftware und keine Möglichkeit für Computer, das gesprochene Wort zu verstehen. Es ist, als würde man versuchen, eine Stadt ohne Straßenschilder oder Landkarten zu navigieren.

Dieses Paper stellt BaltiVoice vor, ein Projekt, das darauf abzielt, genau diese erste Landkarte zu erstellen.

Das Problem: Eine Sprache im Dunkeln

Balti ist eine einzigartige Sprache mit eigenen Klängen und einer eigenen Grammatik, die in einer wunderschönen Schrift namens Nastaliq geschrieben wird (die dem Urdu ähnelt). Trotz einer großen Anzahl von Sprechern war sie für die Welt der Künstlichen Intelligenz vollkommen unsichtbar. Wenn Sie versucht hätten, einen intelligenten Computer vor diesem Projekt bitten zu lassen, „zuzuhören“, wäre das so, als würde man einen Hund bitten, ein Buch zu lesen; der Computer würde einfach zufällig raten und fast alles falsch machen.

Die Lösung: Den Trainings-Gym bauen

Um einem Computer beizubringen, eine Sprache zu sprechen, muss man ihm tausende Beispiele zeigen, wie Menschen sie sprechen. Der Autor, Muhammad Ali, wandte sich an ein massives Online-Community-Projekt namens Mozilla Common Voice. Stellen Sie sich dies als eine globale Aufnahmestelle vor, in der Freiwillige Sätze laut vorlesen.

• Die Sammlung: Ali sammelte 16,8 Stunden an gesprochenem Material.
• Das Volumen: Dies entspricht 10.060 Sätzen, gesprochen von 136 verschiedenen Personen.
• Die Validierung: Genau wie ein Lehrer, der Hausaufgaben korrigiert, überprüften andere Freiwillige diese Aufnahmen, um sicherzustellen, dass sie korrekt waren.

Diese Sammlung wird nun als BaltiVoice-Korpus bezeichnet. Es ist das erste öffentliche „Lehrbuch“, um Computer etwas über die Sprache Balti beizubringen.

Der Lehrer: Whisper und der „Urdu“-Trick

Der Autor hat kein Computergehirn von Grund auf neu erschaffen. Stattdessen nutzte er ein bereits existierendes, sehr intelligentes KI-Modell namens Whisper (speziell die „Small“-Version).

Stellen Sie sich Whisper wie einen polyglotten Studenten vor, der bereits 99 Sprachen (wie Englisch, Spanisch und Mandarin) über tausende von Stunden hinweg studiert hat. Dieser Student hat jedoch noch nie von Balti gehört. Wenn Sie diesen Studenten jetzt bitten würden, auf Balti zu hören, würde er Unsinn halluzinieren und dabei etwa 182 % der Wörter falsch machen (was bedeutet, dass er Wörter erfindet, die gar nicht gesagt wurden).

Um dies zu beheben, wandte der Autor einen klugen Trick an:

• Die Analogie: Da Balti in der Nastaliq-Schrift geschrieben wird (die dem Urdu sehr ähnlich ist), sagte der Autor der KI: „Hey, tu so, als wäre das gerade Urdu.“
• Das Training: Die KI wurde daraufhin „feingetuned“ (fine-tuned). Das ist so, als würde man diesen polyglotten Studenten nehmen und ihm einen Intensivkurs mit den 16,8 Stunden an Balti-Aufnahmen geben. Der Student musste zuhören, den Text lesen und die spezifischen Klänge von Balti lernen.

Die Ergebnisse: Von Chaos zu Klarheit

Nach etwa 2 Stunden Training auf einem Standardcomputer waren die Ergebnisse dramatisch:

1. Vor dem Training: Die KI rät wild herum (182 % Fehlerrate). Sie stellt im Grunde Dinge aus der Luft.
2. Nach dem Training: Die Fehler der KI sanken auf 30 %.

Was bedeutet eine Fehlerrate von 30 %?
Stellen Sie sich vor, die KI hört einen Satz. Wenn der Satz 10 Wörter hat, bekommt die KI etwa 7 richtig und 3 falsch.

• Ist es perfekt? Nein. Es ist noch nicht gut genug für die Diktatführung eines Arztes oder ein juristisches Transkript, bei dem jedes Wort exakt sein muss.
• Ist es nützlich? Ja. Es beweist, dass die Sprache von Maschinen verstanden werden kann. Es ist der Unterschied zwischen einem blinden Menschen, der im Dunkeln stolpert, und einer Person, die nun ein schwaches Licht am Horizont sehen kann.

Warum das wichtig ist

Das Paper betont, dass es hierbei nicht nur um das Erreichen einer hohen Punktzahl geht; es geht darum, das Gespräch zu beginnen.

• Die Baseline: Vorher gab es keine Möglichkeit, Fortschritte zu messen. Jetzt haben Forscher eine „Startlinie“, von der aus sie loslaufen können.
• Die Zukunft: Der Autor hofft, dass dieser Open-Source „Gym“ (die Daten und das trainierte Modell) es anderen Wissenschaftlern ermöglichen wird, einzusteigen, mehr Training durchzuführen und letztendlich die Fehlerrate weiter zu senken.

Das Fazit

Dieses Paper ist ein grundlegender Schritt. Es hat eine Sprache, die für die KI unsichtbar war, eine kleine Bibliothek mit gesprochenen Beispielen aufgebaut und einem intelligenten Computer beigebracht, ihr zuzuhören. Obwohl der Computer noch Fehler macht (etwa jedes dritte Wort), hat er sich von „totaler Verwirrung“ zu einem „Verständnis der Grundlagen“ bewegt und damit die Tür für zukünftige Werkzeuge geöffnet, die es Balti-Sprechern ermöglichen könnten, mit Technologie in ihrer eigenen Sprache zu interagieren.

Technische Zusammenfassung

Technisches Resümee: BaltiVoice

Problemstellung
Die Sprache Balti (ISO 639-3: bft), die von etwa 400.000 Menschen in Gilgit-Baltistan (Pakistan) und Teilen von Ladakh (Indien) gesprochen wird, war historisch gesehen in der Forschung zu natürlicher Sprachverarbeitung (NLP) und automatischer Spracherkennung (ASR) nicht vertreten. Trotz eines tibetischen Ursprungs mit einer distinkten Phonologie und Grammatik sowie einer in Nastaliq-Schrift verfassten, an das Urdu angelehten Schreibweise, gab es keine öffentlich verfügbaren ASR-Ressourcen, annotierten Sprachkorpora oder Baseline-Systeme für die Sprache. Infolgedessen fehlt den Sprechern der Zugang zu Sprachschnittstellen, Diktiersoftware und Barrierefreiheits-Tools in ihrer Muttersprache, und Forscher verfügen über kein Maß für den Fortschritt in der Balti-ASR.

Methodik
Um diese Lücke zu schließen, entwickelten die Autoren BaltiVoice, eine Pipeline für Datenerhebung, Vorverarbeitung und Modell-Feinabstimmung:

• Datensatz-Konstruktion: Der Korpus wurde aus einem Teilbereich von Mozilla Common Voice Balti abgeleitet. Die Autoren nutzten 10.060 validierte Äußerungen (von 10.547 aufgezeichneten Clips), was insgesamt 16,8 Stunden Sprache entspricht. Die Daten bestehen aus vorgelesenen Sprachaufnahmen in nativer Nastaliq-Schrift.

  • Vorverarbeitung: Die Audiodateien wurden von MP3 in das 16-kHz-Mono-WAV-Format konvertiert. Äußerungen mit weniger als zwei Wörtern wurden herausgefiltert.
  • Aufteilung (Splitting): Es wurde ein striktes sprecher-disjunktes Splitting mittels GroupShuffleSplit (Seed 42) angewendet, um sicherzustellen, dass es keine Überschneidungen zwischen Sprechern in den Trainings- und Validierungssets gibt. Dies resultierte in 9.519 Trainingsäußerungen (122 Sprecher) und 538 Validierungsäußerungen (14 Sprecher).
  • Normalisierung: Es wurde keine Textnormalisierung angewandt; Satzzeichen wurden wie vorgegeben beibehalten. Die Autoren merkten eine Einschränkung hinsichtlich der Unicode-Ambiguität in der Nastaliq-Schrift an (z. B. unterschiedliche Codepoints für visuell identische Zeichen), vertraten jedoch die systematische Normalisierung auf zukünftige Arbeiten.

• Modellarchitektur und Training:

  • Basismodell: OpenAI's Whisper-small (244 Mio. Parameter) wurde als Basismodell gewählt. Es wurde aufgrund von Speicherbeschränkungen auf der verwendeten NVIDIA T4 GPU gegenüber größeren Varianten (z. B. Whisper-medium) bevorzugt.
  • Tokenisierung: Der Tokenizer wurde mit language="urdu" und task="transcribe" initialisiert. Diese Wahl wurde durch die Ähnlichkeit der Skripte zwischen Balti und Urdu (beide nutzen Nastaliq) begründet, was es dem Modell ermöglicht, Balti-Unicode-Zeichen korrekt zu handhaben, ohne dass es bei der Round-Trip-Tokenisierung zu Zeichenverlust kommt.
  • Feinabstimmung (Fine-tuning): Das Modell wurde unter Verwendung des HuggingFace Transformers Seq2SeqTrainer mit dem AdamW-Optimizer, einer Lernrate von $1 \times 10^{-5}$ und fp16-Präzision feinabgestimmt. Das Training lief über 1.000 Schritte auf 16,8 Stunden Daten, wobei alle 250 Schritte Checkpoints gespeichert wurden.

Zentrale Beiträge
Das Paper präsentiert drei primäre Artefakte, die alle öffentlich auf HuggingFace und GitHub veröffentlicht wurden:

1. BaltiVoice Korpus: Ein 16,8-stündiger, 10.060 Äußerungen umfassender vorgelesener Sprachkorpus mit nativen Nastaliq-Transkriptionen, veröffentlicht unter CC0.
2. Whisper-small-balti: Ein speziell für die Sprache Balti feinabgestimmtes ASR-Modell.
3. Reproduzierbare Pipeline: Vollständiger Trainingscode, ein Colab-Notebook und eine Live-Gradio-Demo zur Transkription.

Ergebnisse
Das feinabgestimmte Modell zeigte eine signifikante Verbesserung gegenüber der Zero-Shot-Baseline:

• Zero-Shot Baseline: Bei der Anwendung auf Balti ohne Feinabstimmung produzierte Whisper-small eine Wortfehlerrate (Word Error Rate, WER) von 182,18 %. Die Autoren merken an, dass eine WER über 100 % darauf hindeutet, dass das Modell Wörter halluziniert, die nicht in der Referenz vorhanden sind, was bestätigt, dass Balti vollständig außerhalb der Pretraining-Distribution des Modells liegt.
• Leistung nach Feinabstimmung: Nach 1.000 Trainingsschritten erreichte das Modell eine WER von 30,07 % auf dem gehaltenen Validierungsset.
• Fehleranalyse: Eine qualitative Analyse deutet darauf hin, dass die meisten Fehler Einzelzeichen-Substitutionen am Wortende sind, was konsistent damit ist, dass das Modell lexikalische Muster lernt, aber mit den morphologischen Komplexitäten der agglutinierenden Sprache kämpft. Fehler beim Löschen oder Einfügen ganzer Wörter waren seltener.

Bedeutung und Behauptungen
Die Autoren rahmen die Bedeutung dieser Arbeit als die Etablierung eines messbaren Ausgangspunkts für eine Sprache ein, die zuvor keinen hatte.

• Etablierung einer Baseline: Das primäre Ziel ist es, eine reproduzierbare Baseline bereitzustellen, um die zukünftige Forschung in der Balti-NLP zu beschleunigen.
• Machbarkeit von Low-Resource Transfer: Die Reduktion der WER von 182 % auf 30 % unter Verwendung von nur 16,8 Stunden Daten legt nahe, dass das kreuzsprachliche Transferlernen von verwandten Sprachen (insbesondere Urdu und Tibetisch, die ähnliche Skripte und phonologische Merkmale teilen) effektiv ist, selbst für Sprachen, die außerhalb der Pretraining-Distribution liegen.
• Bescheidene Erwartungen: Die Autoren stellen explizit fest, dass eine WER von 30 % „zu hoch für Diktierfunktionen“ oder allgemeine Barrierefreiheits-Tools ist, da man etwa jedes dritte Wort korrigieren muss. Sie argumentieren jedoch, dass die Ausgabe für engere Aufgaben wie Keyword-Spotting oder Themenerkennung nutzbar sein könnte, bei denen eine exakte Transkription weniger kritisch ist.
• Zukünftige Richtungen: Das Paper identifiziert klare Pfade zur Verbesserung, einschließlich der Textnormalisierung für die Balti-Morphologie, der Erweiterung des Korpus durch spontane (konversationelle) Sprache und des Experimentierens mit größeren Modellvarianten (z. B. Whisper-medium) unter größeren Rechenbudgets.

Das Paper schließt mit der Betonung, dass alle Artefakte veröffentlicht werden, um die Hürden für die zukünftige Forschung zu senken, während gleichzeitig die Limitationen wie die Verwendung von vorgelesenen Sprachdaten statt spontaner Konversation eingeräumt werden.