Nw\=ach\=a Mun\=a: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR

Diese Arbeit stellt das neu kuratierte Devanagari-Sprachkorpus „Nwāchā Munā" für Nepal Bhasha vor und zeigt, dass ein feinabgestimmtes nepalesisches Conformer-Modell durch proximale Transferlernen die Leistung großer multilingualer Modelle bei der Spracherkennung erreicht und dabei eine rechen-effiziente Alternative für diese unterrepräsentierte Sprache bietet.

Das Wesentliche

Nwāchā Munā: Ein neues Ohr für eine alte Sprache

Stellen Sie sich vor, die Welt der künstlichen Intelligenz (KI) ist eine riesige Bibliothek. In dieser Bibliothek gibt es riesige, gut beleuchtete Abteilungen für Sprachen wie Englisch oder Chinesisch, die mit Tausenden von Büchern gefüllt sind. Aber dann gibt es kleine, dunkle Ecken für Sprachen wie das Nepal Bhasha (auch Newari genannt). Diese Sprache wird von über 800.000 Menschen gesprochen, ist aber in der digitalen Welt fast unsichtbar. Es gibt kaum Aufzeichnungen, die eine KI lernen könnte, um diese Sprache zu verstehen.

Dieses Papier erzählt die Geschichte davon, wie ein Team aus Nepal diese dunkle Ecke beleuchtet hat. Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Ein leeres Ohr

Stellen Sie sich vor, Sie wollen jemandem beibringen, eine Sprache zu verstehen, aber Sie haben ihm keine einzigen Hörbücher gegeben. Das ist das Problem mit Nepal Bhasha. Es gibt keine digitalen Aufnahmen, die eine KI trainieren könnten. Ohne diese Daten ist die KI "taub" für diese Sprache.

2. Die Lösung: Ein neues Hörbuch (Nwāchā Munā)

Die Forscher haben sich hingesetzt und ein eigenes Hörbuch erstellt. Sie nannten es "Nwāchā Munā" (was so viel bedeutet wie "Sprechen und Hören").

• Was ist es? Eine Sammlung von 5,39 Stunden Sprachaufnahmen.
• Wie wurde es gemacht? Sie haben 18 Muttersprachler aus verschiedenen Dörfern in Nepal gebeten, Sätze vorzulesen und zu sprechen. Diese Aufnahmen wurden dann von Menschen manuell in Text umgewandelt.
• Das Besondere: Alles wurde in der Devanagari-Schrift geschrieben (derselben Schrift, die auch für Nepali und Hindi verwendet wird). Das ist wichtig, weil es wie ein gemeinsames Alphabet ist, das die KI bereits kennt.

3. Der Trick: Die "Verwandten" nutzen

Jetzt kam der geniale Teil. Die Forscher fragten sich: "Müssen wir eine riesige, teure KI von Grund auf neu erfinden, oder können wir eine KI nehmen, die schon eine verwandte Sprache (Nepali) kennt, und sie einfach ein bisschen umschulen?"

Stellen Sie sich vor, Sie haben einen Musiker, der perfekt Geige spielen kann (Nepali). Sie wollen, dass er auch Cello spielt (Nepal Bhasha). Die Geige und das Cello sind unterschiedlich, aber sie haben beide Saiten und werden ähnlich gehalten.

• Der Versuch: Sie nahmen eine KI, die schon perfekt Nepali versteht (ein Modell namens NepConformer), und gaben ihr die neuen Nepal-Bhasha-Daten.
• Das Ergebnis: Die KI musste nicht von Null anfangen. Sie nutzte ihr Wissen über die Geige (Nepali), um das Cello (Nepal Bhasha) sehr schnell zu lernen.

4. Der Vergleich: Der kleine Verwandte vs. der riesige Riese

Die Forscher wollten wissen: Ist dieser "kleine Verwandte" (die umgeschulte Nepali-KI) besser als ein riesiger, internationaler KI-Riese, der alles Mögliche kennt (wie das Whisper-Modell von OpenAI)?

• Der Riese (Whisper): Ein riesiger Elefant, der alles kennt, aber sehr schwer zu bewegen ist und viel Strom braucht.
• Der Verwandte (NepConformer): Ein schlanker, schneller Hund, der die Sprache der Nachbarn kennt.

Das überraschende Ergebnis: Der kleine Hund (Nepali-KI) lief genauso schnell und genau wie der riesige Elefant! Tatsächlich wurde der Hund sogar noch besser, als die Forscher ihm ein paar "Tricks" beibrachten (wie das Verlangsamen oder Beschleunigen der Aufnahmen, um mehr Übungsmaterial zu simulieren).

5. Was haben wir gelernt?

Die Botschaft dieses Papers ist wie eine Erleuchtung für die Welt der KI:

• Man braucht keine riesigen Datenmengen: Wenn zwei Sprachen nah beieinander liegen (wie Nepali und Nepal Bhasha), reicht es oft aus, eine KI von der einen auf die andere zu übertragen.
• Effizienz: Man muss keine gigantischen, teuren Computermodelle bauen. Ein kleineres, angepasstes Modell funktioniert genauso gut.
• Kulturelle Rettung: Durch diese Technologie können Menschen, die Nepal Bhasha sprechen, endlich mit ihren Smartphones und Computern sprechen. Sie können Siri oder Alexa auf ihrer eigenen Sprache fragen. Das hilft, die Sprache am Leben zu erhalten.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, die KI ist ein Übersetzer. Bisher konnte dieser Übersetzer nur Englisch und Französisch (große Sprachen) perfekt übersetzen. Wenn er versucht, ein kleines Dorf-Dialekt (Nepal Bhasha) zu verstehen, war er völlig verloren.

Dieses Papier sagt: "Hey, wir haben einen Übersetzer, der Französisch perfekt kann. Da das Dorf-Dialekt dem Französisch sehr ähnlich ist, reicht es, ihm ein paar Wörterbücher für das Dialekt zu geben. Er wird das Dialekt fast so gut verstehen wie ein Muttersprachler, ohne dass wir eine neue, riesige Übersetzungs-Fabrik bauen müssen."

Das ist Nwāchā Munā: Ein Beweis dafür, dass man mit klugen Tricks und Respekt vor der lokalen Kultur auch die kleinsten Sprachen in die digitale Zukunft bringen kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Nwāchā Munā: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR" auf Deutsch:

1. Problemstellung

Die Sprache Nepal Bhasha (auch Newari genannt) ist eine vom Aussterben bedrohte Sprache im Kathmandu-Tal, die trotz einer aktiven Sprecherbasis von über 860.000 Menschen und einer offiziellen Anerkennung in der Provinz Bagmati digital marginalisiert ist. Der Hauptgrund dafür ist der extreme Mangel an annotierten Sprachdaten, was die Entwicklung moderner Systeme für die Automatische Spracherkennung (ASR) verhindert.

Bestehende ASR-Systeme basieren oft auf großen, mehrsprachigen Vorabtrainings (wie Whisper) oder erfordern massive Datensätze, die für indigene Sprachen wie Nepal Bhasha nicht verfügbar sind. Die zentrale Forschungsfrage lautet: Kann ein proximaler Transfer (Übertragung) von einer geografisch und linguistisch benachbarten Sprache (Nepali) in einem ultra-low-resource Setting eine Leistung erzielen, die mit massiven mehrsprachigen Vorabtrainings vergleichbar ist?

2. Methodik

A. Datenerstellung: Nwāchā Munā Corpus

Die Autoren haben einen neu kuratierten, manuell transkribierten Sprachkorpus namens Nwāchā Munā erstellt.

• Umfang: 5,39 Stunden Audio mit 5.727 Äußerungen.
• Schrift: Transkription in Devanagari (im Gegensatz zu früheren Arbeiten, die oft romanisierte Transkriptionen verwendeten), was für die orthografische Konsistenz entscheidend ist.
• Datenquellen:
  • Text: Wikipedia, OSCAR-Datensatz, regionale Zeitungen, Literatur und Schulbücher.
  • Audio: Feldaufnahmen von 18 Muttersprachlern (stratifiziert nach Alter und Geschlecht) in Banepa, Dhulikhel, Panauti und Patan sowie Web-Audio, das von Romanisierter Schrift in Devanagari transliteriert wurde.
• Datenaugmentierung: Um die Datenknappheit zu überwinden, wurden Techniken wie Geschwindigkeitsveränderung (Speed Perturbation), Volumenrandomisierung, Rauschinjektion, Zeitdehnung und Pitch-Shifting angewendet.

B. Modellarchitektur und Trainingsstrategien

Das Paper vergleicht verschiedene Transfer-Learning-Ansätze:

1. Zero-Shot Baseline: Bewertung eines vortrainierten NepConformer-Modells (für Nepali trainiert) ohne Anpassung an Nepal Bhasha.
2. Supervised Fine-Tuning:
   • Vollständiges Fine-Tuning des NepConformer-Modells.
   • Decoder-only Fine-Tuning: Der Encoder (akustische Merkmale) bleibt eingefroren (frozen), nur der Decoder wird angepasst. Dies testet, ob die Nepali-Akustikmerkmale direkt übertragbar sind.
   • Fine-Tuning des Whisper-Small Modells (244M Parameter) als Benchmark für mehrsprachige Vorabtrainings.
3. Sprachmodellierung: Integration eines externen KenLM n-gram Sprachmodells mittels Shallow Fusion während der Decodierung, um die lexikalische Konsistenz zu verbessern.
4. Semi-supervised Learning: Versuch, 13,65 Stunden ungelabelte Broadcast-Daten durch Pseudo-Labeling zu nutzen (dies führte jedoch zu einem Leistungsabfall aufgrund von Domänenverschiebungen).

3. Schlüsselbeiträge

1. Nwāchā Munā Korpus: Die Veröffentlichung des ersten hochwertigen, Devanagari-basierten Sprachkorpus für Nepal Bhasha (5,39 Stunden).
2. Benchmarking: Der erste kontrollierte Vergleich zwischen proximalem Transfer (Nepali → Newari) und multilingualem Pretraining (Whisper) in einem ultra-low-resource Szenario.
3. Ergebnis zur Effizienz: Der Nachweis, dass ein kleineres, monolingual vortrainiertes Modell (Nepali) durch gezieltes Fine-Tuning und Daten-Augmentierung die Leistung riesiger mehrsprachiger Modelle erreichen kann, bei deutlich geringerem Rechenbedarf und weniger Parametern.

4. Ergebnisse und Diskussion

Die Leistung wurde primär anhand der Character Error Rate (CER) gemessen:

• Zero-Shot (Nepali → Newari): Sehr schlecht mit 52,54 % CER, was zeigt, dass trotz gemeinsamer Schrift die phonologischen Unterschiede eine explizite Anpassung erfordern.
• Fine-Tuning (NepConformer): Reduzierte die CER auf 18,72 %.
• Fine-Tuning (Whisper-Small): Erzielte 18,76 % CER.
  • Bedeutung: Das kleinere, monolingual vortrainierte Modell (NepConformer) schaffte es, das massive mehrsprachige Whisper-Modell fast exakt zu erreichen.
• Mit Daten-Augmentierung:
  • NepConformer: 17,59 % CER (State-of-the-Art für diese Sprache).
  • Whisper-Small: 17,88 % CER.
• Decoder-only vs. Full Fine-Tuning: Das Einfrieren des Encoders (nur Decoder anpassen) ergab mit 18,77 % CER fast identische Ergebnisse wie das vollständige Fine-Tuning (18,72 %). Dies bestätigt, dass die akustischen Merkmale des Nepali-Encoders für Newari bereits ausreichend generalisiert sind.
• Shallow Fusion: Die Integration von KenLM reduzierte die Wortfehlerrate (WER) um ca. 11,7 %, erhöhte jedoch leicht die CER (auf ~19,75 %), da das Sprachmodell standardisierte Schreibweisen bevorzugt und lokale phonetische Variationen unterdrückt.

Fehleranalyse:
Die Hauptfehlerquellen liegen nicht in der Erkennung einzelner Zeichen, sondern in der morphologischen Segmentierung und der korrekten Modellierung von Diakritika (wie Nasalierung, Halant, Visarga). Die agglutinative Struktur der Sprache führt zu komplexen Wortgrenzen und Zeichenkombinationen, die das Modell oft falsch zusammensetzt.

5. Bedeutung und Fazit

Das Paper demonstriert, dass für vom Aussterben bedrohte Sprachen in Südasien proximale Transfer-Learning-Strategien eine rechen-effiziente und leistungsfähige Alternative zu massiven mehrsprachigen Modellen darstellen.

• Technische Implikation: Es ist nicht zwingend notwendig, riesige multilinguale Modelle zu trainieren, wenn eine linguistisch nahe Verwandte (hier Nepali) mit ähnlicher Schrift verfügbar ist. Die Kombination aus Encoder-Reuse, Decoder-Adaption und Daten-Augmentierung reicht aus, um hohe Genauigkeit zu erreichen.
• Soziale Relevanz: Durch die Bereitstellung des offenen Datensatzes und der Benchmarks wird die digitale Inklusion der Newari-Gemeinschaft gefördert und die Dokumentation ihres kulturellen Erbes unterstützt.
• Limitationen: Das Korpus ist im Vergleich zu Standard-ASR-Benchmarks noch klein und besteht hauptsächlich aus vorgelesenen Sätzen. Spontane Sprache und Domänenverschiebungen (z.B. bei Pseudo-Labeling) stellen weiterhin Herausforderungen dar.

Zusammenfassend bietet „Nwāchā Munā" einen skalierbaren Bauplan für die ASR-Entwicklung in anderen unterrepräsentierten Sprachen der Region.