Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

Die Spracherkennungstechnologie hat bemerkenswerte Fortschritte gemacht und ermöglicht es Maschinen, menschliche Stimmen in vielen Sprachen zu verstehen. Doch für Sprecher weniger dokumentierter Dialekte stößt diese Technologie oft an eine Wand. Die Herausforderung besteht nicht nur darin, dass eine Maschine vielleicht einen bestimmten Laut nicht korrekt hört; manchmal liegt das Problem darin, dass die Maschine und der Mensch völlig unterschiedliche „Schriften“ sprechen. In der Welt des Kurdischen, einer Sprache, die in Iran, Irak, Türkei und Syrien gesprochen wird, ist diese Kluft tief. Einige Varietäten werden unter Verwendung eines auf arabischen Buchstaben basierenden Skripts geschrieben, während andere – oder sogar dieselbe Varietät in verschiedenen Regionen – unter Verwendung eines lateinischen Alphabets mit speziellen Markierungen geschrieben werden, um einzigartige Laute einzufangen. Wenn ein Computer, der auf einem Skript trainiert wurde, versucht, einen Satz in einem anderen Skript zu lesen, scheitert er oft nicht, weil er die Wörter nicht hören kann, sondern weil er die Symbole nicht erkennen kann. Dies schafft ein Messproblem: Wenn eine Maschine den Klang richtig wiedergibt, ihn aber in der falschen Schrift schreibt, zählen Standardtests dies als völliges Versagen, wodurch die Tatsache verborgen bleibt, dass die Maschine die Sprache tatsächlich verstanden hat.

Dies ist das spezifische Rätsel, mit dem sich Hiwa Asadpour bei der Untersuchung von Garrusi, einer in Iran gesprochenen kurdischen Varietät, befasste. Asadpour wollte sehen, wie gut ein leistungsfähiges, bereits existierendes Spracherkennungssystem die Garrusi-Sprecher verstehen kann, obwohl das System nie für diesen spezifischen Dialekt trainiert wurde. Das verwendete System, bekannt als MMS-1B-all, wurde für Zentral-Kurdisch angepasst und gibt Text im arabischen Skript aus. Die Forscher hatten jedoch Aufnahmen von fünf Garrusi-Sprechern gesammelt und die korrekten Wörter unter Verwendung eines lateinischen Alphabets mit phonetischen Markierungen aufgeschrieben. Um die beiden zu vergleichen, mussten sie die Lücke zwischen dem vom Computer erzeugten arabischen Skript und dem von ihnen aufgeschriebenen lateinischen Skript überbrücken. Dies taten sie, indem sie einen schrittweisen Prozess entwickelten: Zuerst konvertierten sie die arabische Ausgabe der Maschine in lateinische Buchstaben und vereinfachten dann diese Buchstaben, um sie an den spezifischen Stil des Referenztextes anzupassen. Diese Methode ermöglichte es ihnen, genau zu sehen, wie viel des Fehlers auf den Unterschied im Schriftsystem zurückzuführen war und wie viel darauf, dass die Maschine tatsächlich die Wörter nicht verstand.

Die Ergebnisse zeigten eine ernüchternde Realität. Als die Forscher die rohe arabische Ausgabe der Maschine direkt mit ihrem lateinischen Referenztext ohne jegliche Konvertierung verglichen, schien das System völlig versagt zu haben. Es wies eine Wortfehlerrate von über 111 Prozent auf, wobei kein einziges Wort übereinstimmte. Dies geschah, weil die beiden Skripte keine gemeinsamen Buchstaben teilen; die Maschine sprach eine andere visuelle Sprache als die Forscher. Sobald die Forscher jedoch die Ausgabe der Maschine in lateinische Buchstaben konvertierten, änderte sich das Bild dramatisch. Die Fehlerrate sank signifikant, was zeigte, dass die Maschine viele der Laute tatsächlich korrekt erkannt hatte, aber die Diskrepanz im Skript diesen Erfolg maskiert hatte. Als sie einen letzten Schritt anwandten, um die Schreibweisen zu vereinfachen, sank die Fehlerrate weiter, blieb jedoch hoch. Selbst nach der Behebung der Probleme mit dem Schriftsystem erreichte das System nur etwa 14 Prozent der Wörter exakt richtig. Das bedeutet, dass das Schriftsystem zwar eine massive Hürde darstellte, die Maschine aber dennoch Schwierigkeiten hatte, die spezifischen Laute und Wortstrukturen des Garrusi-Dialekts zu verstehen.

Die Studie testete auch ein anderes System, das speziell für Südkurdisch feinabgestimmt worden war – eine Kategorie, die einige Linguisten als einschließend für Garrusi betrachten. Überraschenderweise schnitt dieses spezialisierte System schlechter ab als das allgemeine zentral-kurdische System. Es produzierte weit mehr zusätzliche Wörter als der Referenztext und konnte die tatsächlichen Wörter der Sprecher nicht so gut erfassen wie das einfachere System. Dies deutet darauf darauf hin, dass das Training eines Modells an einem verwandten Dialekt nicht garantiert, dass es gut mit einer spezifischen, eigenständigen Varietät wie Garrusi funktioniert, insbesondere wenn die für das Training verwendeten Daten aus bearbeiteten, vorgelesenen Sätzen statt aus natürlichen, im Feld aufgenommenen Sprachaufnahmen stammen. Das spezialisierte System schien übermäßig viel Text zu generieren und fügte Wörter hinzu, die nicht vorhanden waren, während das allgemeine System dazu neigte, Wörter zu übersehen.

Eine zentrale Erkenntnis dieser Arbeit ist, dass die Art und Weise, wie wir Erfolg messen, ebenso wichtig ist wie die Technologie selbst. Die Forscher zeigten, dass Standardtests irreführend sein können, wenn sie Unterschiede in den Schriftsystemen nicht berücksichtigen. Indem sie den Referenztext konstant hielten und nur die Darstellung der Maschinenausgabe änderten, konnten sie den Einfluss der Skriptkonvertierung isolieren. Sie fanden heraus, dass die Konvertierung des Skripts und die Vereinfachung der Schreibweise die gemessenen Fehler erheblich reduzierten, was bewies, dass ein großer Teil des „Versagens“ eigentlich nur ein Formatierungsproblem war. Dennoch blieb selbst nach diesen Korrekturen ein hoher Anteil an Fehlern bestehen, was darauf hindeutet, dass die Maschine immer noch einen weiten Weg vor sich hat, um diesen spezifischen Dialekt wirklich zu verstehen. Die Studie kommt zu dem Schluss, dass Forscher bei Sprachen mit mehreren Skripten oder Dialekten vorsichtig sein müssen, wie sie Ergebnisse bewerten. Sie müssen den exakten Text veröffentlichen, den sie für die Bewertung verwendet haben, damit andere die Zahlen verifizieren können, und sie müssen anerkennen, dass eine hohe Fehlerrate teilweise auf die Art und Weise der Textschreibung zurückzuführen sein kann und nicht nur auf die Fähigkeit der Maschine zu hören.

Diese Forschung hebt ein breiteres Problem in der Sprachtechnologie hervor: die Kluft zwischen hochmodernen Modellen und den vielfältigen, realen Sprachen, denen sie dienen sollen. Für Garrusi-Sprecher und für viele andere Gemeinschaften mit ressourcenarmen Sprachen ist der Weg zu einer präzisen Spracherkennung nicht nur durch einen Mangel an Daten blockiert, sondern auch durch die Komplexität der Art und Weise, wie diese Sprachen geschrieben und klassifiziert werden. Die Studie bietet keine perfekte Lösung, aber sie liefert eine klarere Karte der Hindernisse. Sie zeigt, dass wir, bevor wir behaupten können, eine Maschine verstehe eine Sprache, zuerst sicherstellen müssen, dass die Maschine und der Mensch dieselbe visuelle Sprache sprechen und dass unsere Tests fair genug sind, um zwischen einer Maschine, die nicht hören kann, und einer, die lediglich anders schreibt, zu unterscheiden.