The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihr Tatort ist eine Sprache. Dieses Papier existiert in der Welt der Computerlinguistik, einem Fachgebiet, in dem Wissenschaftler digitale Werkzeuge bauen, um zu verstehen, wie menschliche Sprachen funktionieren. Um das Rätsel zu lösen, verwenden sie eine spezielle Art von Werkzeug, ein sogenanntes endlichen-zustandsbasiertes Modell (finite-state model). Man kann sich dieses Modell wie einen superorganisierten Bibliothekskatalog oder einen Bahnhofsplan vorstellen. Es versucht nicht, die Bedeutung eines Satzes so zu verstehen, wie es ein Mensch tut; statindessen prüft es lediglich, ob ein Wort in ein bestimmtes Muster passt. Es fragt: „Hat dieses Wort einen Stamm (den Hauptteil) und ein Tag (ein kleines Stück, das am Ende angehängt wurde)?“ Wenn das Muster übereinstimmt, sagt das Werkzeug: „Verstanden!“ Wenn nicht, sagt es: „Dieses kenne ich nicht.“

Warum interessiert das jemanden? Weil wir für viele Sprachen zwar Wörterbücher und Grammatikbücher haben, aber nicht diese digitalen Landkarten. Ohne sie können Computer Texte in diesen Sprachen nicht effektiv übersetzen, Rechtschreibprüfungen durchführen oder in ihnen suchen. Die Frage, die dieses Paper behandelt, ist einfach, aber knifflig: Wie viel einer Sprache besteht tatsächlich aus diesen kleinen gemusterten Teilen und wie viel ist einfach eine riesige Liste einzigartiger Wörter? Wenn eine Sprache hauptsächlich aus Mustern besteht, kann die „Landkarte“ klein und ordentlich sein. Wenn sie hauptsächlich aus einzigartigen Wörtern besteht, muss die „Landkarte“ riesig sein.

---

Das Rätsel der Dungan-Sprache

Lernen Sie Dungan kennen, eine Sprache, die von einer Gemeinschaft zentralasiatischer Muslime gesprochen wird, die vor über hundert Jahren dorthin gezogen sind. Sie ist eine Cousine des Mandarin-Chinesischen, aber mit einem Twist: Anstatt chinesische Schriftzeichen zu verwenden, schreiben sie sie mit dem kyrillischen Alphabet (derselben Schrift, die auch für Russisch verwendet wird). Da sie die Schriftzeichen und die musikalischen Töne, die normalerweise helfen, Wörter voneinander zu unterscheiden, abgelegt haben, ist Dungan ein wenig wie ein Spiel von „Wer bin ich?“, bei dem viele Zeichen auf dem Papier exakt gleich aussehen.

Die Autoren dieses Papers, Anton und Sergey, beschlossen, eine digitale „Landkarte“ (einen endlichen-zustandsbasierten Analysator) für Dungan zu bauen, um genau zu sehen, wie seine Grammatik in der Realität funktioniert. Sie wollten nicht neue Regeln erfinden; sie wollten die Regeln, die bereits in alten Grammatikbüchern geschrieben stehen, in eine funktionierende Maschine verwandeln, um die Sprache zu messen. Sie bauten diese Karte für zwei Hauptdialekte: die Gansu-Variante (die Standardversion, die literarische Form) und die Shaanxi-Variante.

Die große Entdeckung: Ein winziger Kern und ein riesiges Lexikon

Als sie ihre Karte über tausende Sätze aus drei verschiedenen Arten von Texten laufen ließen (Enzyklopädien, Volksmärchen und religiöse Erzählungen), fanden sie etwas Überraschendes.

1. Die „unsichtbare“ Grammatik
In vielen Sprachen verändern Wörter ständig ihre Form (wie „walk“ zu „walked“, „walking“, „walks“). Im Dungan passiert dies sehr selten. Die Autoren fanden heraus, dass in dem Enzyklopädie-Text nur 9,3 % der Wörter tatsächlich ein sichtbares „Tag“ angehängt hatten. In den Volksmärchen waren es 13,4 % und in der religiösen Erzählung 27,1 %.

• Die Analogie: Stellen Sie sich eine Stadt vor, in der 90 % der Gebäude einfach nur kahle, schmucklose Blöcke sind. Nur wenige haben spezielle Flaggen oder Dekorationen obenauf. Die „Grammatik“ des Dungan sind diese wenigen Flaggen. Die meiste Zeit liegen die Wörter einfach nur da, unverändert.

2. Die „Zwei-Klitika“-Ambiguität
Da so wenige Wörter sich verändern, kann es verwirrend werden, wenn sie es doch tun. Die Autoren fanden heraus, dass 78,1 % der Wörter, die das Werkzeug erkannte, nur eine mögliche Bedeutung hatten. Das ist ein sehr klares Signal! Die verbleibende Verwirrung konzentrierte sich jedoch fast ausschließlich auf nur zwei winzige Wortstücke (Klitika): -di und -ni.

• Die Analogie: Stellen Sie sich eine Ampel vor, die 78 % der Zeit perfekt funktioniert. Die einzige Zeit, in der es verwirrend wird, ist, wenn das Licht auf „Gelb“ oder „Rot“ hängen bleibt und niemand weiß, ob es „Stopp“ oder „Go“ bedeutet. Im Dungan kann das kleine Stück -di entweder „gehörig zu“ (Genitiv) oder „gerade passierend“ (Progressiv) bedeuten, und -ni kann „an einem Ort“ (Lokativ) oder „wird bald passieren“ (Prospektiv) bedeuten. Der Computer kann den Unterschied ohne mehr Kontext nicht erkennen, aber er weiß zumindest, wo die Verwirrung liegt.

3. Der „geschlossene“ Kern
Die wichtigste Erkenntung betrifft die Frage, wie „vollständig“ ihre Landkarte ist. Sie fragten: „Wenn der Computer ein Wort nicht erkennt, liegt es daran, dass die Grammatikregel fehlt oder weil das Wort selbst neu ist?“
Sie entdeckten, dass zwischen 78 % und 95 % der Wörter, mit denen der Computer nicht umgehen konnte, schlichtweg im Wörterbuch fehlten. Die Grammatikregeln selbst waren tatsächlich „geschlossen“ und vollständig. Die Dinge, die das Modell nicht einschloss (wie einige seltene Vergangenheitsgewohnheiten oder spezifische Lautveränderungen), machten höchstens 4,5 % der Fehler aus.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, Tiere in einem Zoo zu identifizieren. Sie haben einen perfekten Leitfaden darüber, wie man einen Löwen, einen Tiger oder einen Bären erkennt. Wenn Sie ein Tier sehen, das Sie nicht kennen, liegt das höchstwahrscheinlich daran, dass es eine neue Spezies ist, die Sie noch nicht gesehen haben, und nicht daran, dass Ihr Leitfaden eine Regel darüber vermisst, wie Löwen laufen. Die „Frontier“ des Dungan ist nicht die Grammatik, sondern der Wortschatz.

Was die Zahlen uns sagen

Die Autoren waren sehr sorgfältig darin, genau zu messen, was ihr Werkzeug leisten kann.

• Abdeckung (Coverage): Als sie ihre Karte auf neue Texte testeten, die sie noch nie zuvor gesehen hatte, erkannte sie 80–85 % der Wörter.
• Die Macht der Morphologie: Wenn sie einfach nur eine Liste von Wörtern ohne Grammatikregeln verwendet hätten, hätten sie 67,4 % der Wörter erkannt. Durch das Hinzufügen der Grammatikregeln (der „Morphologie“) steigerten sie diese Zahl auf 72,6 %. Das ist ein Gewinn von 5,2 Punkten. Es ist eine hilfreiche Steigerung, aber sie beweist, dass die Grammatik „dünn“ ist – die schwere Arbeit wird vom Wortverzeichnis geleistet, nicht von den Regeln.
• Genauigkeit: Für die Wörter, die sie tatsächlich erkannten, war das Werkzeug sehr gut darin, die richtige Bedeutung zu finden, obwohl es manchmal bei den kniffligen -di und -ni Stücken hängen blieb.

Das Fazit: Eine Landkarte für die Zukunft

Das Paper kommt zu dem Schluss, dass der „morphologische Kern“ des Dungan kompakt, nur in wenigen Kategorien produktiv und effektiv geschlossen ist. Die Grammatik ist einfach und fertig; die Herausforderung besteht lediglich darin, alle Wörter zu lernen.

Die Autoren stellen ihre „Landkarte“ (den Analysator), den Code und die Tests zur Verfügung, damit jeder sie nutzen kann. Sie geben zu, dass ihre Arbeit eine Hypothese ist, die auf geschriebenen Büchern und Wörterbüchern basiert, und kein endgültiges Urteil von Muttersprachlern. Sie haben sogar ein „Arbeitsblatt“ für Muttersprachler beigefügt, damit diese kommen und eventuelle Fehler korrigieren können. Es ist ein Ausgangspunkt, ein digitales Fundament, das gebaut wurde, um Computern zu helfen, diese einzigartige, in kyrillischer Schrift geschriebene Sprache endlich zu verstehen. Die offene Grenze ist nicht die Spielregel, sondern die Spieler selbst.