Dzongkha Next Word Prediction System

Stellen Sie sich vor, Sie versuchen, eine Geschichte in Dzongkha zu tippen, der Nationalsprache Bhutans. Es ist eine wunderschöne Schrift, aber das Tippen fühlt sich an, als würde man versuchen, ein Haus aus winzigen, komplizierten Lego-Steinen zu bauen, bei denen jede einzelne Silbe ein Dutzend verschiedener Tastendrücke erfordert. Es ist langsam, frustrierend und man macht leicht Fehler. Die Autoren dieser Arbeit, ein Team von Studenten vom College of Science and Technology in Bhutan, stellten eine einfache Frage: „Können wir einen digitalen Assistenten bauen, der das nächste Wort errät, das man tippen möchte, damit man nicht so viele Tasten drücken muss?“

Sie haben nicht einfach nur geraten; sie bauten ein Gehirn für einen Computer, um diese Sprache zu lernen. Sie fütterten ihn mit einer massiven Bibliothek von 100.000 Sätzen der Dzongkha Development Commission. Das sind über 1,3 Millionen Wörter und fast 28.000 einzigartige Wörter, die der Computer auswendig lernen musste. Bevor der Computer lernen konnte, musste das Team die Daten bereinigen, indem es Zahlen und Sonderzeichen, die nicht zu den Wörtern gehörten, entfernte, und die Sätze in winzige Stücke zerlegte, die man „Tokens“ nennt – so als würde man einen Satz in eine Kette aus einzigartigen ID-Nummern verwandeln.

Um den Computer zu lehren, testeten sie drei verschiedene Arten von „neuronalen Netzen“, die wie unterschiedliche Stile von Studenten-Gehirnen sind. Sie testeten ein LSTM, ein Bi-LSTM und ein GRU. Stellen Sie sich dies als drei verschiedene Lerngruppen vor. Das LSTM war wie ein Student, der hart lernte, aber durch das schiere Volumen des Materials etwas verwirrt wurde. Das Bi-LSTM war etwas besser, da es den Satz aus beiden Richtungen betrachtete, aber es hatte dennoch Schwierigkeiten, mit dem massiven Datensatz Schritt zu halten.

Der wahre Star der Show war das GRU. Die Autoren beschreiben das GRU als „leichtgewichtig“, was so zu verstehen ist, als wäre es ein flinker Athlet, der einen Marathon laufen kann, ohne außer Atem zu geraten, im Gegensatz zu den schwereren, langsameren Modellen. Als sie alle drei Modelle auf dem vollständigen Datensatz von 100.000 Sätzen trainierten, war das GRU der herausragende Performer. Während die anderen Modelle anfangs eine akzeptable Genauigkeit auf kleineren Datensätzen zeigten (wobei das LSTM 73,79 % erreichte), hatten sie Probleme mit Overfitting (Überanpassung), als die Datengröße zunahm. Nach der Feinabstimmung der Hyperparameter für den 100k-Datensatz sank die Genauigkeit des LSTM auf 60 % und das Bi-LSTM erreichte 70,79 %. Das GRU hingegen erzielte nicht nur die höchste Genauigkeit von 74,03 %, sondern löste auch das Problem des Overfittings speziell im Kontext des Trainings auf diesem großen 100k-Datensatz, was bedeutet, dass es neue Wörter, die es noch nicht gesehen hatte, unter diesen spezifischen Bedingungen mit viel größerer Zuverlässigkeit vorhersagen konnte.

Die Ergebnisse wurden mit harten Zahlen gemessen. Das LSTM erreichte eine Genauigkeit von 60 %, das Bi-LSTM erreichte 70,79 %. Aber das GRU-Modell knackte die 74,03 % Genauigkeit. Das mag vielleicht nicht nach einer perfekten Punktzahl klingen, aber in der Welt der Sprachvorhersage ist es ein solider Sieg. Die Arbeit stellt explizit fest, dass während die anderen Modelle auf dem größeren Datensatz mit Overfitting zu kämpfen hatten, das GRU dieses Problem löste, was bedeutet, dass es neue Wörter, die es noch nicht gesehen hatte, mit viel größerer Zuverlässigkeit vorhersagen konnte.

Das Team blieb nicht bei den Zahlen stehen. Sie bauten ein ganzes System um dieses Gewinnermodell herum. Sie entwarfen eine benutzerfreundliche Oberfläche (unter Verwendung von Tools wie Figma und Django), sodass das System, wenn eine Person ein paar Wörter tippt, das nächste Wort vorschlagen kann, was die Anzahl der Tastenschläge reduziert. Sie erwähnen sogar, dass sie ihre Computerhardware auf eine leistungsstarke GPU (eine Nvidia RTX 3090) aufrüsten mussten, nur um das Training zu bewältigen, da die kleineren Computer, mit denen sie begannen, den massiven Datensatz nicht verarbeiten konnten.

Am Ende legt die Arbeit nahe, dass dieses GRU-basierte System eine vielversprechende Lösung ist, um das Tippen in Dzongkha schneller und weniger fehleranfällig zu machen. Es ist kein Zauberstab, der alles sofort behebt, aber es ist ein bedeutender Schritt nach vorn. Die Autoren sagen vorsichtig, dass dies ein „vielversprechendes Ergebnis“ ist und dass sie planen, ihre Web-App in Zukunft in ein downloadbares Softwarepaket umzuwandeln, um sie für Schreiber und Sprecher der Sprache noch nützlicher zu machen. Sie haben bewiesen, dass ein Computer mit dem richtigen Modell und genügend Daten lernen kann, Menschen dabei zu helfen, ihre Muttersprache leichter zu sprechen.