Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

Stellen Sie sich das Internet als eine riesige, geschäftige Bibliothek vor, in der Bücher in Tausenden von verschiedenen Sprachen geschrieben sind. Lange Zeit konnten die Bibliothekare (die intelligenten Computerprogramme, die wir Künstliche Intelligenz nennen) nur Bücher lesen, die im lateinischen Alphabet verfasst waren – dem Alphabet, das für Englisch, Spanisch und Französisch verwendet wird. Sie verfügten über ein massives Wörterbuch für diese Sprachen, aber wenn sie versuchten, Bücher zu lesen, die in anderen Schriften wie der Ge'ez-Schrift verwendet wurden, die in Äthiopien und Eritrea üblich ist, gerieten sie in Verwirrung. Sie zerstückelten Wörter in winzige, bedeutungslose Teile oder warfen einfach die Hände in die Luft und sagten: „Dieses Wort kenne ich nicht!“ Dies ist ein Problem, da es Millionen von Menschen aus dem digitalen Gespräch ausschließt, die nicht in der Lage sind, die besten Werkzeuge zum Verständnis von Texten, zum Finden von Antworten oder zum Erkennen wichtiger Namen zu nutzen.

Um dies zu beheben, haben Forscher versucht, diesen KI-Modellen neue Wörter beizubringen. Aber das ist knifflig. Wenn man einfach neue Wörter in ein altes Wörterbuch presst, ohne der KI beizubringen, wie sie zusammenpassen, verliert die KI den Faden. Dieses Paper befasst sich mit genau dieser spezifischen Herausforderung: Wie man ein superintelligentes KI-Modell aufwertet, damit es endlich Amharisch und Tigrinya verstehen kann – zwei bedeutende Sprachen, die in der wunderschönen Ge'ez-Schrift geschrieben werden –, ohne dabei den Rest seines Gehirns zu beschädigen.

Das Problem: Der „Kleber“, der nicht haftet

Stellen Sie sich einen modernen KI-Sprachmodells wie einen Meisterkoch vor, der in 100 verschiedenen Sprachen fantastische Mahlzeiten kochen kann. Aber dieser Koch hat eine sehr spezifische Regel: Er verwendet nur einen vorgefertigten Satz an Zutaten (genannt „Tokens“), die größtenteils für lateinische Schriftsysteme entwickelt wurden. Wenn der Koch versucht, ein Gericht in Amharisch oder Tigrinya zuzubereiten, passen die Zutaten nicht. Die Schrift ist anders; es ist ein „syllabisches Abugida“, was bedeutet, dass jedes Symbol einen Konsonanten und einen Vokal gemeinsam repräsentiert, anstatt nur eines einzelnen Buchstabens.

Da die Zutatenliste des Kochs falsch für diese Sprachen ist, endet er damit, die Wörter in winzige, nutzlose Krümel zu zerhacken. Ein einzelnes Wort kann in fünf oder sechs Teile zerlegt werden, und viele Wörter existieren in der Vorratskammer des Kochs überhaupt nicht. Wenn die KI auf ein Wort stößt, das sie nicht kennt, bezeichnet sie es einfach als „UNK“ (unbekannt) und wirft damit die gesamte Bedeutung weg. Das macht die KI schlecht in Aufgaben wie dem Finden eines Personennamens in einem Nachrichtenartikel oder der Feststellung, ob ein Tweet glücklich oder traurig ist.

Die Lösung: VEXMLM, der Maßschneider

Die Forscher führten einen neuen Ansatz namens VEXMLM ein. Stellen Sie sich VEXMLM als einen Meistermaßschneider vor, der den bestehenden, hochwertigen Anzug des Kochs (das KI-Modell) nimmt und ihn individuell an einen neuen Körpertyp anpasst. Sie haben nicht einfach nur neue Zutaten in die Vorratskammer geworfen; sie taten dies mit einem speziellen, sorgfältigen Rezept.

Zuerst bauten sie ein brandneues, maßgeschneidertes Wörterbuch speziell für Amharisch und Tigrinya. Sie nahmen 30.000 neue Subwort-Stücke (Wortfragmente), die perfekt zur Ge'ez-Schrift passen, und fügten sie dem Vokabular der KI hinzu. Dies ist vergleichbar damit, dem Koch ein neues Set spezialisierter Messer und Gewürze zu geben, die tatsächlich zu den Zutaten passen, die er zu verarbeiten versucht.

Aber hier liegt der clevere Teil: Man kann nicht einfach neue Zutaten in ein Rezept einfügen und erwarten, dass sie sofort gut schmecken. Die neuen Wörter müssen wissen, wie sie sich verhalten sollen. Die Forscher verwendeten einen Trick namens „Mean Initialization“ (Mittelwert-Initialisierung). Anstatt blind zu raten, was die neuen Wörter bedeuten sollten, berechneten sie den durchschnittlichen „Geschmack“ aller bestehenden Wörter im Gehirn der KI und gaben den neuen Wörtern diesen Durchschnittsgeschmack als Ausgangspunkt. Dies stellt sicher, dass die neuen Wörter reibungslos einschlussfähig sind, ohne das System zu schockieren.

Schließlich ließen sie die KI nicht nur bei den Wörtern stehen. Sie ließen sie eine Zeit lang unter Verwendung großer Sammlungen von Amharisch- und Tigrinya-Texten „studieren“. Dies ist die Phase des „Continued Pretraining“ (fortgesetzten Vortrainings). Es ist, als ließe man den Koch mit den neuen Zutaten üben, bis er den Geschmack beherrscht. Nach dieser Lerneinheit testeten sie die KI bei spezifischen Aufgaben wie der Beantwortung von Fragen, der Erkennung von Namen und der Sentiment-Analyse.

Die Ergebnisse: Ein großer Sprung nach vorn

Die Ergebnisse waren beeindruckend. Als das neue VEXMLM-Modell auf Amharisch und Tigrinya getestet wurde, war es der klare Gewinner.

• Beantwortung von Fragen (Question Answering): Wenn gefragt wurde, Antworten in einem Text zu finden, traf das alte Modell (XLM-R) eine exakte Übereinstimmung in 66 % der Fälle richtig. VEXMLM steigerte dies auf 87 %. Das ist eine enorme Verbesserung, was bedeutet, dass die KI den gesamten Kontext eines Satzes viel besser versteht.
• Sentiment-Analyse (Sentiment Analysis): Um festzustellen, ob eine Nachricht positiv oder negativ ist, erreichte VEXMLM eine Genauigkeit von 80 %, womit es das alte Modell mit 77 % schlug und ein massives Konkurrenzmodell (Glot500), das nur 46 % erreichte, weit hinter sich ließ.
• Erkennung von Namen (NER): Hier schadet das Problem der „unbekannten Wörter“ meist am meisten. Das alte Modell hatte Schwierigkeiten mit Wörtern, die es nicht kannte, und lag nur in 81,4 % der Fälle richtig. VEXMLM steigerte diesen Wert auf 94,3 %.

Interessanterweise fanden die Forscher heraus, dass die Vorteile des neuen Vokabulars auch auf andere afrikanische Sprachen übergingen. Selbst Sprachen, die nicht die Ge'ez-Schrift verwenden, sahen Verbesserungen bei der Erkennung von Wörtern außerhalb des Vokabulars. Die Autoren vermuten, dass dies geschah, weil die „Lerneinheit“ (Continued Pretraining) der KI half, generell besser im Umgang mit komplexen Wortstrukturen zu werden, nicht nur mit den spezifischen neuen Wörtern, die sie hinzugefügt hatten.

Was dies bedeutet

Das Paper zeigt, dass man keine riesige, teure KI von Grund auf neu bauen muss, um Sprachen mit geringen Ressourcen zu unterstützen. Stattdessen kann man ein leistungsstarkes bestehendes Modell nehmen, ihm ein maßgeschneidertes Vokabular für sein spezifisches Schriftsystem geben und es mit echtem Text üben lassen. Die Studie beweist, dass dieser gezielte Ansatz besser funktioniert, als das Modell einfach nur größer zu machen oder darauf zu hoffen, dass es von selbst lernt.

Die Forscher weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab für jedes Problem ist. Die Verbesserungen waren am dramatischsten für die Sprachen, für die sie speziell trainiert haben (Amharisch und Tigrinya). Für andere Sprachen waren die Gewinne ein hilfreicher Nebeneffekt des Trainingsprozesses, nicht ein direktes Ergebnis des neuen Vokabulars. Sie weisen auch darauf hin, dass ihr Modell immer noch Grenzen hat, wie etwa eine maximale Satzlänge, die es auf einmal lesen kann, was dazu führen könnte, dass es bei sehr langen Dokumenten Schwierigkeiten hat.

Letztendlich ist VEXMLM ein Beweis für das Konzept: Mit den richtigen Werkzeugen und ein wenig gezielter Übung können wir KI viel inklusiver gestalten und sicherstellen, dass Sprecher von Sprachen mit Ge'ez-Schrift im digitalen Zeitalter nicht zurückgelassen werden.