Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

Sprache ist mehr als nur ein Strom von Wörtern; sie ist ein strukturiertes System, in dem jedes Wort eine spezifische Aufgabe erfüllt, eine Geschichte darüber besitzt, wie es seine Form verändert, und ein Netzwerk von Beziehungen zu anderen Wörtern unterhält. Damit Computer eine Sprache verstehen können, benötigen sie eine Karte dieser Struktur. Diese Karte wird als Lexikon bezeichnet, ein digitales Wörterbuch, das nicht nur Wörter und ihre Bedeutungen auflistet, sondern auch grammatikalische Details festhält, wie etwa, ob ein Substantiv maskulin oder feminin ist oder wie sich ein Verb verändert, wenn es eine Handlung beschreibt, die jemandem zugefügt wird, im Gegensatz zu einer Handlung, die allein vollzogen wird. Für viele der Sprachen der Welt sind diese Karten bereits weitläufig und detailliert, was es Computern ermöglicht, Texte mit großer Genauigkeit zu übersetzen, zu durchsuchen und zu analysieren. Für das Somalische jedoch, eine Sprache, die von Millionen Menschen in Teilen des Horns von Afrika und in der Diaspora gesprochen wird, waren diese digitalen Karten bisher unvollständig. Obwohl das Somalische eine reiche Tradition gedruckter Wörterbücher besitzt, blieben die Informationen darin in einem Format gefangen, das für das menschliche Auge konzipiert wurde, was es Maschinen erschwert, sie systematisch zu nutzen.

Ein Forscherteam von Ogaal Labs hat diesen Verschluss nun geöffnet. Sie haben eine neue digitale Ressource namens Qaamuuska-NLP geschaffen, eine strukturierte Sammlung von 46.314 Einträgen, die direkt aus einem bedeutenden gedruckten somalischen Wörterbuch extrahiert wurden, das im Jahr 2012 veröffentlicht wurde. Die Forscher haben die Seiten nicht einfach eingescannt und die Bilder in Text umgewandelt – ein Prozess, der oft Fehler einführt. Stattdessen arbeiteten sie mit der bereits im PDF-Dokument des Wörterbuchs vorhandenen digitalen Textebene. Sie entwickelten eine Reihe präziser, regelbasierter Anweisungen, um das Layout des Buches zu lesen, zu identifizieren, wo ein Worteintrag endete und der nächste begann, und die spezifischen grammatikalischen Hinweise zu extrahieren, die in der Formatierung verborgen waren. Das Ergebnis ist eine saubere, maschinenlesbare Datenbank, die die ursprüngliche Organisation des Wörterbuchs bewahrt und gleichzeitig eine Ebene der Struktur hinzufügt, die Computer sofort abfragen können. Diese Arbeit ersetzt nicht das Originalbuch, sondern übersetzt dessen tiefes linguistisches Wissen in eine neue Sprache, die Software sprechen kann.

Die Quelle dieser neuen Ressource ist Qaamuuska Af-Soomaaliga, ein umfassendes einsprachiges Wörterbuch, das von Annarita Puglielli und Cabdalla Cumar Mansuur herausgegeben wurde. Im Gegensatz zu einfachen Wortlisten enthält dieses Buch eine Fülle von grammatikalischen Informationen, die entscheidend dafür sind, wie das Somalische funktioniert. Es teilt dem Leser das Geschlecht der Substantive, die Klasse der Verben und die Frage mit, ob ein Verb ein direktes Objekt erfordert. Es enthält zudem Synonyme, Querverweise auf andere Wörter und Kennzeichnungen, die angeben, ob ein Wort zu einem bestimmten Fachbereich wie Medizin oder Recht gehört. Die Herausforderung für die Forscher bestand darin, dass diese Informationen nicht in ordentlichen Datenspalten gespeichert waren, sondern in das visuelle Design der gedruckten Seite eingebettet waren. Das Wörterbuch verwendet zwei Textspalten, spezifische Abkürzungen und kleine hochgestellte Zahlen, um zwischen Wörtern zu unterscheiden, die gleich aussehen, aber unterschiedliche Bedeutungen haben. Um ihre digitale Version zu erstellen, schrieben die Forscher ein Computerprogramm, das dieses Layout navigieren konnte, ohne raten oder aus Beispielen lernen zu müssen. Das Programm liest die linke Spalte einer Seite, dann die rechte und sucht nach den sich wiederholenden Mustern, die den Beginn eines neuen Worteintrags signalisieren.

Sobeder das Programm einen Worteintrag identifiziert hatte, zerlegte es den Text in seine Bestandteile. Es trennte das Hauptwort von seiner Definition, seinen grammatikalischen Tags und seinen Verweisen auf andere Wörter. Das Team stellte fest, dass das Wörterbuch 46.314 distinkte Datensätze enthielt. Davon lieferten etwa 25.000 tatsächliche Definitionen, während die verbleibenden 21.000 Querverweise waren, die den Leser auf einen anderen Eintrag hinwiesen. Der Extraktionsprozess war äußerst erfolgreich darin, die grammatikalischen Details zu erfassen, die das Wörterbuch nützlich machen. Bei den 34.726 Substantiv-Einträgen identifizierte das System das Geschlecht für fast alle von ihnen und markierte sie als maskulin, feminin oder als geschlechtsneutral. Bei den 11.445 Verb-Einträgen erfasste das System die Konjugationsklasse und die Frage, ob das Verb transitiv oder intransitiv ist, für fast jeden einzelnen. Die Forscher bewahrten zudem den Originaltext jedes Eintrags neben den neuen strukturierten Daten. Dies stellt sicher, dass jeder, der die Datenbank nutzt, stets die Originalquelle überprüfen kann, wodurch die Verbindung zwischen der digitalen Karte und dem physischen Buch intakt bleibt.

Die Forscher testeten die Qualität ihrer Arbeit, indem sie untersuchten, wie gut die grammatikalischen Etiketten im Wörterbuch mit der tatsächlichen Form der Wörter übereinstimmten. Sie stellten eine einfache Frage: Wenn man nur das Ende eines somalischen Wortes betrachtet, kann man dann die grammatikalische Kategorie vorhersagen? Sie verwendeten eine einfache Methode, die die letzten Buchstaben der Wörter betrachtete, um das Geschlecht oder die Verbklasse zu erraten. Die Ergebnisse zeigten, dass die Etiketten des Wörterbuchs nicht zufällig waren. Für Verbklassen war die Methode in 93,5 Prozent der Fälle korrekt, was weit über dem bloßen Raten der häufigsten Klasse lag. Für das Genus der Substantive war die Methode in 86,4 Prozent der Fälle korrekt. Diese Zahlen legen nahe, dass die grammatikalischen Informationen im Wörterbuch tief mit der physischen Form der Wörter verwoben sind, was bestätigt, dass die extrahierten Daten reale linguistische Muster widerspiegeln und keine willkürlichen Entscheidungen sind. Die Forscher merkten jedoch an, dass dieser Test ein Diagnosewerkzeug war, um die interne Konsistenz der Ressource zu prüfen, und kein vollständiger Test der Fähigkeit eines Computers, somalische Texte in der realen Welt zu analysieren.

Die neue Ressource füllt eine spezifische Lücke in der Landschaft der somalischen Sprachestechnologie. Während andere Projekte mehrere Wörterbücher kombiniert oder sich auf die Generierung von Wortformlisten konzentriert haben, liegt der Fokus dieser Arbeit darauf, die Struktur einer einzelnen, maßgeblichen Quelle zu bewahren. Sie erfasst die redaktionellen Entscheidungen und die spezifische Art und Weise, wie die ursprünglichen Autoren die Sprache organisiert haben. Die Datenbank enthält 11.415 Synonym-Verknüpfungen und 21.032 Querverweise und schafft so ein Netzwerk, das zeigt, wie Wörter innerhalb der eigenen Logik des Wörterbuchs miteinander in Beziehung stehen. Sie identifiziert zudem 1.945 Einträge, die zu Fachgebieten wie Medizin, Physik und Recht gehören, und bietet damit einen Ausgangspunkt für den Aufbau eines technischen Vokabulars im Somalischen. Die Forscher weisen sorgfältig darauf hin, dass diese Ressource eine Darstellung dieses spezifischen Wörterbuchs von 2012 ist und keine vollständige Volkszählung aller heute im Somalischen verwendeten Wörter. Die Abdeckung und die spezifischen Definitionen spiegeln die Entscheidungen der ursprünglichen Herausgeber wider.

Es gibt Einschränkungen bei diesem Ansatz, die die Autoren offen eingestehen. Da die Extraktionsregeln speziell für das Layout dieses einen Buches entwickelt wurden, können sie ohne Modifikation nicht direkt auf ein anderes Wörterbuch angewendet werden. Das Team stellte zudem fest, dass das ursprüngliche PDF einige Inkonsistenzen in der Schreibweise von Apostrophen enthielt, was exakte Übereinstimmungen zwischen Wörtern beeinflussen könnte, obwohl sie den Originaltext beibehielten, um zukünftige Korrekturen zu ermöglichen. Darüber hinaus werden der Extraktionscode und die statistischen Zusammenfassungen der Daten zur öffentlichen Veröffentlichung vorbereitet, aber die vollständige Liste der 46.314 Wörter und deren Definitionen können noch nicht frei geteilt werden. Dies liegt daran, dass das ursprüngliche Wörterbuch urheberrechtlich geschützt ist und die Forscher noch an der Sicherung der notwendigen Genehmigungen zur Weitergabe der vollständigen Inhalte arbeiten. Bis diese Genehmigung erteilt wird, bleibt der vollständige Datensatz ein privates Forschungsobjekt, wenngleich die Methoden, die zu seiner Erstellung verwendet wurden, für andere zum Studium und zur Anpassung verfügbar sind.

Der Wert dieser Arbeit liegt in ihrer Fähigkeit, ein statisches Buch in ein dynamisches Werkzeug zu verwandeln. Durch die Umwandlung des Wörterbuchs in ein strukturiertes Format haben die Forscher es möglich gemacht, dass Computer nach Wörtern anhand ihrer grammatikalischen Eigenschaften suchen, das Netzwerk von Synonymen und Querverweisen nachverfolgen und die Verteilung spezialisierter Begriffe analysieren können. Dies löst nicht alle Probleme der Verarbeitung der somalischen Sprache, aber es bietet ein solides Fundament aus hochwertigen, kuratierten Daten. Es demonstriert, dass wertvolles linguistisches Wissen oft in gedruckten Büchern ruht und darauf wartet, durch eine Methode freigesetzt zu werden. Das Projekt Qaamuuska-NLP zeigt, dass es mit einem sorgfältigen, regelbasierten Ansatz möglich ist, dieses Wissen zurückzugewinnen, ohne die Nuancen und die Struktur der Originalquelle zu verlieren, und bietet somit eine neue Ressource für Forscher, Pädagogen und Entwickler, die daran arbeiten, das Somalische in das digitale Zeitalter zu führen.