Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text

Sprache wird oft als ein Strom von Lauten betrachtet, doch für viele Schriftsysteme beginnt sie als ein Strom von Symbolen. In den meisten modernen Schriftsystemen geben Leerzeichen oder Satzzeichen dem Leser an, wo ein Wort endet und das nächste beginnt. Einige antike Schriften verwenden jedoch keine dieser visuellen Hinweise. Stattdessen präsentieren sie eine kontinuierliche Linie von Zeichen und überlassen es dem Leser, herauszufinden, wo die bedeutungsvollen Einheiten liegen. Dies ist die Herausforderung, vor der Wissenschaftler beim Studium des Tangut stehen – einer Sprache, die einst die offizielle Schrift der Xixia-Dynastie in China war, aber seit Jahrhunderten ausgestorben ist. Die überlieferten Texte sind kostbare Fenster in eine verlorene Welt der Geschichte und Kultur, doch sie bleiben schwer lesbar, da die Wörter nicht voneinander getrennt sind. Ohne eine Möglichkeit, diese Wortgrenzen automatisch zu identifizieren, können Computer diese historischen Dokumente nicht effektiv durchsuchen, übersetzen oder analysieren.

Jahrzehntelang konzentrierten sich Forscher lediglich darauf, die einzelnen Zeichen in Tangut-Manuskripten zu erkennen, um Bilder von Tinte auf Papier in digitalen Text zu verwandeln. Doch das Erkennen eines Zeichens ist nur der erste Schritt; das Verständnis der Sprache erfordert das Wissen darüber, welche Zeichen zusammengehören, um ein Wort zu bilden. Diese Aufgabe ist außergewöhnlich schwierig, da es keine Muttersprachler mehr gibt, die man konsultieren könnte, und die wenigen Experten, die Tangut lesen können, müssen eine Kombination aus Kontext, rekonstruierter Aussprache und antiken Wörterbüchern nutzen, um zu erraten, wo Wörter beginnen und enden. Der Mangel an Expertenwissen und das Fehlen großer digitaler Bibliotheken machen dies zu einem Problem extremer Ressourcenknappheit, bei dem die üblichen Werkzeuge moderner künstlicher Intelligenz oft scheitern, da sie riesige Mengen an etikettierten Daten benötigen, um zu lernen.

Ein Forschungsteam hat nun den ersten systematischen Schritt zur Lösung dieses Rätsels unternommen, indem es einem Computer beigebracht hat, Tangut-Wörter unter sehr begrenzter menschlicher Anleitung zu segmentieren. Sie begannen mit einer kleinen, sorgfältig kuratierten Sammlung von 2.750 Textsegmenten, die insgesamt fast 32.000 Wörter umfassen und manuell von Spezialisten unterteilt wurden. Dieser Datensatz, der aus einer buddhistischen Schrift und einer säkularen Enzyklopädie stammt, diente als Fundament für ihr Training. Es wäre jedoch nicht auszureichen, sich allein auf diese winzige Menge an etikettierten Daten zu verlassen, um ein robustes System aufzubauen. Um dies zu überwinden, kombinierten die Forscher drei verschiedene Wissensquellen: die von Experten etikettierten Beispiele, ein traditionelles Wörterbuch der Tangut-Wörter und eine massive Sammlung unetikettierter Tangut-Texte, die noch nie in Wörter unterteilt worden waren.

Die Forscher entwarfen ein System, das das Wörterbuch nicht als starres Regelwerk, sondern als eine Quelle von Hinweisen behandelt. In vielen Fällen kann ein einzelnes Zeichen Teil mehrerer verschiedener Wörterbucheinträge sein, was ein Geflecht aus überlappenden Möglichkeiten schafft. Anstatt den Computer zu zwingen, sofort einen einzigen Pfad zu wählen, bewahrt das System alle diese potenziellen Kandidaten auf. Es nutzt dann eine Methode der „Zuverlässigkeitskalibrierung“, um diese Hinweise zu gewichten. Indem das System analysiert, wie oft ein Wörterbucheintrag im Text erscheint und wie oft er mit den Grenzen der Experten übereinstimmt, lernt es, bestimmten Wörterbucheinträgen mehr zu vertrauen als anderen. Dies verhindert, dass der Computer blind einem Wörterbucheintrag folgt, der für den spezifischen Kontext des Manuskripts möglicherweise falsch ist.

Um sein Verständnis weiter zu verbessern, lernte das System auch aus dem unetikettierten Text, der Hunderttausende von Zeichen, aber keine Wortunterteilungen enthielt. Durch die Analyse dessen, wie oft Zeichen nebeneinander auftraten und wie vielfältig ihre Nachbarn waren, baute das System eine statistische Landkarte der Sprache auf. Es lernte, dass bestimmte Zeichenkombinationen häufig gemeinsam auftreten, was darauf hindeutet, dass sie ein einzelnes Wort bilden, während andere eher zufällig erscheinen, was auf eine Grenze zwischen ihnen hindeutet. Diese statistische Intuition wurde mit einem modernen neuronalen Netzwerk kombiniert – einer Art Computerprogramm, das darauf ausgelegt ist, Muster zu erkennen – welches auf dem unetikettierten Text vortrainiert wurde, um den Kontext der Zeichen zu verstehen, noch bevor es die etikettierten Beispiele sah.

Die Ergebnisse dieses Ansatzes waren signifikant. Bei Tests an ungesehenen Teilen des Textes erreichte das System eine hohe Genauigkeit und identifizierte Wortgrenzen in mehr als 91 Prozent der Fälle korrekt. Diese Leistung war deutlich besser als die von Systemen, die sich nur auf die geringe Menge an etikettierten Daten oder nur auf das Wörterbuch stützten. Die Studie ergab, dass die Kombination aus Expertenwissen, Wörterbuchhinweisen und statistischen Mustern aus unetikettierten Texten essenziell war; das Entfernen einer dieser Komponenten führte dazu, dass die Leistung des Systems sank. Das System erwies sich auch als besonders gut darin, Wörter zu erkennen, die nicht in den Trainingsbeispielen vorkamen – eine häufige Herausforderung bei ressourcenarmen Sprachen –, indem es statistische Muster und das Wissen aus dem Wörterbuch nutzte, um fundierte Vermutungen anzustellen.

Eine der wichtigsten Erkenntnisse war, dass die Fähigkeit des Systems zur Generalisierung stark von der Art des gelesenen Textes abhing. Während es bei der säkularen Enzyklopädie, die den Großteil der Daten ausmachte, außergewöhnlich gut abschnitt, war es bei der religiösen Schrift etwas weniger genau. Dies deutet darauf darauf hin, dass das System noch lernt, sich an unterschiedliche Stile und Vokabularien innerhalb der Sprache anzupassen. Die Forscher stellten auch fest, dass die Aufgabe, grammatikalische Labels an diese Wörter zu vergeben, ein vorläufiger Schritt bleibt, da das Inventar der Worttypen noch von Experten verfeinert wird.

Diese Arbeit stellt ein entscheidendes Fundament für die Zukunft der Tangut-Studien dar. Durch die erfolgreiche Integration traditioneller linguistischer Ressourcen mit modernen Techniken des maschinellen Lernens haben die Forscher ein Werkzeug geschaffen, das Gelehrten helfen kann, diese antiken Texte effizienter zu verarbeiten und zu analysieren. Das System ersetzt nicht die Notwendigkeit menschlicher Experten, aber es bietet eine leistungsstarke Hilfe, die die repetitive Aufgabe der Segmentierung übernehmen kann, sodass sich die Forscher auf tiefere historische und linguistische Fragen konzentrieren können. Während das Team die annotierten Daten weiter ausbaut und seine Modelle verfeinert, hofft es, diese Methoden schließlich auf eine breitere Palette von Dokumenten anwenden zu können, um die verlorene Sprache der Xixia-Dynastie näher an das moderne Verständnis zu bringen.