Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation

In den stillen Ecken der digitalen Geschichte arbeitet ein spezialisierter Zweig der Informatik, bekannt als Computerlinguistik (Natural Language Processing), daran, die Vergangenheit für Maschinen lesbar zu machen. Dieses Feld lehrt Computer, die menschliche Sprache nicht nur als eine Folge von Wörtern zu verstehen, sondern als ein strukturiertes System, in dem spezifische Namen – Personen, Orte und Gruppen – eine distinkte Bedeutung tragen. Für moderne Sprachen ist diese Aufgabe bemerkenswert präzise geworden, was es Software ermöglicht, sofort Nachrichtenartikel oder Social-Media-Feeds zu scannen und jede Erwähnung einer bestimmten Stadt oder Person herauszufiltern. Doch dieselbe Technologie stößt an ihre Grenzen, wenn sie mit historischen Texten konfrontiert wird. Diese Dokumente verwenden oft eine Rechtschreibung und Grammatik, die aus dem täglichen Sprachgebrauch verschwunden sind, und sie existieren in weitaus geringeren Mengen als moderne Texte. Wenn die Sprache selten und die Datenlage spärlich ist, stolpern die Computer, die mit der heutigen Nachrichtenlage exzellieren, über die Worte von vor Jahrhunderten. Dies schafft eine Barriere für Historiker und Archivare, die digitale Werkzeuge nutzen möchten, um ihre Sammlungen zu erschließen, da die Software nicht zuverlässig zwischen dem Namen eines Königs und einem gewöhnlichen Substantiv in einer mittelalterlichen Urkunde unterscheiden kann.

Ein Forscherteam setzte sich zum Ziel, diese Lücke zu schließen, indem es fortgeschrittene Computermodelle darauf trainierte, Namen in prämodernen serbisch-kyrillischen Texten zu erkennen. Sie konzentrierten sich auf eine spezifische Herausforderung: Wie man diese Modelle robust genug macht, um Dokumente zu verarbeiten, die sie noch nie zuvor gesehen haben und die sich in Rechtschreibung, Stil oder Zeitraum von den Beispielen unterscheiden könnten, mit denen sie trainiert wurden. Um dies zu erreichen, wandten sie sich einer Technik namens generative Datenaugmentation zu. Anstatt darauf zu warten, dass Historiker tausende neue Dokumente manuell annotieren – ein langsamer und teurer Prozess –, baten die Forscher eine leistungsstarke künstliche Intelligenz, neue, synthetische Trainingsbeispiele zu schreiben. Sie leiteten diese KI an, den Stil mittelalterlicher Urkunden und Rechtsdokumente nachzuahmen, wodurch sie tausende fiktive Sätze erzeugten, die wie die echten Texte wirkten und klangen, lengkap mit korrekten Kennzeichnungen für Namen und Orte. Sie testeten daraufhin zwei verschiedene Arten moderner Sprachmodelle – eines, das speziell für die Region entwickelt wurde, und eines, das auf vielen Sprachen trainiert wurde –, um zu sehen, welches aus dieser Mischung aus realen und synthetischen Daten am besten lernen konnte.

Die Forscher begannen mit einer Sammlung echter mittelalterlicher Dokumente, darunter königliche Urkunden und Briefe aus dem vierzehnten Jahrhundert. Diese Texte wurden sorgfältig von menschlichen Experten annotiert, die jedes Vorkommen eines Personennamens, eines Ortes oder eines Verweises auf eine bestimmte Gruppe von Menschen markierten. Diese ursprüngliche Sammlung war klein und enthielt etwas mehr als dreitausend Sätze, was eine begrenzte Menge an Material für das Training eines anspruchsvollen Computermodells darstellt. Um dieses Fundament zu erweitieren, nutzte das Team ein generatives KI-System, um neue Sätze zu erstellen, die denselben Mustern wie die Originaltexte folgten. Sie produzierten drei verschiedene Versionen der Trainingsdaten: eine, bei der die synthetischen Sätze dreißig Prozent des Gesamtumfangs ausmachten, eine weitere, bei der sie fünfzig Prozent ausmachten, und eine dritte, bei der die synthetischen Beispiele den Umfang des ursprünglichen Datensatzes verdoppelten. Dies ermöglichte es ihnen zu testen, ob das Füttern des Computers mit mehr Beispielen, selbst wenn einige davon künstlich erzeugt waren, dazu beitragen würde, die Nuancen der historischen Sprache besser zu verstehen.

Als das Team diese Modelle an denselben Arten von Dokumenten testete, mit denen sie trainiert worden waren, waren die Ergebnisse beeindruckend. Das Modell, das mit einer Mischung aus realen und synthetischen Daten trainiert wurde – insbesondere die Version, die dreißig Prozent synthetische Beispiele enthielt –, erreichte ein hohes Maß an Genauigkeit und identifizierte Namen und Orte in der überwiegenden Mehrheit der Fälle korrekt. Diese Leistung war signifikant besser als die eines älteren Stils von Computermodellen, die auf anderen mathematischen Strukturen basierten. Die wahre Prüfung kam jedoch, als die Forscher die Modelle baten, völlig neue historische Dokumente zu lesen, die nicht Teil ihres Trainings waren. Diese neuen Texte umfassten ein Testament aus dem Jahr 1500, ein Manuskript aus einer Kirche in Wien aus dem Jahr 1778 und einen Satz königlicher Urkunden aus der Mitte des vierzehnten Jahrhunderts. Diese Dokumente repräsentierten unterschiedliche Epochen und Schreibstile und forderten die Modelle heraus, um zu sehen, ob sie die Sprache wirklich gelernt oder lediglich die Trainingsbeispiele auswendig gelernt hatten.

Die Ergebnisse zeigten, dass die auf synthetischen Daten trainierten Modelle wesentlich anpassungsfähiger waren als die älteren Systeme. Das Modell, das mit fünfzig Prozent synthetischen Daten trainiert wurde, erwies sich als das zuverlässigste über alle neuen Dokumente hinweg und behielt eine hohe Genauigkeit bei, selbst wenn es mit den ältesten und stilistisch unterschiedlichsten Texten konfrontiert wurde. Während das mit dreißig Prozent synthetischen Daten trainierte Modell bei den vertrauten Texten etwas besser abschnitt, bewältigte die fünfzigprozentige Version die unbekannten Texte mit größerer Konsistenz. Dies deutet darauf hin, dass das Hinzufügen einer moderaten Menge an synthetischen Beispielen dem Computer hilft, ein flexibleres Verständnis der Sprache aufzubauen, was es ihm ermöglicht, Muster zu erkennen, selbst wenn sich die Rechtschreibung oder der Kontext ändert. Die Forscher fanden heraus, dass die Modelle besonders gut darin waren, Personennamen zu identifizieren, die häufig in den Trainingsdaten vorkamen, aber dennoch leicht Schwierigkeiten mit Ortsnamen und Gruppenreferenzen hatten, die seltener und variabler waren.

Die Studie kommt zu dem Schluss, dass das Erzeugen synthetischer Beispiele ein mächtiges Werkzeug ist, um Computer das Lesen historischer Texte beizubringen, aber es ist keine einfache Allzwecklösung. Die Menge der synthetischen Daten spielt eine Rolle: Zu wenig könnte nicht ausreichen, um zu helfen, während zu viel Rauschen einführen könnte, das das Modell verwirrt. Die besten Ergebnisse wurden durch einen ausgewogenen Ansatz erzielt, bei dem die synthetischen Daten die realen historischen Aufzeichnungen ergänzten, ohne sie zu überlagern. Indem die Forscher ihre trainierten Modelle und die verwendeten Daten öffentlich zugänglich machten, haben sie ein neues Werkzeug für die Digital Humanities bereitgestellt. Diese Arbeit zeigt, dass wir mit der richtigen Kombination aus historischer Expertise und moderner künstlicher Intelligenz beginnen können, die Namen und Orte zu entschlüsseln, die in Jahrhunderten alten handschriftlichen Dokumenten verborgen liegen, und so die Vergangenheit sowohl für Gelehrte als auch für die neugierige Öffentlichkeit zugänglicher machen.