From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages

Stellen Sie sich vor, Sie versuchen, eine Bibliothek alter Bücher zu lesen, die in drei verschiedenen mittelalterlichen Sprachen verfasst sind: mittelalterliches Okzitanisch, mittelalterliches Katalanisch und mittelalterliches Französisch. Dies sind nicht einfach nur alte Versionen moderner Sprachen; sie sind wie wilde, ungezähmte Cousins. Die Rechtschreibung ändert sich von Seite zu Seite (manchmal wird „Feuer" als fuoc geschrieben, manchmal als foc), die Grammatik ist komplex, und es gibt nur sehr wenige Wörterbücher oder Lehrer, die Ihnen helfen können, sie zu verstehen.

Das Ziel dieses Papiers ist es, Computern beizubringen, jedes Wort in diesen Büchern mit seiner „Funktion" (wie Substantiv, Verb oder Adjektiv) zu versehen. Dieser Prozess wird als Part-of-Speech (POS) Tagging bezeichnet. Es ist der wesentliche erste Schritt, bevor ein Computer die Geschichte wirklich verstehen, übersetzen oder ihre Geschichte analysieren kann.

Die Forscher stellten die Frage: Können moderne „superintelligente" KIs (Large Language Models oder LLMs) dabei eine bessere Leistung erbringen als die alten, traditionellen Werkzeuge, die wir bisher verwendet haben?

Hier ist die Aufschlüsselung ihres Experiments, erklärt durch einfache Analogien:

1. Die Teilnehmer

Die Studie veranstaltete ein Rennen zwischen zwei Arten von „Taggern":

• Die Alte Garde (Traditionelle Tagger): Denken Sie an diese als regelbefolgende Bibliothekare. Sie haben ein strenges Regelbuch, das auf modernen Sprachen basiert. Sie versuchen, die Funktion eines Wortes zu erraten, indem sie seine Form betrachten und sie mit bekannten Mustern vergleichen. Sie sind schnell und günstig, geraten aber leicht in Verwirrung, wenn die Rechtschreibung seltsam ist oder das Wort selten vorkommt.
• Die neuen Herausforderer (LLMs): Diese sind wie geniale Polyglotten, die fast alles gelesen haben, was je geschrieben wurde. Sie folgen nicht nur Regeln; sie verstehen den Kontext. Sie können einen Satz betrachten und „fühlen", was ein Wort wahrscheinlich ist, selbst wenn die Rechtschreibung seltsam ist.

2. Die Trainingsmethoden (Wie sie die KI unterrichteten)

Die Forscher ließen die KI nicht einfach nur raten; sie versuchten verschiedene Wege, sie zu unterrichten:

• Zero-Shot (Das „kalte Lesen"): Sie gaben der KI einen Prompt mit der Aufforderung: „Sie sind ein Experte. Hier ist ein Wort, sagen Sie mir seine Funktion", ohne ihr Beispiele zu zeigen. Es ist, als würde man einem Touristen bitten, eine Speisekarte zu übersetzen, ohne ihm ein Phrasebuch zu geben.
• Few-Shot (Die „Spickzettel"): Sie gaben der KI zunächst eine winzige Liste von Beispielen (z. B. „Dieses Wort ist ein Substantiv, dieses hier ist ein Verb"). Es ist, als würde man dem Touristen ein paar Schlüsselphrasen aushändigen, bevor er beginnt.
• Fine-Tuning (Die „Lehre"): Sie nahmen die KI und trainierten sie speziell auf den mittelalterlichen Texten. Es ist, als würde man den Touristen für einen Monat als Praktikant einstellen, um sich nur diese spezifischen Bücher anzusehen.
• Cross-Lingual Transfer (Das „Sprachfamilien-Treffen"): Dies ist der interessanteste Teil. Sie trainierten die KI auf einer Mischung von Sprachen. Zum Beispiel lehrten sie sie gleichzeitig auf Katalanisch und Okzitanisch und testeten sie dann auf Okzitanisch. Es ist, als würde man jemandem Spanisch und Italienisch beibringen und dann sehen, ob er Portugiesisch besser versteht, weil die Sprachen verwandt sind.

3. Die Ergebnisse: Wer gewann?

Die Ergebnisse waren klar, aber mit einigen interessanten Wendungen:

• Die KI gewinnt: In fast jedem Fall schlug die moderne KI (LLMs) die alten regelbasierten Werkzeuge. Die „genialen Polyglotten" bewältigten die chaotischen, seltsamen Rechtschreibungen viel besser als die „regelbefolgenden Bibliothekare".
• Training ist entscheidend: Die KI schnitt am besten ab, wenn sie tatsächlich auf den Daten trainiert wurde (Fine-Tuning) und nicht nur ratete.
• Der „Goldlöckchen"-Effekt beim Mischen von Sprachen:
  • Für den kleinsten, schwierigsten Datensatz (mittelalterliches Okzitanisch): Die KI lernte am besten, wenn sie alle drei Sprachen zusammen studierte (trilinguales Training). Es war, als würde der Schüler alle verwandten Dialekte hören müssen, um schließlich den schwierigen zu verstehen.
  • Für den medizinischen Text (mittelalterliches Französisch): Die KI schnitt am besten ab, wenn sie nur mit Katalanisch gepaart wurde (bilinguales Training). Das Hinzufügen der dritten Sprache machte es tatsächlich etwas schlechter. Es ist, als würde ein Schüler Französisch lernen; manchmal hilft das Hinzufügen einer dritten Sprache (wie Spanisch), aber manchmal ist es für eine spezifische, kleine Aufgabe effektiver, sich nur auf den nächsten Verwandten (Italienisch/Katalanisch) zu konzentrieren.

4. Das „Warum" hinter dem Sieg

Die Forscher stellten fest, dass die KI besonders gut darin war, Wörter mit Bedeutung und Kontext zu erkennen, wie Adjektive, Adverbien und Pronomen. Die alten Werkzeuge hatten mit diesen Schwierigkeiten, da sie sich auf starre Regeln verlassen. Die KI hingegen konnte den gesamten Satz betrachten und sagen: „Ah, dieses Wort beschreibt das Substantiv, also muss es ein Adjektiv sein", selbst wenn die Rechtschreibung seltsam war.

5. Der Haken (Einschränkungen)

Das Papier ist ehrlich darüber, was es nicht getan hat:

• Kosten: Die „genialen Polyglotten" (die großen KI-Modelle) sind teuer im Betrieb und erfordern leistungsstarke Computer. Die alten Werkzeuge sind kostenlos und schnell.
• Datengröße: Die Datensätze waren in ihrer Größe sehr unterschiedlich (einer hatte 2.000 Wörter, ein anderer 59.000). Die Forscher konnten nicht perfekt trennen, ob die KI gut abschnitt, wegen der Sprache oder einfach nur, weil sie mehr Daten zum Lernen hatte.
• Spezifität: Sie testeten nur diese drei Sprachen. Wir wissen noch nicht, ob dies für andere alte Sprachen funktioniert, die nicht mit den romanischen Sprachen verwandt sind.

Das Fazit

Dieses Papier beweist, dass für das Lesen von chaotischen, alten mittelalterlichen Texten moderne KI ein leistungsstarkes neues Werkzeug ist. Sie ersetzt die alten Methoden nicht nur; sie verbessert sie erheblich, insbesondere wenn man sie durch das Mischen verwandter Sprachen unterrichtet. Es gibt jedoch keine „Einheitsstrategie". Manchmal muss man alle Sprachen zusammen mischen, und manchmal muss man sich nur auf zwei konzentrieren, abhängig von dem spezifischen Text, den Sie zu lesen versuchen.

Für Historiker und Digitalhumanisten bedeutet dies, dass wir nun bessere Werkzeuge entwickeln können, um Tausende von Jahren Literatur automatisch zu organisieren und zu verstehen, die zuvor für Computer zu chaotisch waren.