Creating a Hybrid Rule and Neural Network Based Semantic Tagger using Silver Standard Data: the PyMUSAS framework for Multilingual Semantic Annotation

Diese Studie stellt das PyMUSAS-Framework vor, das durch die Erstellung eines silberstandardisierten Datensatzes und den Einsatz hybrider regelbasierter sowie neuronaler Modelle die semantische Annotation im USAS-Rahmenwerk für fünf Sprachen erweitert und dabei umfangreiche multilinguale Evaluierungen sowie offene Ressourcen bereitstellt.

Das Wesentliche

Stellen Sie sich vor, Sie lesen einen Text in einer fremden Sprache. Jedes Wort hat oft mehrere Bedeutungen. Das Wort "Bank" kann ein Sitzmöbel sein oder ein Geldinstitut. Ein Computer muss herausfinden, welche Bedeutung in welchem Kontext gemeint ist. Das nennt man Wortbedeutungs-Auflösung (im Englischen Word Sense Disambiguation).

Dieser Forschungsbericht beschreibt ein neues Projekt namens PyMUSAS, das wie ein super-intelligenter Dolmetscher und Übersetzer für fünf verschiedene Sprachen (Englisch, Irisch, Finnisch, Walisisch und Chinesisch) funktioniert. Hier ist die Erklärung, wie das Ganze funktioniert, ohne komplizierte Fachbegriffe:

1. Der alte Weg: Das dicke Wörterbuch (Die Regel-basierte Methode)

Stellen Sie sich vor, Sie haben einen sehr strengen, aber klugen Bibliothekar. Dieser Bibliothekar hat eine riesige Liste (ein Lexikon) mit allen möglichen Wörtern und ihren Bedeutungen.

• Wie er arbeitet: Wenn er das Wort "Bank" sieht, schlägt er in seinem Buch nach. Steht dort "Geldinstitut", dann markiert er es so.
• Das Problem: Wenn ein Wort in seinem Buch nicht steht (weil es neu ist, ein Slang-Wort ist oder er es einfach übersehen hat), gibt er auf. Er kann keine Bedeutung erraten. Er ist wie ein Bibliothekar, der nur die Bücher kennt, die im Regal stehen.
• Der Vorteil: Wenn er etwas kennt, ist er sehr präzise.

2. Der neue Weg: Der intuitive Schüler (Das neuronale Netzwerk)

Jetzt stellen Sie sich einen jungen, sehr begabten Schüler vor, der Millionen von Büchern gelesen hat. Er hat nie ein Wörterbuch benutzt, sondern einfach gelernt, wie Wörter in Sätzen zusammenhängen.

• Wie er arbeitet: Wenn er "Bank" sieht, denkt er: "Aha, im Satz 'Ich setze mich auf die Bank' geht es sicher um das Möbelstück, nicht um Geld." Er nutzt den Kontext, um zu raten.
• Das Problem: Er macht manchmal Fehler, besonders bei sehr spezifischen oder seltenen Wörtern, weil er keine festen Regeln hat. Er ist wie ein Schüler, der viel gelesen hat, aber manchmal überinterpretiert.
• Der Vorteil: Er kann fast jedes Wort verstehen, auch solche, die in keinem Wörterbuch stehen.

3. Die Lösung: Das Traum-Team (Das Hybrid-Modell)

Die Forscher in diesem Papier haben eine geniale Idee gehabt: Warum nicht beide zusammenbringen?

Sie haben ein System gebaut, das wie ein Chef und sein Assistent funktioniert:

1. Der Bibliothekar (Regel-basiertes System) schaut zuerst nach. Wenn er das Wort in seinem Lexikon findet, gibt er die genaue Bedeutung heraus. Das ist schnell und sicher.
2. Wenn der Bibliothekar sagt: "Ich habe das Wort nicht!", springt der Schüler (Neuronales Netzwerk) ein. Er schaut sich den Satz an und macht eine fundierte Vermutung.

Dieses Team ist stärker als jeder Einzelne. Der Bibliotheker deckt die sicheren Fälle ab, und der Schüler füllt die Lücken, wo der Bibliotheker versagt.

4. Das große Experiment: "Silberne" Daten

Normalerweise braucht man für das Training eines solchen Schülers (der KI) Millionen von Sätzen, die von Menschen manuell korrigiert wurden. Das ist extrem teuer und zeitaufwendig.

Die Forscher hatten einen cleveren Trick:

• Sie ließen den alten Bibliotheker (das Regel-System) einen riesigen Haufen englischer Texte (z. B. aus Wikipedia) durchgehen und alles markieren.
• Da der Bibliothekar sehr gut ist, waren diese Markierungen zu 99 % richtig. Sie nannten diese Daten "Silberne Daten" (nicht ganz so perfekt wie "Goldene" manuelle Daten, aber gut genug zum Lernen).
• Mit diesen "Silbernen Daten" trainierten sie den Schüler (die KI).
• Das Ergebnis: Der Schüler lernte so gut, dass er nun auch andere Sprachen (wie Chinesisch oder Irisch) verstehen konnte, obwohl er nur auf Englisch trainiert wurde! Er hat die Muster der Sprache gelernt, nicht nur die Wörter.

5. Was haben sie herausgefunden?

• Das Team gewinnt: Das Hybrid-System (Bibliothekar + Schüler) war in fast allen Fällen besser als nur der Bibliothekar oder nur der Schüler allein.
• Besonders gut bei Chinesisch: Bei der chinesischen Sprache war der Bibliothekar sehr schlecht (weil es ihm an Wörtern fehlte), aber der Schüler (die KI) war fantastisch. Das Team konnte hier riesige Lücken schließen.
• Offene Schatzkiste: Die Forscher haben ihre neuen Werkzeuge, die Daten und den Code kostenlos für alle veröffentlicht. Jeder kann jetzt diese "Dolmetscher" nutzen, um Texte in fünf Sprachen automatisch zu verstehen und zu kategorisieren.

Zusammenfassend:
Die Forscher haben einen alten, zuverlässigen Mechanismus mit einer modernen, lernfähigen KI kombiniert. Sie haben dabei einen cleveren Weg gefunden, die KI zu trainieren, ohne Millionen von Stunden manueller Arbeit zu investieren. Das Ergebnis ist ein mächtiges Werkzeug, das Texte in mehreren Sprachen viel besser versteht als die alten Methoden allein.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Creating a Hybrid Rule and Neural Network Based Semantic Tagger using Silver Standard Data: the PyMUSAS framework for Multilingual Semantic Annotation" auf Deutsch:

1. Problemstellung

Das Paper adressiert die Herausforderungen der Wortbedeutungsdisambiguierung (Word Sense Disambiguation, WSD) im Kontext des USAS-Frameworks (UCREL Semantic Analysis System). Während WSD für Semantik-Frameworks wie WordNet oder BabelNet umfassend evaluiert wurde, fehlte es für USAS an offenen, umfangreichen Evaluierungen, die über reine lexikalische Abdeckung oder Einzelsprachen hinausgehen.

Die Hauptprobleme sind:

• Mangel an manuell annotierten Trainingsdaten: Für viele Sprachen (insbesondere für das USAS-Tagset) existieren keine großen, manuell gelabelten Datensätze für das Training neuronaler Netze.
• Limitationen regelbasierter Systeme: Traditionelle USAS-Tagger basieren auf regelbasierten Systemen und manuellen Lexika. Diese leiden unter begrenzter lexikalischer Abdeckung (Coverage); Wörter, die nicht im Lexikon enthalten sind, können nicht korrekt getaggt werden.
• Fehlende multilinguale Vergleiche: Es gab bisher keine systematische Gegenüberstellung von regelbasierten, neuronalen und hybriden Modellen über mehrere Sprachen hinweg unter Verwendung des USAS-Tagsets.

2. Methodik

Die Autoren entwickeln einen hybriden Ansatz, der regelbasierte Systeme mit neuronalen Netzwerken kombiniert, und nutzen dabei „Silver Standard"-Daten.

A. Datengenerierung (Silver Standard)

Um das Problem des fehlenden Trainingsmaterials zu lösen, erstellten die Autoren einen großen englischen „Silver-Labelled"-Datensatz (ca. 5,3 Millionen Tokens):

• Quelle: Der Datensatz basiert auf englischen Wikipedia-Artikeln (hochwertige „good" und „featured" Artikel).
• Annotation: Die Texte wurden mit dem ursprünglichen, hochoptimierten regelbasierten C-Version USAS-Tagger automatisch annotiert. Da dieser Tagger als sehr präzise gilt, dienen diese automatisch generierten Labels als „Silver Standard" (eine Annäherung an Gold-Standard, aber ohne manuellen Aufwand).
• Negative Sampling: Da neuronale Netze negative Beispiele benötigen, wurden pro positivem Tag drei negative Tags zufällig aus drei Verteilungen gesampelt (Originalverteilung, Inverse Frequency, Log-Inverse), um die Klassenungleichgewichte auszugleichen.

B. Evaluierungsdaten

Für die Evaluation wurden manuell geprüfte oder annotierte Datensätze für fünf Sprachen verwendet:

• Englisch, Finnisch: Bestehende Korpora (teilweise maschinell übersetzt und nachbearbeitet).
• Walisisch: Ein Dataset aus früheren Arbeiten (Ezeani et al., 2019).
• Irisch: Ein Dataset aus Czerniak & Uí Dhonnchadha (2024).
• Chinesisch: Ein neu erstelltes, manuell annotiertes Korpus aus dem ToRCH2019-Korpus (Nachrichtenberichte über die Militär-Weltspiele 2019). Dies ist das erste manuell annotierte Korpus für USAS im Chinesischen.

C. Modellarchitekturen

Drei Arten von Modellen wurden verglichen:

1. Regelbasierte Modelle (R): Basierend auf dem PyMUSAS-Framework. Diese nutzen lexikonbasierte Nachschlagen (Einzelwörter und Multi-Word Expressions) und Heuristiken zur Disambiguierung.
2. Neuronale Modelle (N): Es wurde ein Bi-Encoder-Modell (BEM) nach Blevins und Zettlemoyer (2020) verwendet.
   • Architektur: Ein Pre-trained Language Model (PLM) kodiert den Kontext des Zielworts und die Definitionen (Glosses) der 232 USAS-Kategorien. Die Ähnlichkeit (Dot-Product) zwischen Kontextvektor und Gloss-Vektor bestimmt die Wahrscheinlichkeit.
   • Training: Die Modelle wurden auf dem englischen Silver-Standard-Datensatz feinabgestimmt (Fine-Tuning). Es wurden sowohl englische spezifische (NEngS, NEngB) als auch multilinguale Modelle (NMulS, NMulB) getestet.
3. Hybride Modelle (H): Eine Kombination aus Regel- und Neuronalem Ansatz. Das regelbasierte System wird als primärer Tagger verwendet. Wenn dieses aufgrund fehlender Lexikon-Einträge keine Vorhersage treffen kann (Out-of-Vocabulary), greift das neuronale Modell als „Back-off"-Mechanismus ein.

3. Wichtige Beiträge

1. Erste neuronale USAS-Tagger: Vorstellung der ersten neuronalen und hybriden Modelle, die speziell für das USAS-Tagset trainiert wurden, ohne manuell annotierte Trainingsdaten (nur Silver Standard).
2. Hybrider Ansatz: Demonstration, wie neuronale Netze regelbasierte Systeme ergänzen können, um die lexikalische Abdeckung zu erhöhen, ohne die Präzision der Regeln zu opfern.
3. Umfassende Evaluation: Die bisher größte Evaluierung von USAS-Taggern über fünf Sprachen (Englisch, Chinesisch, Finnisch, Irisch, Walisisch) hinweg.
4. Neue Ressourcen:
   • Veröffentlichung des ersten manuell annotierten Korpus für USAS im Chinesischen.
   • Bereitstellung des englischen Silver-Standard-Datensatzes.
   • Open-Source-Veröffentlichung aller Modelle, Codes und Daten (via Hugging Face und GitHub).

4. Ergebnisse

Die Ergebnisse (gemessen an Top-n-Genauigkeit) zeigen folgende Trends:

• Hybride Modelle sind überlegen: In den meisten Fällen (insbesondere für Englisch, Walisisch, Finnisch und Irisch bei Top-1) performen die hybriden Modelle am besten. Sie kombinieren die hohe Präzision der Regeln mit der besseren Abdeckung der neuronalen Netze.
• Neuronale Modelle vs. Regeln:
  • Für Englisch performen die rein neuronalen Modelle bei Top-1 schlechter als die Regeln, aber bei Top-5 besser. Die hybriden Modelle erreichen hier die beste Balance.
  • Für Chinesisch übertrafen die neuronalen Modelle (insbesondere die multilingualen NMulS/NMulB) sowohl die regelbasierten als auch die hybriden Modelle deutlich. Dies liegt daran, dass das regelbasierte chinesische Modell eine sehr geringe Abdeckung hatte, wodurch der hybride Ansatz durch die schlechten Regeln limitiert wurde.
• Sprachabhängigkeit: Multilinguale PLMs performten bei Chinesisch und Englisch sehr gut (dank großer Vor-Trainingsdatenmengen), zeigten aber bei ressourcenarmen Sprachen (Finnisch, Irisch, Walisisch) Schwächen.
• Modellgröße: Größere Modelle tendierten zu besseren Ergebnissen, wobei ein kleineres, sprachspezifisches Modell (Englisch) ähnlich gut performte wie ein großes multilinguales Modell.

5. Bedeutung und Fazit

Das Paper zeigt, dass Hybrid-Modelle den aktuellen State-of-the-Art für USAS-Semantik-Tagger darstellen. Sie lösen das Problem der begrenzten lexikalischen Abdeckung regelbasierter Systeme, ohne die hohe Genauigkeit für bekannte Wörter zu verlieren.

Ein zentrales Ergebnis ist die Machbarkeit des Silver-Standard-Ansatzes: Es ist möglich, leistungsfähige neuronale Modelle für semantische Aufgaben zu trainieren, indem man hochwertige regelbasierte Tagger zur Generierung von Trainingsdaten nutzt. Dies ist besonders wertvoll für ressourcenarme Sprachen, wo manuelle Annotationen teuer oder unmöglich sind.

Die Veröffentlichung der Ressourcen (insbesondere des chinesischen Korpus und der Trainingsdaten) ermöglicht es der Forschungsgemeinschaft, USAS-basierte semantische Annotation nun multilingual und mit modernen Deep-Learning-Methoden weiterzuentwickeln. Zukünftige Arbeiten sollen die Leistungsgewinne der einzelnen Komponenten (Regel vs. Neural) weiter isolieren und die Feinabstimmung für spezifische Low-Resource-Sprachen untersuchen.