Technische Zusammenfassung: Eine groß angelegte Pipeline zur automatischen Erkennung von Neologismen

Problemstellung

Die automatische Erkennung von Neologismen (lexikalische Innovationen) steht vor einer grundlegenden Skalierbarkeits-Herausforderung. Während groß angelegte Korpora sozialer Medien reichhaltige Quellen für Sprachwandel bieten, ist die überwältigende Mehrheit der Token, die in Standardwörterbüchern fehlen, keine Neologismen, sondern vielmehr Tippfehler, falsche Schreibweisen, verkettete Strings, Code-Fragmente oder fremdsprachiges Material. In einem Korpus von 527 Millionen englischsprachigen Reddit-Beiträgen wurden 124,6 Millionen eindeutige Token extrahiert. Die individuelle Klassifizierung jedes dieser Token mittels Large Language Models (LLMs) ist rechnerisch nicht machbar. Darüber hinaus verlassen sich bestehende Erkennungssysteme häufig auf statische, sprachspezifische Ausschlusswörterbücher, die keine Portabilität aufweisen und eine umfangreiche manuelle Verifizierung großer Kandidatensätze erfordern. Das Kernproblem besteht darin, eine Pipeline zu entwerfen, die diese massive Kandidatenmenge auf eine für die Expertenverifizierung handhabbare Größe reduziert, dabei jedoch eine hohe Recall-Rate für echte lexikalische Innovationen beibehält.

Methodik

Die Autoren stellen eine skalierbare, modulare Pipeline vor, die deterministische regelbasierte Filterung mit einer Multi-Modell-LLM-Klassifizierung kombiniert. Das System basiert auf zwei komplementären Wortbildungstheorien:

1. Grammatische Wortbildung: Basierend auf Štekausers onomasiologischer Theorie, die regelgeleitete Prozesse wie Affigierung und Komposition abdeckt.
2. Extra-grammatische Wortbildung: Basierend auf Mattiellos Rahmenwerk, die nicht regelgeleitete Prozesse wie Verschmelzung (Blending), Kürzung (Clipping) und expressive Morphologie (z. B. doggo) abdeckt.

Die Pipeline arbeitet durch eine mehrstufige Filterkaskade:

1. Tokenisierung & Vorverarbeitung: Unter Verwendung von spaCy entfernt das System nicht-lexikalische Inhalte (URLs, Erwähnungen, Emojis) und normalisiert den Text.
2. Vokabular-Filterung: Token, die in Referenzvokabularen enthalten sind, die ausschließlich aus Quellen vor 2015 zusammengestellt wurden (16,3 Millionen Oberflächenformen aus Quellen wie WordNet, Wiktionary und Urban Dictionary), werden ausgeschlossen.
3. Musterbasierte Bereinigung: Sprachunabhängige und sprachspezifische Regeln entfernen Rauschen, wie übermäßige Zeichenwiederholungen, Strings mit niedriger Entropie und unplausible phonotaktische Cluster.
4. Tippfehler- und Verkettungserkennung: Mit SymSpell markiert das System Token, die wahrscheinlich Tippfehler oder leerzeichenlose Verkettungen bestehender Wörter sind, basierend auf dem Editierabstand und der Segmentierung gegen ein Frequenzwörterbuch.
5. Frequenzschwellenwert & Reintegration: Als Fehler markierte Token werden erneut geprüft, wenn sie im Korpus häufig auftreten (Schwellenwert ≥100 Vorkommen). Dieser Mechanismus verhindert die vorzeitige Verwerfung echter hochfrequenter Neologismen, die Tippfehlern ähneln könnten (z. B. vtuber).
6. Fremdsprachenerkennung: Ein Spracherkennungsmodul (Lingua) filtert Token, die als nicht-englisch identifiziert wurden, wobei ein Konfidenzschwellenwert es ermöglicht, dass mehrdeutige Fälle zur Klassifizierung weitergeleitet werden.
7. LLM-Klassifizierung: Die verbleibenden Kandidaten werden in vier Kategorien eingeteilt: Neologismus (neue Wörter/Slang), Entität (Eigennamen), Fremdsprache (nicht-englische Wörter) und Keine (restliches Rauschen).
   • Ensemble-Abstimmung: Drei Open-Source-Modelle (Qwen 2.5 72B, LLaMA 3.3 70B, Mistral Large 2 123B) klassifizieren Token unabhängig voneinander. Eine Mehrheitsentscheidung bestimmt das Label.
   • Verifizierung: Ein viertes Modell (Claude 4.5 Haiku) fungiert als strikter Verifizierungsfilter, der die Kandidaten der Mehrheitsentscheidung für Neologismen neu bewertet, um False Positives zu reduzieren.

Hauptbeiträge

1. Skalierbare Pipeline-Architektur: Ein modulares System, das in der Lage ist, Hunderte von Millionen Token zu verarbeiten, und eine Menge von 124,6 Millionen Token auf 1.021 Kandidaten reduziert (ein Kompressionsverhältnis von 122.031:1), die für die manuelle Expertenverifizierung geeignet sind.
2. Theoretische Fundierung: Das Klassifikationsschema leitet sich explizit aus Theorien der grammatischen und extra-grammatischen Wortbildung ab, wodurch sichergestellt wird, dass das Label „Neologismus" sowohl regelbasierte als auch analogische Innovationen erfasst.
3. Vergleichende LLM-Evaluation: Eine systematische Evaluation mehrerer LLMs bei einer Vier-Klassen-Neologismus-Klassifizierungsaufgabe, die signifikante Meinungsverschiedenheiten zwischen den Modellen aufzeigt und den Wert von Ensemble-Methoden demonstriert.
4. Annotierter Datensatz: Die Veröffentlichung einer manuell annotierten Liste von 1.021 Pipeline-Ausgabekandidaten, einschließlich Gold-Labels, Fehleranalyse und Klassifizierung nach Wortbildungsprozess.

Ergebnisse

Angewendet auf die 527 Millionen Reddit-Beiträge (2005–2024) ergab die Pipeline folgende Ergebnisse:

• Filtereffizienz: Die regelbasierten Stufen reduzierten die anfänglichen 124,6 Millionen eindeutigen Token um 99,86 %, wodurch 174.973 Kandidaten für die LLM-Klassifizierung übrig blieben.
• Modell-Meinungsverschiedenheit: Es gab erhebliche Meinungsverschiedenheiten zwischen den drei Open-Source-Modellen. LLaMA war am aggressivsten bei der Vorhersage von Neologismen (12,2 %), während Mistral am konservativsten war (59,9 % wurden als „keine" eingestuft). Einstimmige Übereinstimmung trat nur in 45,8 % der Fälle auf.
• Auswirkung der Verifizierung: Die Mehrheitsentscheidung produzierte 10.499 Neologismus-Kandidaten. Der Verifizierungsschritt mit Claude 4.5 Haiku lehnte 90,3 % dieser ab und bestätigte nur 897 als Neologismen.
• Endausgabe: Nach der Verifizierung blieben 1.021 Kandidaten übrig. Die manuelle Annotation bestätigte, dass 599 (58,7 %) echte lexikalische Innovationen waren (465 Neologismen und 134 Entitäten). Die verbleibenden 422 waren False Positives (361 „keine" und 61 fremdsprachige Token).
• Wortbildungsmuster: Die 599 bestätigten Neologismen zeigten diverse Bildungsprozesse, darunter standardmäßige grammatische Prozesse (Präfigierung, Suffixierung, Komposition) und extra-grammatische Prozesse (Verschmelzung, expressive Morphologie und analogische Bildungen wie finfluencer und tradwife).
• Recall-Schätzung: Basierend auf einer Referenzliste von 103 dokumentierten Neologismen erkannte die Pipeline 20 True Positives. Allerdings wurden 48 korrekt als Formen vor 2015 ausgeschlossen, und 33 waren False Negatives. Die Recall-Rate für echte Post-2015-Items betrug 37,7 % (20/53), wobei die Hauptquelle der False Negatives Konflikte bei Vokabular-Homographen waren (z. B. rizz als Charaktername vs. der Slang-Begriff).

Bedeutung und Behauptungen

Die Arbeit positioniert die Pipeline nicht als perfekten Klassifikator, sondern als einen Kandidatengenerator mit hoher Recall-Rate. Ihre primäre Bedeutung liegt darin, die Aufgabe der Neologismenerkennung für menschliche Experten machbar zu machen, indem sie einen unüberschaubaren Datensatz in eine kleine, verifizierbare Menge komprimiert.

Die Autoren behaupten, dass:

• Die Pipeline komplexe linguistische Theorien (Štekauer und Mattiello) erfolgreich in einen computergestützten Arbeitsablauf operationalisiert.
• Die Kombination aus regelbasierter Vorfilterung und Multi-Modell-LLM-Klassifizierung notwendig ist, um das in Daten sozialer Medien inhärente Rauschen zu bewältigen.
• Der resultierende Datensatz von 599 verifizierten Neologismen eine wertvolle Ressource für die Untersuchung zeitgenössischer Wortbildungsprozesse darstellt, die Muster von standardmäßiger Komposition bis hin zu analogen „sekretierten" Kombinationsformen (z. B. -fluencer, -pilled) erfasst.
• Die Fehleranalyse hervorhebt, dass zukünftige Verbesserungen sich auf die frühesten Filterstufen (Vokabular und Tokenisierung) konzentrieren sollten und nicht auf die nachgelagerte Klassifizierung, insbesondere in Bezug auf semantische Verschiebungen und Homographenkonflikte.

Die Autoren weisen ausdrücklich auf Einschränkungen hin, darunter die Unfähigkeit, Mehrwortausdrücke, semantische Verschiebungen (z. B. Karen) oder nicht-alphabetische Innovationen (Algospeak) zu erkennen, und erkennen an, dass die aktuelle Instanzierung englischspezifisch ist, obwohl die Architektur so konzipiert ist, dass sie übertragbar ist.