Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Die Studie zeigt, dass die Kombination aus großflächigen ungelabelten Webdaten und synthetischen Annotationen durch ein Ensemble von LLMs die Leistung von Hate-Speech-Erkennungsmodellen, insbesondere bei kleineren Modellen und ressourcenarmen Sprachen, signifikant verbessert.

Das Wesentliche

Stell dir vor, du möchtest ein Wächter-System bauen, das im Internet nach bösen, hasserfüllten Kommentaren sucht. Das Problem ist: Um diesen Wächter zu trainieren, brauchst du tausende von Beispielen, die von Menschen sorgfältig geprüft und als „böse" oder „harmlos" markiert wurden. Aber das ist teuer, langsam und oft subjektiv – jeder Mensch bewertet Beleidigungen anders.

Die Autoren dieser Studie haben sich gefragt: Können wir das Internet selbst nutzen, um den Wächter schlauer zu machen, und können wir künstliche Intelligenz (KI) als Ersatz für menschliche Prüfer einsetzen?

Hier ist die einfache Erklärung ihrer Arbeit, gespickt mit ein paar Analogien:

1. Der riesige Rohstoff-Schatz (Das Internet als Lehrbuch)

Stell dir das Internet wie eine unendliche Bibliothek vor, die aus Milliarden von Seiten besteht. Bisher haben Computer-Modelle (wie BERT) oft nur mit kleinen, sauberen Büchern gelernt. Die Forscher haben sich gedacht: „Warum nicht einfach die ganze Bibliothek durchblättern, bevor wir den Wächter zum eigentlichen Job schicken?"

• Die Methode: Sie haben riesige Mengen an unmarkierten Texten aus dem Internet (OpenWebSearch.eu) gesammelt – in Englisch, Deutsch, Spanisch und Vietnamesisch.
• Der Trick: Bevor sie das Modell auf die eigentliche Aufgabe (Hassrede erkennen) trainiert haben, haben sie es erst einmal „vorgelesen" lassen. Das ist wie ein Student, der vor dem Examen nicht nur die Prüfungsfragen lernt, sondern erst einmal alle Zeitungen und Foren liest, um den Jargon und den Stil der Menschen zu verstehen.
• Das Ergebnis: Dieser „Vorles"-Schritt hat das Modell deutlich besser gemacht, besonders wenn es wenig echte Prüfungsfragen (markierte Daten) gab. Es war wie ein Schüler, der durch viel Lesen ein besseres Sprachgefühl entwickelt hat.

2. Die KI-Prüfer-Gruppe (Der Ensemble-Effekt)

Da menschliches Prüfen so teuer ist, wollten die Forscher wissen: Können wir mehrere große KI-Modelle (wie Mistral, Llama, Gemma, Qwen) fragen, ob ein Text böse ist, und deren Antworten kombinieren?

Stell dir vor, du hast vier verschiedene Experten vor dir, die einen Text bewerten sollen.

• Strategie A (Mehrheitsentscheid): Wenn 3 von 4 sagen „Böse", dann ist es böse. (Wie eine Jury).
• Strategie B (Durchschnitt): Man nimmt den Durchschnitt aller Meinungen.
• Strategie C (Der kluge Moderator): Ein kleiner, smarter Algorithmus (LightGBM) schaut sich an, welcher Experte bei welchen Texten recht hatte, und gewichtet deren Meinung entsprechend.

Das Ergebnis: Der „kluge Moderator" (Strategie C) war der Gewinner. Er hat gelernt, welche KI bei welchen Themen zuversichtlich ist und welche eher danebenliegt. Er hat die Schwächen der einzelnen KIs ausgeglichen.

3. Wer profitiert davon? (Die Größe spielt eine Rolle)

Hier kommt die überraschende Erkenntnis der Studie:

• Der kleine Wächter (Llama 1B): Stell dir einen kleinen, hungrigen Wächter vor, der noch viel lernen muss. Wenn man ihm die von den KI-Experten erstellten „Lernkarten" (synthetische Daten) gibt, wird er riesig stärker. Er hat seine Leistung um über 10 % verbessert! Die synthetischen Daten haben ihm quasi das Wissen der großen KI-Experten „eingepflanzt".
• Der große Wächter (Qwen 14B): Stell dir einen bereits sehr erfahrenen, großen Wächter vor. Der war schon fast perfekt. Die zusätzlichen KI-generierten Lernkarten haben ihm nur einen winzigen Schub gegeben (+0,6 %). Er war schon so gut, dass er kaum noch lernen musste.

Die Analogie: Es ist wie beim Sport. Ein Anfänger profitiert enorm von einem neuen Trainingsplan. Ein Weltmeister profitiert kaum noch von einem zusätzlichen Lauf, er braucht eher die perfekte Technik.

4. Das große Problem: Die Schieflage

Ein wichtiges Detail: Das Internet besteht zu 97 % aus harmlosen Nachrichten. Nur 3 % sind wirklich böse.
Wenn die KIs das Internet durchsuchen, finden sie also fast nur harmlose Texte. Das führt dazu, dass die Trainingsdaten extrem unausgewogen sind (viele „Harmlos", sehr wenige „Böse").

• Die Gefahr: Ein Modell, das nur mit diesen Daten lernt, könnte denken: „Alles ist harmlos!" und echte Hassrede übersehen.
• Die Lösung: Der „kluge Moderator" (LightGBM) war am besten darin, dieses Ungleichgewicht zu korrigieren und trotzdem die seltenen bösen Texte zu finden.

Fazit in einem Satz

Die Studie zeigt, dass man kleine KI-Modelle durch das Lesen riesiger Internetmengen und das Lernen von einer Gruppe anderer KIs extrem stark machen kann – fast so gut wie die großen Modelle – was besonders für Sprachen wie Vietnamesisch oder Spanisch wichtig ist, wo es kaum menschliche Prüfer gibt.

Kurz gesagt: Man braucht nicht unbedingt teure menschliche Prüfer für jede Sprache. Wenn man die richtigen KI-Tools kombiniert und dem Internet „zuhört", kann man auch mit kleinen Modellen einen sehr guten Hasserkenner bauen.

Technische Zusammenfassung

1. Problemstellung

Die Entwicklung robuster Detektoren für Hassrede und beleidigende Sprache stößt auf ein zentrales Hindernis: den Mangel an hochwertigen, gelabelten Trainingsdaten, insbesondere für mehrere Sprachen.

• Datenknappheit: Das Sammeln von Rohdaten aus dem Web ist einfach, aber die manuelle Annotation ist kostspielig und führt zu subjektiven Verzerrungen durch menschliche Annotatoren.
• Limitationen bestehender Ansätze: Bisherige Arbeiten nutzen oft nur eine Sprache oder vergleichen synthetische Annotationen nicht rigoros mit menschlichen Labels. Zudem ist unklar, wie groß, ungelabelte Web-Korpora (wie OpenWebSearch.eu, OWS) und Large Language Models (LLMs) als synthetische Annotatoren kombiniert werden können, um die Generalisierung über Sprachgrenzen hinweg zu verbessern.

Das Paper adressiert diese Lücke durch zwei Forschungsfragen:

1. Inwieweit kann großflächige, ungelabelte Webdaten die Leistung von BERT-Modellen durch Continued Pre-Training verbessern?
2. Wie effektiv sind Ensemble-Strategien von LLMs für synthetische Annotationen, um die Detektionsleistung und cross-linguale Generalisierung zu steigern?

2. Methodik und Aufbau

Die Autoren verfolgen einen zweigleisigen Ansatz (siehe Abbildung 1 im Paper), der auf Daten von OpenWebSearch.eu (OWS) und OpenWebIndex (OWI) basiert.

A. Datenerfassung und Vorverarbeitung

• Korpus: Es wurden ca. 14,5 Millionen Texte in vier Sprachen (Englisch, Deutsch, Spanisch, Vietnamesisch) gesammelt.
• Filterung: Um konversationelle Inhalte zu priorisieren, wurden URLs gefiltert, die Schlüsselwörter wie „thread", „forum" oder „post" enthalten, sowie spezifische schema.org-Typen (z. B. DiscussionForumPosting).
• Wichtig: Diese Daten sind ungelabelt und dienen ausschließlich dem Domain-Adaptive Pre-Training (DAPT), nicht als gelabelter Hate-Speech-Korpus.

B. Strategie 1: Continued Pre-Training von BERT

• Ansatz: Vier BERT-Varianten wurden auf den ungelabelten OWS-Daten durch Masked Language Modeling (MLM) weiter vortrainiert (Domain-Adaptive Pre-Training).
• Modelle:
  • Monolingual: OwsEng, OwsDeu, OwsSpa.
  • Multilingual: Ows4L (gemischte Daten aller vier Sprachen).
• Fine-Tuning: Anschließend wurden diese Modelle auf 16 verschiedenen menschlich gelabelten Hate-Speech-Datensätzen (Trainingssets) feinabgestimmt.

C. Strategie 2: Ensemble-Annotation mit LLMs

• Annotatoren: Vier Open-Source-LLMs wurden eingesetzt: Mistral-7B, Llama3.1-8B, Gemma2-9B und Qwen2.5-14B.
• Annotation: Die Modelle generierten Token-Wahrscheinlichkeiten für die Klassen „Hate" und „Neutral" (Zero-Shot).
• Ensemble-Strategien: Drei Methoden zur Aggregation der Vorhersagen wurden verglichen:
  1. Majority Voting (Vote): Hard-Voting basierend auf einem Schwellenwert.
  2. Mean Averaging (Mean): Durchschnitt der Wahrscheinlichkeiten.
  3. LightGBM Meta-Learner (LGB): Ein Klassifikator, der auf den Wahrscheinlichkeitsvektoren der vier LLMs trainiert wird, um die Zuverlässigkeit der einzelnen Modelle zu gewichten.
• Synthetische Daten: Die resultierenden Labels wurden genutzt, um kleinere Modelle (Llama3.2-1B) und größere Modelle (Qwen2.5-14B) zu trainieren.

3. Wichtige Beiträge

1. Skalierbare Web-Daten: Demonstration, dass Domain-Adaptive Pre-Training auf Web-Scale-Daten (OWS) die Leistung von BERT-Modellen signifikant verbessert, insbesondere in ressourcenarmen Szenarien.
2. LLM-Ensemble für Annotation: Einführung und Vergleich von Ensemble-Methoden zur synthetischen Annotation. Die Arbeit zeigt, dass ein LightGBM Meta-Learner einfache Aggregationsmethoden (Voting/Mittelwert) übertrifft, da er systematische Verzerrungen der einzelnen LLMs korrigieren kann.
3. Umfassende Evaluation: Ein Benchmark über 16 Datensätze in vier Sprachen, der sowohl BERT-Modelle als auch verschiedene LLM-Größen (1B bis 14B Parameter) vergleicht.
4. Offene Ressourcen: Bereitstellung von Code, Modellen und Daten auf GitHub.

4. Ergebnisse

Zu RQ1: Continued Pre-Training mit OWS-Daten

• Leistungsgewinn: Alle OWS-vortrainierten Modelle übertrafen die Baselines (Standard-BERT und HateBERT) in fast allen Szenarien.
• Multilingualität: Das multilinguale Modell Ows4L erzielte die beste durchschnittliche Macro-F1-Leistung (77,0 %) über alle Konfigurationen hinweg.
• Ressourcenarme Sprachen: Der Gewinn war in Low-Resource-Szenarien am höchsten (z. B. +6,6 % bei ViHSD im Vergleich zu HateBERT).
• Cross-Lingual-Effekte: Modelle, die nur auf einer Sprache vortrainiert wurden (z. B. OwsDeu), zeigten überraschend starke Verbesserungen auch in anderen Sprachen (z. B. +11,2 % im Englischen), vermutlich aufgrund multilingualer Inhalte im Web-Crawl.

Zu RQ2: LLM-Ensemble Annotationen

• Einfluss auf Modellgröße:
  • Kleine Modelle (Llama3.2-1B): Profiten enorm von synthetischen Daten. Die Kombination aus menschlichen Labels und LightGBM-Ensemble (H+LGB) führte zu einem +10,6 % Anstieg der gepoolten F1-Leistung.
  • Große Modelle (Qwen2.5-14B): Zeigten nur marginale Verbesserungen (+0,6 %), da ihre starken Vorwissen (Priors) die limitierten und unausgewogenen synthetischen Daten schnell „sättigten".
• Ensemble-Strategie: Der LightGBM Meta-Learner war konsistent überlegen. Er konnte die Verzerrungen der einzelnen LLMs ausgleichen und erzielte auch in Sprachen ohne Trainingsdaten (Spanisch) positive Ergebnisse, während Voting und Mean-Averaging hier versagten.
• Herausforderung: Die synthetischen Daten wiesen eine extreme Klassenungleichgewichtung auf (>97 % „Neutral"), was die Erkennung von Hassrede (Minority Class) erschwerte.

5. Bedeutung und Schlussfolgerung

Das Paper zeigt, dass die Kombination aus web-skalierten ungelabelten Daten und LLM-Ensemble-Annotationen eine vielversprechende Strategie ist, um Hate-Speech-Detektoren zu verbessern, insbesondere für:

1. Kleinere Modelle: Die synthetischen Daten wirken hier als effizientes Wissenstransfer-Medium („Distillation") von großen zu kleinen Modellen.
2. Low-Resource-Sprachen: Continued Pre-Training auf Web-Daten kompensiert den Mangel an gelabelten Trainingsdaten effektiv.

Kritische Einschränkungen:

• Die extreme Klassenungleichgewichtung in den synthetischen Daten bleibt ein Flaschenhals.
• Die Aggregation von „Hate", „Offensive" und „Abusive" zu einer einzigen Klasse vereinfacht das Problem, könnte aber die Nuancen in spezifischen Datensätzen verwischen.
• Die synthetischen Labels erben die Verzerrungen der zugrunde liegenden LLMs (hauptsächlich englisch-zentriert).

Zukunftsaussichten: Die Autoren planen, den OWS-Korpus zu vergrößern, neuere Modelle zu testen und verbesserte Prompting-Strategien (z. B. Chain-of-Thought) zu erforschen, um die Annotationen weiter zu verfeinern.