⚡ electrical engineering

ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

Dieses Paper stellt ChildGuard vor, einen groß angelegten englischsprachigen Datensatz mit 351.877 annotierten Instanzen von Social-Media-Plattformen, der darauf ausgelegt ist, die Lücke in der Erkennung von Hassrede gegen Kinder zu schließen, indem er Inhalte über drei Altersgruppen sowie kontextuelle und lexikalische Teilmengen hinweg kategorisiert und dabei einen besten Macro-F1-Score von 82,07 % mit Transformer-basierten Modellen erreicht.

Ursprüngliche Autoren: Gautam Siddharth Kashyap, Mohammad Anas Azeez, Rafiq Ali, Zohaib Hasan Siddiqui, Jiechao Gao, Usman Naseem

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gautam Siddharth Kashyap, Mohammad Anas Azeez, Rafiq Ali, Zohaib Hasan Siddiqui, Jiechao Gao, Usman Naseem

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet wie einen riesigen, belebten Spielplatz vor. Normalerweise denken wir bei Spielplätzen an Orte des Spaßes, aber manchmal kommen ältere Kinder oder Fremde herein und schreien gemeine, verletzende Dinge zu den Kleinen. In dieser Arbeit geht es darum, ein spezielles „Sicherheitspersonal“-System zu entwickeln, um dieses Mobbing aufzuspüren, aber mit einem Clou: Es ist speziell darauf ausgelegt zu verstehen, wie Mobbing aussieht, wenn es gegen Kinder gerichtet ist, nicht gegen Erwachsene.

Hier ist die Geschichte von ChildGuard, einfach aufgeschlüsselt:

1. Das Problem: Der „erwachsene“ Sicherheitsdienst ist verwirrt

Derzeit gibt es Werkzeuge im Internet, um Hassrede zu erfassen, aber sie sind wie Sicherheitskräfte, die nur darauf trainiert sind, zu erkennen, wenn Erwachsene gemobbt werden. Sie wissen, wie eine Beleidigung gegen einen Erwachsenen klingt (z. B. „Sie sind ein schlechter Politiker“).

Aber wenn ein Mobber ein Kind angreift, ändern sich die Beleidigungen. Sie sagen vielleicht: „Du bist zu fett zum Tanzen“, „Geh zurück in dein Land“ oder „Bring dich um, Baby“. Diese sind anders, weil:

Sie zielen auf das Alter ab: Sie greifen die Reife oder die Größe eines Kindes an.
Sie sind subtil: Manchmal ist der Hass nicht eine direkte Beschimpfung; er ist in Sarkasmus oder dem Kontext versteckt (wie zum Beispiel zu sagen: „Geh doch wieder mit deinen Spielzeugen spielen“, um einen Teenager klein zu machen).

Die Arbeit argumentt, dass bestehende Werkzeuge „erwachsenenzentriert“ sind. Sie übersehen die spezifischen Nuancen, wie Kinder angegriffen werden, und lassen sie in ihren kritischsten Wachstumsjahren schutzlos zurück.

2. Die Lösung: Eine neue „Spielplatz-Karte“ erstellen (ChildGuard)

Um dies zu beheben, haben die Forscher ChildGuard entwickelt. Betrachten Sie dies nicht als einen Roboter-Wächter, sondern als eine riesige, detaillierte Karte von jeder Art von gemeinem Ding, das jemals zu einem Kind gesagt wurde.

Die Größe: Sie sammelten fast 352.000 Beispiele für Texte. Das ist so, als würde man jede einzelne Nachricht in der Zeitung einer Kleinstadt für ein ganzes Jahr lesen.
Die Quellen: Sie sammelten diese aus drei großen „Spielplätzen“: X (Twitter), Reddit und YouTube.
Die Kategorien: Sie haben die Daten nicht einfach auf einen Haufen geworfen. Sie sortierten sie in drei Altersgruppen, genau wie eine Schule ihre Schüler sortiert:
- Jüngere Kinder (unter 11): Zielscheibe von Wörtern wie „Baby“, „Kleinkind“ oder „Windel“.
- Vorpubertierende (11-12): Zielscheibe von Wörtern wie „Schulmädchen“ oder „Minderjähriger“.
- Teenager (13-17): Zielscheibe von Wörtern wie „Teenager“ oder „High School“.

Sie unterteilten die Daten auch in zwei Arten von „gemein“:

Lexikalisch (Die „Ohrfeige“): Direkte Beleidigungen unter Verwendung von Schimpfwörtern (z. B. „Du bist ein wertloser Bengel“).
Kontextuell (Das „Flüstern“): Gemeine Dinge, die nur Sinn ergeben, wenn man das ganze Gespräch oder die Situation versteht (z. B. Sarkasmus oder indirekte Drohungen).

3. Der Privatsphäre-Schutzschild

Bevor jemand diese Daten ansah, setzten die Forscher „Privatsphäre-Brillen“ auf. Sie entfernten alle echten Namen, Benutzernamen und Standorte. Wenn sie einen Namen fanden, ersetzten sie ihn durch einen zufälligen Code. Dies stellt sicher, dass sie das Mobbing untersuchten, ohne die Opfer preiszugeben.

4. Der Test: Wie gut sind die heutigen Roboter?

Die Forscher nahmen diese neue Karte (ChildGuard) und testeten sie gegen die klügsten KI-Computer, die heute verfügbar sind (wie GPT-4, Claude und andere). Sie wollten sehen, ob diese KIs das Mobbing erkennen können.

Die Ergebnisse waren gemischt:

Die gute Nachricht: Die beste KI beantwortete etwa 82 % der Fragen richtig. Das ist ein ordentliches Ergebnis, aber nicht perfekt.
Die schlechte Nachricht: Die Punktzahl sank deutlich, wenn die KI versuchte, spezifische Herausforderungen anzugehen:
- Jüngere Kinder: Es wurde schwieriger, Mobbing gegen Kinder unter 11 aufzuspüren (die Punktzahl sank auf ~75 %).
- Kontextueller Hass: Sie hatte mehr Probleme mit den „Flüstern“ (Sarkasmus/indirekter Hass) als mit den „Ohrfeigen“ (direkte Beleidigungen).
- Plattformübergreifend: Sie machte sich auf Reddit gut, hatte aber mehr Probleme auf YouTube.

Warum sind sie gescheitert?
Die Forscher fanden heraus, dass die KIs hauptsächlich durch Folgendes verwirrt wurden:

Verborgener Hass: Wenn das Mobbing nicht offensichtlich war.
Kontext: Wenn die Bedeutung vom gesamten Gespräch abhing.
Altersverwirrung: Wenn es schwer war zu unterscheiden, ob die Beleidigung gegen ein Kind oder einen Erwachsenen gerichtet war.

5. Das Faz-it

Die Arbeit kommt zu dem Schluss, dass wir zwar leistungsstarke KI-Werkzeuge haben, diese aber noch nicht ganz bereit sind, Kinder online vollständig zu schützen. Sie sind immer noch zu sehr „erwachsenenfokussiert“.

ChildGuard ist ein neues, spezialisiertes Werkzeug (ein Datensatz), das Forscher nun verwenden können, um bessere, sensiblere KI-Wächter zu trainieren. Es verdeutlicht, dass der Schutz der psychischen Gesundheit von Kindern online das Verständnis erfordert, dass ein Mobber, der zu einem 7-Jährigen spricht, ganz anders klingt als ein Mobber, der zu einem 40-Jährigen spricht.

Kurz gesagt: Wir haben eine riesige Bibliothek darüber gebaut, wie Kinder online gemobbt werden, um unseren Computern beizubringen, dass „Du bist ein Baby“ ein Hassverbrechen sein kann und nicht nur eine Beschreibung, und dass unsere heutigen Computer noch dabei sind, die Lektion zu lernen.

Technische Zusammenfassung: ChildGuard: Ein spezialisierter Datensatz zur Bekämpfung kinderspezifischer Hassrede

Problemstellung
Die psychische Gesundheitsbranche sieht sich mit wachsenden Bedenken hinsichtlich Hassrede konfrontiert, die in sozialen Medien gegen Kinder gerichtet ist. Die Exposition gegenüber solchen Inhalten während kritischer Entwicklungsphasen kann zu negativen psychologischen Folgen führen, einschließlich emotionaler Belastung, Angstzuständen, sozialer Isolation und vermindertem Selbstwertgefühl. Bestehende Systeme zur Erkennung von Hassrede und die dazugehörigen Datensätze sind jedoch überwiegend erwachsenenzentriert. Sie modellieren typischerweise die Beziehung zwischen dem Textinhalt ( $X$ ) und den Hassrede-Labels ( $Y \in \{0, 1\}$ ), ohne alterspezifische Merkmale ( $A$ ) zu berücksichtigen. Folglich fehlt diesen Systemen die notwendige spezialisierte Repräsentation, um Hassrede zu erkennen, die gezielt auf Kinder ausgerichtet ist, deren emotionale Resilienz und kognitive Reife sich signifikant von der Erwachsenen unterscheiden.

Methodik
Die Autoren führen ChildGuard ein, einen groß angelegten englischsprachigen Datensatz, der diese Lücke schließen soll. Die Methodik umfasst Datenerhebung, Filterung und Annotation:

Datenerhebung: Ungefähr 580.000 Rohtext-Instanzen wurden von drei großen Plattformen gesammelt, auf denen Kinder aktiv teilnehmen: Reddit, X (ehemals Twitter) und YouTube. Die Sammlung erfolgte über öffentliche APIs (PRAW, Tweepy, YouTube Data API v3) und, falls erforderlich, über benutzerdefinierte Skripte (BeautifulSoup, Selenium), um die Beschränkungen der Thread-Tiefe zu umgehen. Ein Lexikon aus kindbezogenen Schlüsselwörtern (z. B. „kid“, „teenager“, „diaper“, „school“) wurde verwendet, um relevante Inhalte zu filtern.
Filterung: Eine mehrstufige Pipeline entfernte nicht-englische Texte, Spam, Duplikate (via SHA-256-Hashing) sowie Instanzen mit weniger als 10 Token oder übermäßigen Emojis/URLs. Dieser Prozess behielt 469.910 Instanzen für die Annotation.
Annotation: Drei erfahrene Annotatoren haben die verbliebenen Instanzen manuell etikettiert. Jede Instanz erhielt:
- Ein Hassrede-Label ( $Y \in \{0, 1\}$ ).
- Ein Altersgruppen-Label ( $A \in \{\text{kleines Kind}, \text{Vorpubertät}, \text{Teenager}\}$ ), entsprechend unter 11, 11–12 und 13–17 Jahren.
- Eine Subset-Kategorie ( $S \in \{\text{lexikalisch}, \text{kontextuell}\}$ ). Das lexikalische Subset (194K Instanzen) konzentriert sich auf Vokabular und direkte Beleidigungen, während das kontextuelle Subset (157K Instanzen) diskursive Merkmale, Sarkasmus und indirekte Referenzen erfasst.
Privatsphäre: Vor der Annotation wurden alle personenbezogenen Daten (PII) mittels des spaCy NER-Modells und Regex-Regeln anonymisiert, indem Identifikatoren durch SHA-256-gehashte Token ersetzt wurden.

Wesentliche Beiträge

ChildGuard Datensatz: Die Einführung eines groß angelegten Datensatzes mit 351.877 annotierten Instanzen, der als erster kindfokussierte Inhalt mit spezifischen Altersgruppen-Annotationen und einer Unterscheidung zwischen lexikalischer und kontextueller Hassrede kombiniert.
Empirisches Benchmarking: Die Arbeit liefert eine umfassende Evaluierung aktueller Transformer-basierter Modelle (DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT) und Large Language Models (GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3) in diesem spezifischen Bereich.

Ergebnisse
Die Evaluierung auf dem gehaltenen Testset zeigt signifikante Herausforderungen bei der Erkennung kinderspezifischer Hassrede auf:

Gesamtleistung: Das am besten abschneidende Modell, GPT-4.5, erreichte einen Macro-F1-Score von 82,07 % auf dem vollständigen Datensatz.
Varianz nach Altersgruppe: Die Leistung sank konsistent, je geringer das Zielalter war. Die GPT-4.5-Scores fielen auf 79,41 % für die Vorpubertät und 79,24 % für kleine Kinder zurück, was darauf hindeutet, dass Hassrede, die auf jüngere Demografien abzielt, subtilere und kontextabhängigere Merkmale aufweist.
Lexikalisch vs. Kontextuell: Modelle schnitten beim lexikalischen Subset deutlich besser ab (85,11 % Macro-F1 für GPT-4.5) als beim kontextuellen Subset (79,24 %), was die Schwierigkeit bei der Erkennung indirekter Feindseligkeit und diskursiver Missbräuche verdeutlicht.
Fehleranalyse: Die Hauptquellen für Fehlklassifizierungen waren implizite Hassrede (31,4 %), Kontextabhängigkeit (25,8 %) und Altersambiguität (18,9 %).
Generalisierung über Subsets hinweg: Modelle hatten Schwierigkeiten, über Subsets hinweg zu generalisieren; beim Transfer von lexikalischen zu kontextuellen Instanzen sank die Leistung von GPT-4.5 auf 74,88 %.

Bedeutung und Ansprüche
Das Paper behauptet, dass ChildGuard eine kritische Ressourcenknappheit in der psychischen Gesundheitsbranche adressiert, indem es ein notwendiges Fundament für die Entwicklung kinderspezifischer Erkennungssysteme für Hassrede schafft. Die Autoren betonen, dass aktuelle State-of-the-Art-Systeme trotz moderaten Erfolgs aufgrund ihrer Unfähigkeit, altersspezifische Nuancen und impliziten Kontext zu handhaben, für diese spezifische Anwendung unzureichend bleiben. Der Datensatz dient als Benchmark, um die Entwicklung von Modellen zu motivieren, die besser in der Lage sind, die Beziehung zwischen Textinhalt, Altersgruppen-Informationen und Hassrede-Labels zu berücksichtigen, und somit über traditionelle $P(Y|X)$ -Formulierungen hinaus zu komplexeren, altersbewussten Frameworks überzugehen.

Einschränkungen
Die Autoren merken an, dass der Datensatz auf englischsprachige Inhalte von drei spezifischen Plattformen beschränkt ist. Die Altersgruppen-Annotationen werden aus textlichen Hinweisen abgeleitet und nicht durch verifizierte demografische Daten bestätigt, zudem bleiben einige Instanzen, die implizite Hassrede beinhalten, inhärent ambivalent. Des Weiteren sind die Benchmark-Ergebnisse auf die evaluierten Modelle beschränkt, was andere Architekturen und mehrsprachige Settings für die zukünftige Forschung offen lässt.

1. Das Problem: Der „erwachsene“ Sicherheitsdienst ist verwirrt

2. Die Lösung: Eine neue „Spielplatz-Karte“ erstellen (ChildGuard)

3. Der Privatsphäre-Schutzschild

4. Der Test: Wie gut sind die heutigen Roboter?

5. Das Faz-it

Mehr davon