ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

Technische Samenvatting: ChildGuard: Een Gespecialiseerde Dataset voor het Bestrijden van Kindgerichte Haatspraak

Probleemstelling
De geestelijke gezondheidszorg wordt geconfronteerd met toenemende zorgen over haatspraak gericht op kinderen op sociale media. Blootstelling aan dergelijke inhoud tijdens kritieke ontwikkelingsfasen kan leiden tot negatieve psychologische gevolgen, waaronder emotionele nood, angst, sociaal isolement en verminderd zelfbeeld. De huidige detectiesystemen voor haatspraak en de bijbehorende datasets zijn echter voornamelijk gericht op volwassenen. Ze modelleren doorgaans de relatie tussen tekstuele inhoud ($X$) en haatspraaklabels ($Y \in \{0, 1\}$) zonder rekening te houden met leeftijdspecifieke kenmerken ($A$). Hierdoor missen deze systemen de noodzakelijke specifieke representaties om haatspraak die gericht is op kinderen effectief te detecteren, wiens emotionele veerkracht en cognitieve volwassenheid aanzienlijk verschillen van die van volwassenen.

Methodologie
De auteurs introduceren ChildGuard, een grootschalige Engelse dataset die ontworpen is om dit gat te dichten. De methodologie omvat gegevensverzameling, filtratie en annotatie:

• Gegevensverzameling: Ongeveer 580.000 ruwe tekstinstanties werden verzameld van drie belangrijke platforms waar kinderen actief deelnemen: Reddit, X (voorheen Twitter) en YouTube. De verzameling maakte gebruik van publieke API's (PRAW, Tweepy, YouTube Data API v3) en, waar nodig, aangepaste scripts (BeautifulSoup, Selenium) om de beperkingen in threaddiepte te omzeilen. Een lexicon van kindgerelateerde trefwoorden (bijv. "kid", "teenager", "diaper", "school") werd gebruikt om relevante inhoud te filteren.
• Filtratie: Een meerfasige pijplijn verwijderde niet-Engelse tekst, spam, duplicaten (via SHA-256 hashing) en instanties met minder dan 10 tokens of overmatige emoji's/URL's. Dit proces behield 469.910 instanties voor annotatie.
• Annotatie: Drie ervaren annotatoren hebben de behouden instanties handmatig gelabeld. Elke instantie ontving:
  • Een haatspraaklabel ($Y \in \{0, 1\}$).
  • Een leeftijdscategorie-label ($A \in \{\text{jong kind}, \text{pre-teen}, \text{teen}\}$), overeenkomend respectievelijk met onder de 11, 11–12, en 13–17 jaar.
  • Een subsetcategorie ($S \in \{\text{lexicaal}, \text{contextueel}\}$). De lexicale subset (194K instanties) richt zich op vocabulaire en directe beledigingen, terwijl de contextuele subset (157K instanties) discours-niveau kenmerken, sarcasme en indirecte verwijzingen vastlegt.
• Privacy: Vóór de annotatie is alle persoonlijk identificeerbare informatie (PII) geanonimiseerd met behulp van het NER-model van spaCy en regex-regels, waarbij identificatoren zijn vervangen door SHA-256 gehashte tokens.

Belangrijkste Bijdragen

1. ChildGuard Dataset: De introductie van een grootschalige dataset met 351.877 geannoteerde instanties, de eerste die kindgerichte inhoud combineert met specifieke leeftijdscategorie-annotaties en een onderscheid tussen lexicale en contextuele haatspraak.
2. Empirische Benchmarking: Het artikel biedt een uitgebreide evaluatie van recente transformer-gebaseerde modellen (DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT) en Large Language Models (GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3) binnen dit specifieke domein.

Resultaten
Evaluatie op de apart gehouden testset onthult aanzienlijke uitdagingen bij het detecteren van kindgerichte haatspraak:

• Algemene Prestaties: Het best presterende model, GPT-4.5, behaalde een Macro-F1 score van 82,07% op de volledige dataset.
• Variantie per Leeftijdscategorie: De prestaties namen consistent af naarmate de doelleeftijd lager werd. De scores van GPT-4.5 daalden naar 79,41% voor pre-teens en 79,24% voor jongere kinderen, wat aangeeft dat haatspraak gericht op jongere demografieën meer subtiele en contextafhankelijke kenmerken bevat.
• Lexicaal versus Contextueel: Modellen presteerden aanzienlijk beter op de lexicale subset (85,11% Macro-F1 voor GPT-4.5) vergeleken met de contextuele subset (79,24%), wat de moeilijkheid van het detecteren van indirecte vijandigheid en agressie op discoursniveau benadrukt.
• Foutanalyse: De primaire bronnen van misclassificatie waren impliciete haat (31,4%), contextafhankelijkheid (25,8%) en leeftijdsambiguïteit (18,9%).
• Generalisatie over Subsets: Modellen hadden moeite met generalisatie tussen subsets; bij het overdragen van lexicale naar contextuele instanties daalde de prestatie van GPT-4.5 naar 74,88%.

Betekenis en Claims
Het artikel claimt dat ChildGuard een tekort aan middelen in de geestelijke gezondheidszorg aanpakt door een noodzakelijke basis te bieden voor de ontwikkeling van kindgerichte haatspraakdetectiesystemen. De auteurs benadrukken dat huidige state-of-the-art systemen, hoewel ze matig succes boeken, nog steeds onvoldoende zijn voor deze specifieke toepassing vanwege hun onvermogen om leeftijdsspecifieke nuances en impliciete context te verwerken. De dataset dient als benchmark om de ontwikkeling van modellen te stimuleren die beter rekening kunnen houden met de relatie tussen tekstuele inhoud, leeftijdscategorie-informatie en haatspraaklabels, waarbij zij verder gaan dan traditionele $P(Y|X)$ formuleringen naar complexere, leeftijdsbewuste kaders.

Beperkingen
De auteurs merken op dat de dataset beperkt is tot Engelse inhoud van drie specifieke platforms. Leeftijdscategorie-annotaties worden afgeleid van tekstuele aanwijzingen in plaats van geverifieerde demografische gegevens, en sommige instanties met betrekking tot impliciete haat blijven inherent ambigu. Bovendien zijn de benchmarkresultaten beperkt tot de geëvalueerde modellen, waardoor bredere architecturen en meertalige settings openblijven voor toekomstig onderzoek.