ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

Sintesi Tecnica: ChildGuard: Un Dataset Specializzato per Contrastare l'Hate Speech Mirato ai Minori

Problematica
Il settore della salute mentale affronta crescenti preoccupazioni riguardanti l'hate speech (discorso d'odio) diretto ai bambini sui social media. L'esposizione a tali contenuti durante fasi critiche dello sviluppo può portare a esiti psicologici avversi, tra cui disagio emotivo, ansia, isolamento sociale e riduzione dell'autostima. Tuttavia, i sistemi esistenti di rilevamento dell'hate speech e i relativi dataset sono prevalentemente incentrati sugli adulti. Essi tipicamente modellano la relazione tra il contenuto testuale ($X$) e le etichette di hate speech ($Y \in \{0, 1\}$) senza tenere conto delle caratteristiche specifiche legate all'età ($A$). Di conseguenza, questi sistemi mancano delle rappresentazioni dedicate necessarie per rilevare efficacemente l'hate speech mirato ai bambini, la cui resilienza emotiva e maturità cognitiva differiscono significativamente da quelle degli adulti.

Metodologia
Gli autori introducono ChildGuard, un dataset in lingua inglese su larga scala progettato per colmare questa lacuna. La metodologia comprende la raccolta, la filtrazione e l'annotazione dei dati:

• Raccolta Dati: Circa 580.000 istanze di testo grezzo sono state raccolte da tre piattaforme principali dove i bambini partecipano attivamente: Reddit, X (precedentemente Twitter) e YouTube. La raccolta ha utilizzato API pubbliche (PRAW, Tweepy, YouTube Data API v3) e, ove necessario, script personalizzati (BeautifulSoup, Selenium) per navigare nelle restrizioni di profondità dei thread. Un lessico di parole chiave relative ai bambini (ad es., "bambino", "adolescente", "pannolino", "scuola") è stato utilizzato per filtrare i contenuti pertinenti.
• Filtrazione: Una pipeline multistadio ha rimosso testi non in inglese, spam, duplicati (tramite hashing SHA-256) e istanze con meno di 10 token o un eccesso di emoji/URL. Questo processo ha mantenuto 469.910 istanze per l'annotazione.
• Annotazione: Tre annotatori esperti hanno etichettato manualmente le istanze trattenute. Ogni istanza ha ricevuto:
  • Un'etichetta di hate speech ($Y \in \{0, 1\}$).
  • Un'etichetta del gruppo di età ($A \in \{\text{bambino piccolo}, \text{pre-adolescente}, \text{adolescente}\}$), corrispondente rispettivamente a meno di 11 anni, 11–12 anni e 13–17 anni.
  • Una categoria di sottoinsieme ($S \in \{\text{lessicale}, \text{contestuale}\}$). Il sottoinsieme lessicale (194K istanze) si concentra sul vocabolario e sugli insulti diretti, mentre il sottoinsieme contestuale (157K istanze) cattura le caratteristiche a livello di discorso, il sarcasmo e i riferimenti indiretti.
• Privacy: Prima dell'annotazione, tutte le Informazioni Identificative Personali (PII) sono state anonimizzate utilizzando il modello NER di spaCy e regole regex, sostituendo gli identificatori con token hash SHA-256.

Contributi Chiave

1. Dataset ChildGuard: L'introduzione di un dataset su larga scala contenente 351.877 istanze annotate, che è il primo a combinare contenuti focalizzati sui minori con annotazioni specifiche per gruppi di età e una distinzione tra hate speech lessicale e contestuale.
2. Benchmarking Empirico: Il documento fornisce una valutazione completa di recenti modelli basati su transformer (DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT) e Large Language Models (GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3) su questo dominio specifico.

Risultati
La valutazione sul test set tenuto separato rivela sfide significative nel rilevamento dell'hate speech mirato ai bambini:

• Prestazioni Complessive: Il modello con le migliori prestazioni, GPT-4.5, ha raggiunto un punteggio Macro-F1 dell'82,07% sull'intero dataset.
• Varianza per Gruppo di Età: Le prestazioni sono costantemente diminuite al diminuire dell'età del target. I punteggi di GPT-4.5 sono scesi al 79,41% per i pre-adolescenti e al 79,24% per i bambini piccoli, indicando che l'hate speech mirato a demografie più giovani contiene caratteristiche più sottili e dipendenti dal contesto.
• Lessicale vs. Contestuale: I modelli hanno performato significativamente meglio sul sottoinsieme lessicale (85,11% Macro-F1 per GPT-4.5) rispetto al sottoinsieme contestuale (79,24%), evidenziando la difficoltà nel rilevare l'ostilità indiretta e l'abuso a livello di discorso.
• Analisi degli Errori: Le principali fonti di classificazione errata sono state l'odio implicito (31,4%), la dipendenza dal contesto (25,8%) e l'ambiguità dell'età (18,9%).
• Generalizzazione tra Sottoinsiemi: I modelli hanno faticato a generalizzare tra i sottoinsiemi; nel trasferimento da istanze lessicali a quelle contestuali, le prestazioni di GPT-4.5 sono scese al 74,88%.

Significatività e Rivendicazioni
Il documento afferma che ChildGuard affronta una critica scarsità di risorse per l'industria della salute mentale, fornendo una base necessaria per lo sviluppo di sistemi di rilevamento dell'hate speech focalizzati sui minori. Gli autori sottolineano che gli attuali sistemi allo stato dell'arte, pur ottenendo un successo moderato, rimangono insufficienti per questa specifica applicazione a causa della loro incapacità di gestire le sfumature specifiche per età e il contesto implicito. Il dataset serve come benchmark per motivare lo sviluppo di modelli che possano meglio tenere conto della relazione tra il contenuto testuale, le informazioni sul gruppo di età e le etichette di hate speech, andando oltre le tradizionali formulazioni $P(Y|X)$ verso framework più complessi e consapevoli dell'età.

Limitazioni
Gli autori osservano che il dataset è limitato ai contenuti in lingua inglese provenienti da tre piattaforme specifiche. Le annotazioni del gruppo di età sono inferite da indizi testuali piuttosto che da dati demografici verificati, e alcune istanze che coinvolgono l'odio implicito rimangono intrinsecamente ambigue. Inoltre, i risultati del benchmark sono limitati ai modelli valutati, lasciando architetture più ampie e contesti multilingue per la ricerca futura.