⚡ electrical engineering

ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

Cet article présente ChildGuard, un ensemble de données en anglais à grande échelle comprenant 351 877 instances annotées provenant de plateformes de médias sociaux, conçu pour combler la lacune dans la détection des discours de haine ciblant les enfants en catégorisant le contenu selon trois groupes d'âge et des sous-ensembles contextuels/lexicaux, atteignant un meilleur score Macro-F1 de 82,07 % avec des modèles basés sur les transformeurs.

Auteurs originaux : Gautam Siddharth Kashyap, Mohammad Anas Azeez, Rafiq Ali, Zohaib Hasan Siddiqui, Jiechao Gao, Usman Naseem

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gautam Siddharth Kashyap, Mohammad Anas Azeez, Rafiq Ali, Zohaib Hasan Siddiqui, Jiechao Gao, Usman Naseem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense aire de jeux animée. Habituellement, nous pensons aux aires de jeux comme des lieux de plaisir, mais parfois, des plus grands ou des inconnus arrivent et crient des choses méchantes et blessantes aux plus petits. Ce document traite de la création d'un système de « garde de sécurité » spécial pour repérer ce harcèlement, mais avec une nuance : il est conçu spécifiquement pour comprendre à quoi ressemble le harcèlement lorsqu'il vise des enfants, et non des adultes.

Voici l'histoire de ChildGuard, décomposée simplement :

1. Le Problème : Le garde de sécurité « Adulte » est confus

Actuellement, l'internet dispose d'outils pour détecter les discours de haine, mais ils sont comme des gardes de sécurité formés uniquement pour repérer le harcèlement des adultes. Ils savent à quoi ressemble une insulte destinée à un adulte (ex. : « Vous êtes un mauvais politicien »).

Mais quand un harceleur cible un enfant, les insultes changent. Ils peuvent dire : « Tu es trop grasse pour danser », « Retourne dans ton pays » ou « Tue-toi, bébé ». Celles-ci sont différentes car :

Elles ciblent l'âge : Elles attaquent la maturité ou la taille de l'enfant.
Elles sont subtiles : Parfois, la haine n'est pas une insulte directe ; elle est cachée dans le sarcasme ou le contexte (comme dire : « Va jouer avec tes jouets » à un adolescent pour le faire se sentir insignifiant).

Le document soutient que les outils existants sont « centrés sur l'adulte ». Ils ratent les nuances spécifiques de la façon dont les enfants sont ciblés, les laissant vulnérables durant leurs années de croissance les plus critiques.

2. La Solution : Construire une nouvelle « Carte de l'aire de jeux » (ChildGuard)

Pour corriger cela, les chercheurs ont construit ChildGuard. Voyez cela non pas comme un robot garde, mais comme une carte massive et détaillée de chaque sorte de propos méchants jamais adressés à un enfant.

La Taille : Ils ont collecté près de 352 000 exemples de textes. C'est comme lire chaque publication d'un journal d'une petite ville pendant une année entière.
Les Sources : Ils ont rassemblé ces données à partir de trois grands « terrains de jeux » : X (Twitter), Reddit et YouTube.
Les Catégories : Ils n'ont pas simplement jeté les données en un tas. Ils les ont triées en trois groupes d'âge, tout comme une école trie ses élèves :
- Jeunes enfants (Moins de 11 ans) : Ciblés avec des mots comme « bébé », « bambin » ou « couche ».
- Pré-adolescents (11-12 ans) : Ciblés avec des mots comme « écolière » ou « mineur ».
- Adolescents (13-17 ans) : Ciblés avec des mots comme « adolescent » ou « lycéen ».

Ils ont également divisé les données en deux types de « méchanceté » :

Lexicale (La « Gifle ») : Des insultes directes utilisant des gros mots (ex. : « Tu es un sale sale gosse »).
Contextuelle (Le « Chuchotement ») : Des choses méchantes qui ne font sens que si l'on comprend toute la conversation ou la situation (ex. : le sarcasme ou les menaces indirectes).

3. Le Bouclier de Confidentialité

Avant que quiconque ne regarde ces données, les chercheurs ont mis leurs « lunettes de confidentialité ». Ils ont supprimé tous les vrais noms, noms d'utilisateur et localisations. Si un nom était trouvé, il était remplacé par un code aléatoire. Cela garantit qu'ils ont étudié le harcèlement sans exposer les victimes.

4. Le Test : À quel point les robots actuels sont-ils bons ?

Les chercheurs ont pris cette nouvelle carte (ChildGuard) et l'ont testée contre les IA les plus intelligentes disponibles aujourd'hui (comme GPT-4, Claude et d'autres). Ils voulaient voir si ces IA pouvaient repérer le harcèlement.

Les résultats étaient mitigés :

La Bonne Nouvelle : La meilleure IA a obtenu environ 82 % de bonnes réponses. C'est un score décent, mais pas parfait.
La Mauvaise Nouvelle : Le score a chuté de manière significative lorsque l'IA tentait de relever des défis spécifiques :
- Jeunes enfants : Il est devenu plus difficile de repérer le harcèlement contre les enfants de moins de 11 ans (le score est tombé à environ 75 %).
- Haine Contextuelle : Elle a eu plus de mal avec les « chuchotements » (sarcasme/haine indirecte) qu'avec les « gifles » (insultes directes).
- Transversalité des plateformes : Elle a bien réussi sur Reddit mais a davantage peiné sur YouTube.

Pourquoi ont-ils échoué ?
Le document a trouvé que les IA étaient principalement confuses par :

La Haine Cachée : Quand le harcèlement n'était pas évident.
Le Contexte : Quand la signification dépendait de l'ensemble de la conversation.
La Confusion d'Âge : Quand il était difficile de déterminer si l'insulte visait un enfant ou un adulte.

5. L'Essentiel

Le document conclut que bien que nous disposions d'outils d'IA puissants, ils ne sont pas encore tout à fait prêts à protéger pleinement les enfants en ligne. Ils sont encore trop « focalisés sur l'adulte ».

ChildGuard est un nouvel outil spécialisé (un ensemble de données) que les chercheurs peuvent désormais utiliser pour entraîner de meilleurs gardes d'IA, plus sensibles. Il souligne que la protection de la santé mentale des enfants en ligne nécessite de comprendre qu'un harceleur s'adressant à un enfant de 7 ans parle très différemment d'un harceleur s'adressant à un adulte de 40 ans.

En bref : Nous avons construit une immense bibliothèque de la façon dont les enfants sont harcelés en ligne pour enseigner à nos ordinateurs que « Tu es un bébé » peut être un crime de haine, et pas seulement une description, et que nos ordinateurs actuels sont encore en plein apprentissage.

Résumé Technique : ChildGuard : Un ensemble de données spécialisé pour lutter contre les discours de haine ciblant les enfants

Énoncé du problème
L'industrie de la santé mentale fait face à des préoccupations croissantes concernant les discours de haine dirigés contre les enfants sur les réseaux sociaux. L'exposition à ce type de contenu durant des phases de développement critiques peut entraîner des conséquences psychologiques nébrales, notamment une détresse émotionnelle, de l'anxiété, l'isolement social et une réduction de l'estime de soi. Cependant, les systèmes de détection de discours de haine et les ensembles de données existants sont principalement centrés sur les adultes. Ils modélisent généralement la relation entre le contenu textuel ( $X$ ) et les étiquettes de discours de haine ( $Y \in \{0, 1\}$ ) sans tenir compte des caractéristiques spécifiques à l'âge ( $A$ ). Par conséquent, ces systèmes manquent des représentations dédiées nécessaires pour détecter efficacement les discours de haine ciblant les enfants, dont la résilience émotionnelle et la maturité cognitive diffèrent de celles des adultes.

Méthodologie
Les auteurs introduisent ChildGuard, un vaste ensemble de données en anglais conçu pour combler cette lacune. La méthodologie comprend la collecte, le filtrage et l'annotation des données :

Collecte de données : Environ 580 000 instances de textes bruts ont été collectées à partir de trois plateformes majeures où les enfants participent activement : Reddit, X (anciennement Twitter) et YouTube. La collecte a utilisé des API publiques (PRAW, Tweepy, YouTube Data API v3) et, lorsque cela était nécessaire, des scripts personnalisés (BeautifulSoup, Selenium) pour naviguer à travers les restrictions de profondeur de fil de discussion. Un lexique de mots-clés liés aux enfants (ex. : « kid », « teenager », « diaper », « school ») a été utilisé pour filtrer le contenu pertinent.
Filtrage : Un pipeline à plusieurs étapes a supprimé les textes non anglais, le spam, les doublons (via le hachage SHA-256) et les instances comprenant moins de 10 jetons ou un excès d'emojis/URL. Ce processus a conservé 469 910 instances pour l'annotation.
Annotation : Trois annotateurs expérimentés ont étiqueté manuellement les instances conservées. Chaque instance a reçu :
- Une étiquette de discours de haine ( $Y \in \{0, 1\}$ ).
- Une étiquette de groupe d'âge ( $A \in \{\text{jeune enfant}, \text{pré-adolescent}, \text{adolescent}\}$ ), correspondant respectivement à moins de 11 ans, 11–12 ans, et 13–17 ans.
- Une catégorie de sous-ensemble ( $S \in \{\text{lexicale}, \text{contextuelle}\}$ ). Le sous-ensemble lexical (194K instances) se concentre sur le vocabulaire et les insultes directes, tandis que le sous-ensemble contextuel (157K instances) capture les caractéristiques au niveau du discours, le sarcasme et les références indirectes.
Confidentialité : Avant l'annotation, toutes les informations personnellement identifiables (PII) ont été anonymisées à l'aide du modèle NER de spaCy et de règles regex, en remplaçant les identifiants par des jetons hachés SHA-256.

Principales contributions

Ensemble de données ChildGuard : L'introduction d'un ensemble de données à grande échelle contenant 351 877 instances annotées, qui est le premier à combiner un contenu axé sur l'enfant avec des annotations spécifiques par groupe d'âge et une distinction entre discours de haine lexical et contextuel.
Évaluation empirique (Benchmarking) : L'article fournit une évaluation complète des modèles récents basés sur les transformeurs (DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT) et des grands modèles de langage (GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3) sur ce domaine spécifique.

Résultats
L'évaluation sur l'ensemble de test réservé révèle des défis importants dans la détection des discours de haine ciblant les enfants :

Performance globale : Le meilleur modèle, GPT-4.5, a obtenu un score Macro-F1 de 82,07 % sur l'ensemble des données.
Variance par groupe d'âge : La performance a systématiquement diminué à mesure que l'âge de la cible diminuait. Les scores de GPT-4.5 sont tombés à 79,41 % pour les pré-adolescents et à 79,24 % pour les jeunes enfants, indiquant que les discours de haine ciblant les populations plus jeunes contiennent des caractéristiques plus subtiles et dépendantes du contexte.
Lexical vs Contextuel : Les modèles ont nettement mieux performé sur le sous-ensemble lexical (85,11 % de Macro-F1 pour GPT-4.5) que sur le sous-ensemble contextuel (79,24 %), soulignant la difficulté de détecter l'hostilité indirecte et l'abus au niveau du discours.
Analyse d'erreurs : Les principales sources de mauvaise classification étaient la haine implicite (31,4 %), la dépendance au contexte (25,8 %) et l'ambiguïté de l'âge (18,9 %).
Généralisation entre sous-ensembles : Les modèles ont eu du mal à généraliser d'un sous-ensemble à l'autre ; lors du transfert du lexical vers le contextuel, la performance de GPT-4.5 est tombée à 74,88 %.

Signification et revendications
L'article affirme que ChildGuard répond à une pénurie critique de ressources pour l'industrie de la santé mentale, fournissant une base nécessaire au développement de systèmes de détection de discours de haine axés sur l'enfant. Les auteurs soulignent que les systèmes actuels de pointe, bien qu'atteignant un succès modéré, restent insuffisants pour cette application spécifique en raison de leur incapacité à gérer les nuances liées à l'âge et le contexte implicite. L'ensemble de données sert de référence pour motiver le développement de modèles capables de mieux prendre en compte la relation entre le contenu textuel, les informations sur le groupe d'âge et les étiquettes de discours de haine, en allant au-delà des formulations traditionnelles $P(Y|X)$ vers des cadres plus complexes et conscients de l'âge.

Limites
Les auteurs notent que l'ensemble de données est limité au contenu anglais provenant de trois plateformes spécifiques. Les annotations de groupes d'âge sont déduites de indices textuels plutôt que de données démographiques vérifiées, et certaines instances impliquant une haine implicite restent intrinsèquement ambiguës. De plus, les résultats de l'évaluation sont restreints aux modèles évalués, laissant les autres architectures et les contextes multilingues à la recherche future.

1. Le Problème : Le garde de sécurité « Adulte » est confus

2. La Solution : Construire une nouvelle « Carte de l'aire de jeux » (ChildGuard)

3. Le Bouclier de Confidentialité

4. Le Test : À quel point les robots actuels sont-ils bons ?

5. L'Essentiel

Articles similaires