Causality Guided Representation Learning for Cross-Style Hate Speech Detection

Résumé Technique : Apprentissage de Représentations Guidé par la Causalité pour la Détection de la Haine Trans-Style (CADET)

Définition du Problème
La prolifération des discours de haine en ligne présente un défi majeur pour la modération de contenu, particulièrement concernant la détection de la haine implicite. Alors que la haine explicite est caractérisée par des insultes flagrantes et des attaques directes, la haine implicite repose sur le sarcasme, l'ironie, les stéréotypes et le langage codé, ce qui rend difficile la détection par des modèles entraînés sur des indices linguistiques de surface. Les systèmes de détection actuels souffrent d'une faible généralisation à travers diverses variations stylistiques et plateformes. Les modèles s'appuient souvent sur des corrélations spécieuses entre des caractéristiques stylistiques spécifiques (par exemple, des insultes particulières ou une syntaxe propre à une plateforme) et les étiquettes de haine, échouant lorsqu'ils sont confrontés à des expressions implicites ou lorsqu'ils sont déployés sur des plateformes ayant des contextes démographiques et de modération différents. Le problème central est de distinguer l'intention réelle de haine (le facteur causal) de la manifestation stylistique (le facteur de confusion) qui varie selon les domaines.

Méthodologie : Le Cadre CADET
Les auteurs proposent CADET (Causality Guided Representation Learning for Cross-Style Hate Speech Detection), un cadre fondé sur un graphe causal hypothétique de la génération de discours de haine.

1. Hypothèse Causale : La génération de discours de haine est modélisée comme un processus impliquant :

   • Environnement Contextuel ($U$) : Un facteur de confusion non observé (par exemple, les politiques de plateforme, la démographie) qui influence la motivation du créateur, la sélection de la cible et les choix stylistiques.
   • Facteurs Latents :
     • Motivation du Créateur ($M$) : L'intention de causer du tort.
     • Cible ($T$) : Le groupe ou l'individu ciblé.
     • Style ($S$) : L'expression linguistique (explicite vs implicite).
   • Véritable Motivation ($M^*$) : Une variable latente invariante au domaine représentant l'intention réelle de haine, indépendante de l'environnement contextuel $U$.
   • Étiquette ($Y$) : Déterminée par la véritable motivation $M^*$ et le contexte $U$.

2. Composants de l'Architecture :

   • Désenchevêtrement Aligné sur la Causalité : Le modèle utilise un encodeur pré-entraîné (RoBERTa) pour projeter le texte dans un espace latent. Il désenchevêtre ensuite cette représentation en quatre facteurs latents : des variables continues pour la motivation ($z_m$) et le facteur de confusion ($z_u$), et des variables discrètes pour la cible ($z_t$) et le style ($z_s$) via Gumbel-Softmax.
   • Atténuation des Facteurs de Confusion : Pour empêcher les facteurs latents d'encoder des corrélations spécieuses avec le contexte, le cadre emploie :
     • Reconstruction Adversaire du Facteur de Confusion : Une couche de renversement de gradient (GRL) est utilisée où des discriminateurs tentent de récupérer le facteur de confusion $U$ à partir des facteurs latents fusionnés. L'encodeur est entraîné pour minimiser cette récupération, éliminant ainsi $U$ des facteurs causaux.
     • Contraintes d'Orthogonalité : Des projections garantissent que les facteurs latents ($M, T, S, U$) sont mutuellement orthogonaux, imposant une indépendance statistique.
     • Reconstruction de l'Entrée : Un décodeur reconstruit le texte original à partir des facteurs latents fusionnés pour s'assurer que le désenchevêtrement préserve le sens sémantique.
   • Raisonnement Contrefactuel Latent : Pour imposer l'invariance de style, le modèle intervient sur la variable latente de style ($S$) au sein de l'espace latent. Un « réseau de basculement de style » inverse le style (par exemple, de explicite à implicite) tout en maintenant la motivation et la cible fixes. Le modèle est entraîné pour garantir que la prédiction de haine reste cohérente quelle que soit l'intervention de style (Perte de Cohérence Contrefactuelle).

3. Objectif d'Entraînement : Le modèle est optimisé à l'aide d'une fonction de perte multi-objectifs combinant la perte de tâche (classification de la haine), la classification de la cible/du style, l'orthogonalité, la déconfusion adversaire, la reconstruction et les pertes de cohérence contrefactuelle. Un curriculum d'entraînement par étapes est employé pour stabiliser l'optimisation de ces objectifs concurrents.

Contributions Clés

• Graphe Causal Fondé sur des Principes : L'article introduit un modèle causal formel qui sépare explicitement le processus génératif du discours de haine en facteurs latents interprétables (motivation, cible, style, contexte), unifiant la détection de la haine explicite et implicite.
• Cadre CADET : L'implémentation d'un cadre d'apprentissage de représentations qui opérationnalise ce graphe, utilisant le raisonnement contrefactuel et la déconfusion adversaire pour isoler l'intention de haine des artefacts stylistiques.
• Validation Empirique : Des expériences approfondies sur quatre jeux de données réels (IsHate, IHC, AbuseEval, DynaHate) démontrent une performance supérieure dans les tâches de généralisation trans-style par rapport aux meilleures lignes de base (baselines), incluant les modèles NLP traditionnels, les détecteurs de discours de haine spécialisés et les modèles de langage de grande taille (LLM).

Résultats

• Généralisation Trans-Style : CADET atteint un F1 macro moyen de 0,81 dans les tâches de transfert explicite-vers-implicite, représentant une amélioration relative de 13 % par rapport à la meilleure ligne de base. Dans le transfert implicite-vers-explicite, il maintient un F1 moyen robuste de 0,885.
• Robustesse : Contrağimiz aux modèles conventionnels qui présentent une haute précision (recall) mais une faible précision (precision) dans les contextes implicites (ou vice versa), CADET maintient une performance équilibrée. Il surpasse significativement les lignes de base causales (PEACE, HateWATCH) et les détecteurs basés sur les LLM (ShieldGemma, Llama Prompt Guard), qui affichent des performances erratiques ou des échecs dans les scénarios trans-style.
• Études d'Ablation : Le retrait de la perte contrefactuelle ($L_{cf}$) entraîne la chute de performance la plus importante (diminution de 24 points de F1), confirmant le rôle critique de l'intervention de style dans l'apprentissage de représentations invariantes.
• Visualisation : Les visualisations t-SNE confirment que l'espace de motivation latente ($z_m$) sépare clairement les publications haineuses des publications non haineuses, tandis que les espaces de la cible, du style et du facteur de confusion ne le font pas, validant le succès du désencrevêtrement des facteurs causaux.

Signification
L'article affirme que CADET offre une solution fondée sur des principes au défi de la détection de la haine invariante au style. En déplaçant l'attention des motifs linguistiques de surface vers l'intention causale sous-jacente, le cadre répond à la fragilité des modèles actuels face à la haine implicite et aux changements de domaine. Ce travail souligne le potentiel du désencrevêtrement causal et du raisonnement contrefactuel pour créer des systèmes de modération de contenu plus robustes, interprétables et généralisables, offrant une voie vers des environnements en ligne plus sûrs capables de s'adapter aux formes évolutives de discours de haine.