Résumé Technique : SoftHateBench

Définition du Problème

Les systèmes actuels de modération de contenu en ligne sont largement optimisés pour détecter la « haine dure » (hard hate speech) — une toxicité manifeste caractérisée par des insultes, des menaces et une hostilité explicite. Bien que ces systèmes soient relativement performants face à l'hostilité explicite, ils peinent à détecter la « haine douce » (soft hate speech). La haine douce est définie comme un discours qui semble raisonnable en surface, utilisant un cadrage neutre et des arguments fondés sur des valeurs (par exemple, des appels à la sécurité, à la tradition ou à l'équité) pour orienter l'audience vers l'exclusion ou le blâme d'un groupe cible.

Le problème central identifié est que les benchmarks existants ne mesurent pas systématiquement l'écart entre la détection de la toxicité explicite et la détection de l'hostilité basée sur le raisonnement. Par conséquent, les modèles de modération échouent souvent à signaler des contenus qui sont conformes aux politiques en apparence (absence d'insultes explicites) mais qui portent un point de vue discriminatoire via des chaînes d'inférences implicites. Cela crée une vulnérabilité où l'hostilité encodée dans le raisonnement plutôt que dans le vocabulaire contourne les filtres actuels.

Méthodologie

Cadre Théorique

Le document intègre deux théories complémentaires pour modéliser et générer la haine douce :

1. Modèle Argumentatif de Sujets (AMT - Argumentum Model of Topics) : Fournit une structure formelle pour le raisonnement révisable. Un argument est décomposé en :
   • Surface Visible : Endoxon ($E$, croyances partagées) et Datum ($D$, affirmations spécifiques).
   • Mécanisme Implicite : Prémisse ($P$, conclusion intermédiaire), Locus ($L$, schéma de raisonnement abstrait), Maxim ($M$, règle instanciée) et Standpoint ($S$, conclusion hostile finale).
     La haine douce repose sur la capacité de l'audience à inférer $P$ et $S$ à partir de $E$ et $D$ sans que ces étapes ne soient explicitement énoncées.
2. Théorie de la Pertinence (RT - Relevance Theory) : Guide la génération pour maximiser l'« Effet » (impact persuasif via des valeurs partagées) tout en minimant le « Coût » (effort cognitif). Cela garantit que le texte généré est fluide, plausible et déniable, imitant le discours humain naturel.

Pipeline de Génération de SoftHateBench

Les auteurs introduisent SoftHateBench, un benchmark génératif construit via un pipeline en quatre étapes :

1. Extraction de Graines (Seed Extraction) : Agrège 265 959 publications liées à la haine provenant de corpus publics (ex: HateXplain, Gab Hate Corpus) et les filtre pour obtenir 16 426 instances de haute qualité. Les points de vue ($S$) et les groupes cibles ($[TG]$) sont extraits via DeepSeek-V3.1.
2. Génération AMT Inversée (Reverse AMT Generation) : Au lieu de générer la haine à partir de zéro, le système travaille à rebours à partir d'un point de vue hostile connu ($S$) et d'un groupe cible. Il utilise la Génération AMT Inversée pour construire la chaîne argumentative complète ($E, D, P, L, M, S$).
   • Le processus commence par $(S, L)$, instancie un Maxim ($M$) pour dériver une Prémisse ($P$), puis décompose $P$ en énoncés de surface $(E, D)$.
   • Seuls $(E, D)$ sont présentés dans le texte final ; les composantes procédurales restent latentes.
3. Recherche par Beam guidée par la RT (RT-Guided Beam Search) : Pour garantir que le texte généré est persuasif et conforme aux politiques, les auteurs emploient une recherche par faisceau (beam search) guidée par une fonction de récompense basée sur la pertinence.
   • Modélisation de la Récompense : Le score est basé sur $\text{Pertinence} \propto \text{Effet} / \text{Coût}$.
   • Effet : Estimé via les probabilités d'implication de l'inférence de langage naturel (NLI) entre les prémisses et les conclusions.
   • Coût : Estimé via plusieurs signaux de LLM incluant la surprisal (log-vraisemblance négative), l'incertitude prédictive (entropie), la résistance (contradiction) et la redondance.
   • La recherche sélectionne les chemins qui maximisent la pertinence tout en respectant les contraintes de sécurité (pas d'insultes explicites).
4. Augmentation de la Difficulté : Pour créer un spectre de subtilité, les instances de base sont augmentées en deux niveaux supplémentaires :
   • GroupVague (SoftGV) : Remplace les mentions explicites de groupes cibles par des références codées ou des descripteurs vagues.
   • HostilityVague (SoftHV) : Transforme le texte en publications de réseaux sociaux naturalistes utilisant des clauses de non-responsabilité auto-défensives, du sarcasme ou des avertissements moraux pour obscurcir davantage l'hostilité.

Statistiques du Jeu de Données

Le benchmark final comprend 18 980 instances :

• 4 745 Hard Hate : Commentaires sources originaux.
• 4 745 SoftBase : Les instances de base de la haine douce dérivées de l'AMT.
• 9 490 Variantes Soft : Versions GroupVague et HostilityVague des instances de base.
• Couverture : S'étend sur 7 domaines socioculturels (ex: ethnicité, religion, genre) et 28 groupes cibles spécifiques.

Contributions Clés

1. Benchmark Fondé sur la Théorie : SoftHateBench est le premier benchmark qui génère et évalue systématiquement la haine douce en ancrant la génération dans les structures argumentatives de l'AMT et les principes pragmatiques de la RT, allant au-delà du simple paraphrasage ou de l'augmentation par gabarit.
2. Génération Contrôlable : L'introduction de la Génération AMT Inversée avec recherche par faisceau guidée par la RT permet la construction d'instances avec un raisonnement explicite et une subtilité calibrée. Cette méthode préserve le point de vue hostile tout en générant un texte de surface neutre, répondant à la difficulté de générer de la haine sans violer les politiques de sécurité lors du processus de génération lui-même.
3. Évaluation Complète : Le papier fournit un test de résistance rigoureux pour les détecteurs basés sur des encodeurs, les LLM à usage général (propriétaires et open-source) et les modèles alignés sur la sécurité à travers tout le spectre hard-to-soft.

Résultats Expérimentaux

Dégradation des Performances

L'évaluation de toutes les catégories de modèles révèle une chute constante et brutale de la capacité de détection à mesure que le contenu passe des niveaux "hard" aux niveaux "soft" :

• Moyenne Globale : Le taux de succès de la haine (HSR - Hate Success Rate) chute de 76,8 % pour la haine Hard à 43,5 % pour SoftBase, 32,9 % pour SoftGV, et 21,2 % pour SoftHV.
• Modèles Basés sur des Encodeurs : Les modèles comme HateBERT et HateRoBERTa, qui reposent sur des indices lexicaux de surface, subissent un échec catastrophique sur SoftHV, avec un HSR moyen tombant à 6,8 %.
• LLMs et Modèles de Sécurité : Bien que les LLM (ex: GPT-5-mini, DeepSeek-V3.1) soient plus performants sur la haine Hard (HSR > 87 %), ils subissent également une dégradation significative sur SoftHV (HSR ~21–50 %). Notamment, les modèles orientés vers le raisonnement ne résolvent pas automatiquement le problème ; le "chain-of-thought" générique est insuffisant pour détecter l'hostilité pilotée par le raisonnement et conforme aux politiques.

Le Rôle des Échafaudages de Raisonnement (Reasoning Scaffolds)

Une étude d'ablation critique a testé si les modèles échouaient par incapacité à reconnaître la haine ou par incapacité à reconstruire la chaîne de raisonnement.

• Méthode : Les modèles ont été sollicités avec le texte de surface ($E, D$) seul, puis avec la surface plus la Prémisse ($P$) inférée, et enfin avec la Prémisse plus le Maxim ($M$).
• Résultat : Fournir les étapes intermédiaires de l'AMT ($P$ et $M$) améliore considérablement la détection. Par exemple, Qwen3-4B* a amélioré son HSR sur SoftHV de 23,0 % (surface seule) à 94,2 % lorsqu'on lui fournissait la chaîne de raisonnement complète ($E, D, P, M$).
• Implication : Le principal mode de défaillance des systèmes actuels n'est pas un manque de « reconnaissance de la haine », mais une incapacité à reconstruire les liens inférentiels implicites qui relient les prémisses d'apparence neutre aux conclusions discriminatoires.

Vérification Humaine

L'évaluation humaine a confirmé la qualité du benchmark :

• Fidélité Structurelle : 85,0 % des instances de SoftBase ont été vérifiées comme des chaînes AMT logiquement cohérentes.
• Validité Perceptive : Les annotateurs ont pu distinguer les instances hostiles des non-hostiles avec un accord de 85,7 %.
• Validité Écologique : Dans une tâche de discrimination en aveugle, les annotateurs n'ont pu distinguer la haine douce générée des exemples du monde réel qu'avec une précision de 57,1 %, indiquant que le texte généré imite étroitement le discours en ligne réel.

Signification et Revendications

Le papier affirme que SoftHateBench expose un angle mort critique dans la modération de contenu actuelle : les systèmes optimisés pour la toxicité de surface ne sont pas robustes face à l'hostilité pilotée par le raisonnement. Les auteurs soutiennent que le fossé entre le texte « conforme aux politiques » et le contenu « nuisible » est comblé par l'inférence, et non seulement par le vocabulaire.

La portée de ce travail réside dans la démonstration que :

1. Les modèles actuels sont vulnérables : Même les LLM avancés et les modèles de sécurité échouent à détecter la haine douce lorsqu'elle est présentée comme du bon sens ou un raisonnement fondé sur des valeurs.
2. Une détection consciente du raisonnement est nécessaire : Les gains de performance substantiels observés lors de la fourniture des étapes de raisonnement intermédiaires ($P$ et $M$) suggèrent que les futurs systèmes de modération doivent être capables de reconstruire des structures argumentatives, et non de simplement classifier le texte de surface.
3. Un nouveau benchmark est requis : Les jeux de données existants sont insuffisants pour évaluer ce vecteur de menace spécifique. SoftHateBench fournit un environnement contrôlé et fondé sur la théorie pour tester la résistance et développer des outils de modération conscients du raisonnement.

Les auteurs concluent que sans traiter la capacité à détecter l'hostilité pilotée par le raisonnement et conforme aux politiques, les systèmes de modération resteront inefficaces face à l'évolution du paysage de la haine en ligne.