AIWizards at MULTIPRIDE: A Hierarchical Approach to Slur Reclamation Detection

1. Problématique et Contexte

La détection automatique des discours de haine se heurte à une difficulté majeure : la réappropriation des insultes (slur reclamation). Des termes historiquement péjoratifs peuvent être utilisés de manière positive ou neutre par les membres de la communauté visée (par exemple, la communauté LGBTQ+), tandis qu'ils restent offensants lorsqu'ils sont utilisés par des outsiders.

• Le défi : Les modèles de classification purement textuels échouent souvent car ils ne peuvent pas distinguer l'intention de l'auteur uniquement à partir du contenu lexical, sans contexte sociolinguistique.
• La tâche (EVALITA 2026 - MultiPRIDE) : Le sous-tâche B consiste à déterminer si un terme LGBTQ+ dans un tweet est utilisé de manière réappropriée (affirmation d'identité) ou non (insulte). Contrairement à la tâche A, la tâche B fournit également la biographie de l'utilisateur, offrant un contexte supplémentaire sur l'identité de l'auteur.

2. Méthodologie

Les auteurs proposent une approche hiérarchique à deux encodeurs (Dual-Encoder) avec fusion au niveau des représentations, reposant sur l'hypothèse que l'identité de l'utilisateur (en particulier l'appartenance à la communauté LGBTQ+) est un indicateur fort de l'usage réapproprié.

A. Étiquetage Proxy Assisté par LLM

Pour entraîner un encodeur dédié à l'identité utilisateur sans avoir de véritables étiquettes d'identité (qui poseraient des problèmes éthiques et de confidentialité), les auteurs utilisent une supervision faible :

• Un Grand Modèle de Langage (LLM), spécifiquement DeepSeek-V3.2, est utilisé pour générer des étiquettes binaires ("Affilié" vs "Non affilié" à la communauté LGBTQ+).
• Ces étiquettes sont déduites de la concaténation du tweet et de la biographie de l'utilisateur.
• Objectif : Ces étiquettes servent uniquement à entraîner l'encodeur utilisateur pour qu'il apprenne des signaux sociolinguistiques latents, et non à prédire l'identité réelle des individus.

B. Architecture du Modèle (Dual-Encoder)

Le système se compose de deux encodeurs BERT-like fonctionnant en parallèle sur les mêmes entrées (tweet + biographie), mais optimisés pour des signaux différents :

1. Encodeur de Texte : Fine-tuné directement sur la tâche principale de détection de réappropriation.
2. Encodeur Utilisateur : Fine-tuné sur la tâche auxiliaire (prédiction de l'affiliation LGBTQ+ via les étiquettes proxy).
3. Mécanisme de Fusion (Gating) : Les représentations finales des deux encodeurs ($h_{text}$ et $h_{user}$) sont combinées via un mécanisme de porte (gating) appris :
   • Un vecteur de porte $g$ est calculé pour pondérer dynamiquement l'importance du contenu textuel par rapport au contexte utilisateur pour chaque instance.
   • Représentation fusionnée : $h_{fused} = g \odot h_{text} + (1-g) \odot h_{user}$.

C. Stratégie d'Entraînement

L'entraînement suit trois étapes :

1. Fine-tuning de l'encodeur de texte sur la tâche principale.
2. Entraînement de l'encodeur utilisateur sur la tâche auxiliaire (proxy).
3. Fine-tuning conjoint de l'architecture complète (encodeurs + mécanisme de fusion + classifieur) sur la tâche principale.

• Des techniques comme le Linear Probing initial suivi d'un fine-tuning complet (LPFT) et l'utilisation de la fonction de perte Cross Entropy (avec pondération des classes) ont été utilisées pour gérer le déséquilibre des classes.

3. Résultats Expérimentaux

Les expériences ont été menées sur des données en italien et en espagnol.

• Performance Globale : Le modèle proposé atteint des performances statistiquement équivalentes à une forte baseline BERT (un modèle BERT standard fine-tuné sur le tweet + biographie).
  • Italien : F1 ~0.88 (Dual-Encoder) vs 0.90 (Baseline).
  • Espagnol : F1 ~0.64 (Dual-Encoder) vs 0.67 (Baseline).
• Analyse des écarts : La différence de performance entre l'italien et l'espagnol est attribuée aux modèles de base utilisés (SetFit pour l'italien, pré-entraîné sur la détection de haine, vs un modèle multilingue générique pour l'espagnol) plutôt qu'à des facteurs linguistiques intrinsèques.
• Analyse d'erreur : Le modèle échoue parfois à détecter des insultes manifestes lorsqu'elles contiennent des termes spécifiques, suggérant que le signal contextuel de l'utilisateur peut parfois dominer à tort le signal textuel hostile.

4. Contributions Clés

1. Cadre Hiérarchique Modulaire : Proposition d'une architecture qui sépare explicitement la modélisation du contenu textuel et du contexte sociolinguistique de l'utilisateur, permettant une fusion dynamique.
2. Supervision Faible Éthique : Utilisation d'étiquettes proxy générées par LLM pour apprendre des représentations d'identité sans violer la vie privée ni revendiquer une vérité terrain sur l'identité des utilisateurs.
3. Validation de Concept : Démonstration qu'il est possible d'intégrer des signaux d'identité utilisateur dans la détection de discours de haine sans dégrader les performances par rapport à des modèles de pointe, ouvrant la voie à des extensions futures.

5. Signification et Perspectives

Bien que l'approche n'ait pas surpassé la baseline en termes de métriques agrégées (ce qui indique que les modèles pré-entraînés actuels sont déjà très performants sur cette tâche), sa valeur réside dans l'architecture.

• Elle prouve qu'une modélisation plus fine du contexte (identité + discours) est faisable et modulaire.
• Elle ouvre la porte à l'intégration future de signaux supplémentaires (réseaux sociaux, multimodaux) et à l'amélioration des mécanismes de fusion pour mieux distinguer la réappropriation de l'abus explicite.
• Le code est rendu public, favorisant la reproductibilité et l'extension de ce cadre de travail.

En résumé, cet article propose une avancée méthodologique significative pour la modélisation du contexte sociolinguistique dans le NLP, même si la performance brute reste compétitive avec les approches standards actuelles.