Context-Aware Detection and Victim-Centered Response Generation for Online Harassment in Private Messaging

Résumé technique : Détection consciente du contexte et génération de réponses centrées sur la victime pour le harcèlement en ligne dans les messages privés

Énoncé du problème
Le harcèlement en ligne est une préoccupation majeure de santé publique, en particulier pour les adolescents, pourtant les efforts de détection computationnelle et d'intervention se sont principalement concentrés sur le contenu visible publiquement des réseaux sociaux. Les environnements de messagerie privée (par exemple, les messages directs Instagram) présentent des défis uniques : les interactions nuisibles se déroulent souvent par le biais d'échanges contextuels et multi-tours où le sens dépend de l'historique conversationnel, de l'ironie et des dynamiques relationnelles plutôt que de textes isolés. De plus, les interventions existantes sont largement réactives (par exemple, signalement, blocage) ou axées sur l'auteur du harcèlement (par exemple, contre-discours), échouant souvent à fournir une assistance opportune et émotionnellement soutenante aux victimes pendant l'événement de harcèlement. Il existe un manque critique de jeux de données et de méthodes évolutives pour détecter le harcèlement dans des contextes privés, ainsi qu'une lacune en matière de génération de réponses centrées sur la victime pilotée par l'IA.

Méthodologie
L'étude a utilisé un jeu de données de 80 053 messages directs Instagram donnés par 26 adolescents (âgés de 12 à 18 ans), incluant des jeunes présentant des facteurs de risque de suicide. La recherche a abordé deux questions de recherche principales (QR) en utilisant des modèles de langage de grande taille (LLM).

1. Détection (QR1) : Classification en cascade consciente du contexte

• Annotation des données : Des annotateurs humains ont étiqueté 7 525 messages (après filtrage) pour le harcèlement en ligne. Pour assurer la conscience du contexte, les annotateurs ont examiné le message cible ainsi que les 10 messages précédents. Un système à deux annotateurs avec un troisième arbitre a résolu les désaccords, aboutissant à un jeu de données fortement déséquilibré (41 cas de harcèlement, 7 484 non-harcèlement).
• Architecture du pipeline : Les auteurs ont développé un pipeline LLM en cascade à deux étapes utilisant le modèle meta-llama/Llama-4-Scout-17B-16E-Instruct.
  • Étape 1 (LLM 1) : Reçoit le message cible et les 50 messages précédents comme contexte. Il est invité à classifier le message et à fournir une explication du raisonnement.
  • Étape 2 (LLM 2) : Reçoit la sortie du LLM 1 (étiquette + raisonnement) ainsi que le contexte de la conversation. Cette étape agit comme un filtre conservateur pour réduire les faux positifs, réévaluant spécifiquement les cas signalés comme harcèlement par la première étape.
• Lignes de base : Le pipeline a été comparé à un classificateur de toxicité préentraîné (toxic-bert) et à un cadre d'apprentissage d'ensemble supervisé entraîné sur des données de réseaux sociaux publics.

2. Génération de réponses (QR2) : Cadre centré sur la victime

• Architecture du pipeline : Un pipeline de génération à deux étapes utilisant le même modèle LLM.
  • Étape 1 (Sélection de stratégie) : Analyse le contexte de la conversation pour sélectionner des stratégies de réponse fondées sur des preuves (par exemple, désescalade, empathie, persuasion morale, avertissement) et génère une justification.
  • Étape 2 (Réalisation linguistique) : Génère les messages de réponse réels conditionnés par les stratégies sélectionnées et le contexte original.
• Contraintes : Pour assurer la validité écologique, le modèle a été contraint de générer des réponses imitant les styles de communication des adolescents (par exemple, texte abrégé, grammaire informelle) avec des contraintes de longueur spécifiques (3 à 13 mots par message, 1 à 2 messages consécutifs). Le système a été explicitement instruit d'éviter la riposte et de prioriser la désescalade.
• Évaluation : Une évaluation humaine en aveugle a été menée sur 100 cas de harcèlement. Trois évaluateurs ont comparé les réponses générées par l'IA aux réponses originales des participants selon six dimensions : efficacité pour arrêter le harcèlement, désescalade, positionnement de la victime, soutien émotionnel, naturel, et préférence pour l'ignorance versus la réponse.

Résultats clés

• Performance de détection : Le pipeline LLM en cascade a atteint une précision globale de 0,98 et un score F1 macro de 0,63. Crucialement, pour la classe harcèlement, il a atteint un rappel de 0,60 et un score F1 de 0,28. Cela surpasse significativement les deux lignes de base : toxic-bert (F1 positif : 0,14) et l'ensemble (F1 positif : 0,23). Les résultats indiquent que les LLM conscients du contexte sont mieux adaptés au harcèlement dans les messages privés que les modèles entraînés sur des publications publiques isolées.
• Évaluation de la réponse : Les évaluateurs humains ont perçu les réponses générées par l'IA comme significativement plus utiles que les réponses originales des participants (IC à 95 % : 0,767–0,815, p < .001). Les réponses de l'IA ont été préférées dans 80,2 % des cas pour le soutien émotionnel, la désescalade et l'utilité pratique. Cependant, les évaluateurs ont jugé les réponses originales des participants plus « naturelles » en termes de style conversationnel (IC à 95 % : 0,035–0,089, p < .001).
• Analyse des erreurs : Le pipeline a manqué certains cas de harcèlement indirect ou implicite (faux négatifs) en raison du caractère conservateur du filtrage de la deuxième étape, qui priorisait la réduction des faux positifs.

Portée et affirmations
L'article affirme que les systèmes d'IA conscients du contexte et centrés sur la victime détiennent un potentiel significatif pour fournir un soutien « juste à temps » dans les environnements de messagerie privée.

• Détection : L'étude démontre que l'exploitation du contexte conversationnel via des pipelines LLM en cascade est essentielle pour détecter le harcèlement dans les espaces privés, surpassant les classificateurs de toxicité traditionnels qui échouent à capturer les dynamiques relationnelles et les schémas d'escalade.
• Intervention : La recherche introduit le concept de « tamponnage synthétique », où les réponses générées par l'IA absorbent le fardeau émotionnel et cognitif de la réponse au harcèlement. En proposant des ébauches informées par la stratégie et désescaladantes, ces systèmes peuvent autonomiser les victimes sans exiger qu'elles formulent des réponses régulées alors qu'elles sont en détresse.
• Limites : Les auteurs notent modestement que, bien que les réponses de l'IA soient perçues comme plus utiles, elles manquent actuellement du naturel linguistique des réponses humaines. Ils soulignent que ces systèmes ne doivent pas remplacer le soutien humain ou l'intervention professionnelle et nécessitent des garde-fous contre les mauvais usages ou l'escalade involontaire. Les résultats sont basés sur un jeu de données spécifique et à petite échelle d'adolescents, nécessitant un travail futur sur des populations plus vastes et plus diversifiées et une évaluation des résultats dans le monde réel.