Toxicity Detection Should Measure Contextual Harm, Not Text-Intrinsic Badness

Ce document de position soutient que la détection de la toxicité doit passer de la conception de la toxicité comme une propriété intrinsèque d'un texte isolé à sa mesure en tant que nuisance communicative contextuelle, en introduisant le Cadre de Stress Contextuel (CSC) et l'évaluation CSC pour mieux saisir comment les violations perçues des normes et le contexte social génèrent une perturbation réelle.

L'essentiel

Le problème central : Le piège du « mot interdit »

Imaginez que vous êtes un videur dans une boîte de nuit. Votre travail consiste à empêcher les gens d'être grossiers ou nuisibles. Actuellement, la plupart des videurs automatisés (les détecteurs de toxicité par IA) fonctionnent comme un détecteur de métaux dans un aéroport.

Si le détecteur de métaux émet un bip, il suppose qu'il y a une arme. Il ne se soucie pas de pourquoi le métal est là.

• Si vous tenez un couteau pour couper un steak, il émet un bip.
• Si vous tenez un couteau pour menacer quelqu'un, il émet un bip.
• Si vous tenez un couteau en plastique d'un costume d'Halloween, il émet un bip.

Les modèles d'IA actuels agissent exactement comme ce détecteur de métaux. Ils analysent une phrase, repèrent des « mots interdits » (comme des insultes ou des injures), et la signalent immédiatement comme toxique. Ils considèrent les mots eux-mêmes comme le danger, peu importe qui les prononce, qui les écoute, ou ce qui se passe autour.

Le document soutient que c'est une façon erronée de mesurer le préjudice. Le fait qu'une phrase contienne un « mot interdit » ne signifie pas qu'elle blesse réellement quelqu'un à ce moment précis.

La vraie solution : Le cadre de « stress contextuel »

Les auteurs proposent une nouvelle façon de penser la toxicité, appelée le cadre de stress contextuel (Contextual Stress Framework - CSF).

Au lieu de demander : « Cette phrase contient-elle des mots interdits ? », ils demandent : « Ce message spécifique, à cette personne spécifique, dans cette situation spécifique, provoque-t-il du stress et enfreint-il les règles de la pièce ? »

Pensez-y comme à un videur humain qui connaît le contexte :

• Scénario A : Deux amis plaisantent. L'un prononce un mot qui est habituellement une injure, mais ils l'utilisent comme un terme affectueux entre eux. Le videur humain voit qu'ils rient et connaît leur amitié. Verdict : Aucun préjudice.
• Scénario B : Un inconnu dit ce même mot à un ami lors d'une dispute publique. Le videur humain voit la peur dans les yeux de l'ami. Verdict : Nuisible.

Le document affirme que la toxicité n'est pas une propriété des mots eux-mêmes ; c'est une relation entre l'orateur, l'auditeur et la situation.

Pourquoi l'ancienne méthode échoue (les « fausses alertes » et les « dangers manqués »)

Parce que l'IA actuelle ressemble au détecteur de métaux, elle commet deux grandes erreurs :

1. Faux positifs (pincer les innocents) : Elle interdit des discours inoffensifs parce qu'ils contiennent des « mots interdits ».
   • Exemple : Dans certaines communautés, les gens réinvestissent des mots offensants pour montrer leur solidarité. Si une IA repère ce mot, elle bannit le message, réduisant au silence une communauté qui s'amuse et se lie d'amitié.
2. Faux négatifs (manquer le vrai danger) : Elle laisse passer des discours nuisibles qui n'utilisent pas de « mots interdits ».
   • Exemple : Une personne peut dire : « Tu es si silencieux, tu dois ne rien avoir d'intelligent à dire », sur un ton très poli. Cela semble gentil, mais c'est une insulte cruelle conçue pour faire taire quelqu'un. L'IA ne voit aucun « mot interdit » et le laisse passer, tandis que la victime se sent blessée.

Le nouveau test : Mesurer le « stress » au lieu de la « méchanceté »

Les auteurs suggèrent d'arrêter d'essayer d'étiqueter une phrase comme « Toxique » ou « Non toxique » avec un seul score. Au lieu de cela, nous devrions mesurer le Stress et la Violation de norme.

• Violation de norme : L'orateur a-t-il enfreint les règles sociales de ce groupe spécifique ?
• Stress : L'auditeur (ou le groupe) a-t-il réagi par la colère, la peur ou le retrait ?

Ils ont testé cette idée en examinant une communauté Reddit appelée r/BlackPeopleTwitter. Ils ont comparé ce que l'IA considérait comme toxique avec ce à quoi les personnes réelles de la communauté réagissaient.

• Le résultat : L'IA et les personnes étaient souvent en désaccord. L'IA signalait des blagues amicales comme toxiques, mais les personnes riaient. L'IA laissait passer des commentaires subtils et méchants que les personnes trouvaient blessants.
• La leçon : Vous ne pouvez pas juger du préjudice simplement en lisant le texte ; vous devez voir comment les gens y réagissent.

La proposition : Un nouveau bulletin de notes (CSF-Eval)

Le document propose une nouvelle façon de tester et de construire ces systèmes d'IA, appelée CSF-Eval.

Au lieu de donner à une IA une seule note (comme « 90 % de précision »), nous devrions lui demander de décomposer sa réflexion en cinq parties, comme un rapport médical :

1. Risque textuel : Le texte semble-t-il dangereux en soi ?
2. Violation de norme : Enfreint-il les règles de ce groupe spécifique ?
3. Stress/Perturbation : Y a-t-il des preuves que les gens sont contrariés ou se disputent ?
4. Incertitude : « Je n'ai pas assez d'informations pour savoir si c'est mauvais. » (L'IA devrait admettre quand elle devine).
5. Action politique : « Sur la base de ce qui précède, voici ce que nous devrions faire. »

L'essentiel

Le document conclut que nous devons arrêter de faire semblant que le préjudice est caché à l'intérieur d'une phrase en attente d'être découvert.

Le préjudice est créé lorsqu'un message est reçu dans un contexte spécifique. Pour créer des espaces en ligne plus sûrs, nous avons besoin d'une IA qui comprend la différence entre une blague entre amis et une arme dans une bagarre, plutôt que d'une simple machine qui compte le nombre de « mots interdits » dans une pièce.

Résumé technique

Résumé technique : La détection de la toxicité doit mesurer le préjudice contextuel, et non la nocivité intrinsèque du texte

1. Énoncé du problème

Les systèmes actuels de détection de la toxicité reposent sur une abstraction erronée : ils traitent la toxicité comme une propriété intrinsèque de chaînes de texte isolées ($y = f(x)$). Cette approche réduit à une seule prédiction décontextualisée des déterminants critiques du préjudice communicationnel — tels que l'énonciateur, le public, l'historique des interactions, le cadre normatif et la réception.

L'article identifie deux échecs fondamentaux résultant de cette abstraction :

• Le problème de l'objet : Il n'existe aucune définition établie de la toxicité. Les communautés juridiques, celles des plateformes et le monde académique utilisent des notions qui se chevauchent mais ne sont pas équivalentes (par exemple, « haineux », « abusif », « incivil »). Par conséquent, la même énonciation peut être juridiquement protégée, supprimable selon la politique, ou étiquetée à la fois comme toxique et non toxique selon le jeu de données, rendant les progrès des benchmarks un indicateur trompeur de la sécurité.
• Le problème du proxy : En opérationnalisant la toxicité comme une correspondance texte-étiquette, les détecteurs échouent à capturer le préjudice communicationnel situé. Cela entraîne des erreurs systématiques : la sur-signalement des dialectes ou des langages réappropriés (faux positifs) et le non-détection d'abus codés, pragmatiques ou dépendants du contexte (faux négatifs). De plus, ces systèmes sont fragiles face aux transformations préservant le sens et aux attaques adverses.

Les auteurs soutiennent que la précision des benchmarks sur des étiquettes décontextualisées reflète souvent la capacité d'un modèle à apprendre les conventions d'annotation spécifiques à un jeu de données, plutôt que sa capacité à réduire le préjudice dans des environnements réels et situés.

2. Méthodologie et cadre : le Cadre de Stress Contextuel (CSC)

Pour répondre à ces problèmes, les auteurs proposent le Cadre de Stress Contextuel (CSC), qui redéfinit la toxicité non pas comme une propriété du texte, mais comme une relation contextuelle.

Définitions fondamentales

• Toxicité : Définie comme une relation entre un acte communicationnel, un public interprétant et un cadre normatif, où une violation perçue de la norme induit un stress ou une perturbation.
• Discours toxique : Un discours qui induit un stress ou une perturbation par le biais d'une violation perçue de normes morales ou communicationnelles acceptées au sein du contexte spécifique d'interprétation.

Formulation mathématique

Le cadre modélise un événement communicationnel comme $e = (x, C, A)$, où $x$ est l'acte, $C$ le contexte et $A$ le public.

1. Violation de norme perçue ($\nu$) : Le degré auquel un membre du public perçoit l'événement comme violant les normes pertinentes. Il s'agit d'une violation perçue, et non d'une vérité morale objective.
2. Réponse de stress ($\sigma$) : Le stress ou la perturbation induit chez le membre du public.
3. Toxicité individuelle ($\tau$) : Une fonction $g(\nu, \sigma)$ qui combine la violation perçue et le stress. La fonction est monotone dans les deux arguments et attribue une toxicité proche de zéro si l'un des deux composantes est absente.
4. Toxicité au niveau de l'événement ($T$) : Une agrégation des toxicités individuelles à travers le public pertinent, pondérée par des facteurs tels que l'exposition, la pertinence ou la vulnérabilité.

Stratégie de mesure

L'article distingue le risque intrinsèque au texte (indices lexicaux) de la perturbation basée sur la réception (stress observable). Pour les systèmes de TAL en ligne, où les données physiologiques ne sont pas disponibles, le cadre propose d'utiliser des proxies comportementaux du stress, tels que l'escalade des réponses, le retrait, les changements de ton ou le langage affectif dans les réponses.

3. Contributions clés

A. Recadrage théorique

L'article déplace le focus du domaine de la classification de texte vers la mesure du préjudice contextuel. Il soutient que le contexte n'est pas simplement une caractéristique auxiliaire pour améliorer la précision de la prédiction, mais qu'il est constitutif de la variable cible. La toxicité est une propriété émergente de l'interaction entre le texte, le public et les normes.

B. Le Cadre de Stress Contextuel (CSC)

Le CSC fournit une structure formelle pour séparer :

• Les indices intrinsèques au texte.
• Les hypothèses contextuelles.
• Les caractéristiques du public.
• La violation de norme perçue.
• Les signaux de réception/stress.
• L'incertitude.
• Les règles de politique.

C. CSC-Éval : Un nouvel agenda d'évaluation

Les auteurs proposent CSC-Éval, un cadre d'évaluation qui va au-delà de la précision à une seule étiquette. Il exige que les systèmes produisent un vecteur de mesure $M(e) = (r_{texte}, \hat{\nu}, \hat{\sigma}, u, \pi)$, représentant :

• $r_{texte}$ : Risque intrinsèque au texte.
• $\hat{\nu}$ : Violation de norme perçue estimée.
• $\hat{\sigma}$ : Stress/perturbation estimé.
• $u$ : Incertitude dans un contexte d'observabilité partielle.
• $\pi$ : Recommandation de politique (explicitement séparée de la mesure).

CSC-Éval évalue les systèmes sur cinq tranches contrastées :

1. Même texte, contexte différent : Tester si le système reconnaît que les mêmes mots fonctionnent différemment selon le public et le cadre.
2. Forme différente, même préjudice : Tester si le système détecte les abus codés ou pragmatiques sans s'appuyer sur des marqueurs toxiques explicites.
3. Contexte manquant : Tester si le système exprime une incertitude ou s'abstient lorsque le contexte est incomplet, plutôt que de forcer une étiquette confiante.
4. Signaux de réception et de perturbation : Tester si le système utilise des preuves comportementales (par exemple, l'escalade) comme preuve bruitée de perturbation.
5. Séparation mesure-politique : Tester si le système distingue l'estimation du préjudice de l'application de la politique.

4. Résultats empiriques

Les auteurs fournissent une sonde illustrative utilisant des données du subreddit r/BlackPeopleTwitter pour démontrer la divergence entre la toxicité intrinsèque au texte et la perturbation basée sur la réception.

• Méthodologie : Ils ont comparé l'API de modération d'OpenAI et l'API Perspective de Google (détecteurs intrinsèques au texte) avec PONOS (Proportion of Negative Observed Signals), une métrique mesurant la proportion de réponses exprimant des réactions négatives.
• Constats :
  • Il existait une faible corrélation entre les scores intrinsèques au texte et PONOS ($\rho \approx 0,20$).
  • À l'inverse, les deux API intrinsèques au texte étaient fortement corrélées entre elles ($\rho \approx 0,87$).
  • Analyse par quadrants :
    • PB (Faible PONOS, Haute toxicité textuelle) : 14,5 % des publications étaient sur-signalements. Ceux-ci impliquaient souvent une solidarité intra-groupe, un langage réapproprié ou un humour dialectal (par exemple, « C'est mon n***a ! »).
    • BP (Forte PONOS, Faible toxicité textuelle) : 14,4 % des publications étaient manquées. Ceux-ci impliquaient de l'ironie, un antagonisme pragmatique ou des violations de normes spécifiques au contexte qui manquaient d'insultes explicites.
• Conclusion : Le risque intrinsèque au texte et la perturbation basée sur la réception sont des quantités distinctes. Les détecteurs actuels échouent systématiquement à s'aligner sur la perturbation réelle de la communauté, en particulier dans les contextes riches en dialectes ou en langages réappropriés.

5. Signification et revendications

L'article revendique que la détection de la toxicité doit évoluer de la prédiction d'étiquettes de jeux de données vers la mesure du préjudice communicationnel situé. Sa signification réside dans :

1. Correction de la cible de mesure : Il soutient que les systèmes critiques pour la sécurité ne peuvent pas prétendre que le texte isolé est suffisant. En séparant le risque textuel de la réception, le CSC explique pourquoi les modèles actuels sur-signalement les dialectes et manquent les abus pragmatiques.
2. Opérationnalisation de l'incertitude : Il propose que le « contexte manquant » doit être traité comme une condition d'échec, exigeant que les systèmes expriment une incertitude ou s'abstiennent plutôt que de générer des étiquettes trop confiantes et potentiellement nuisibles.
3. Découplage de la mesure et de l'application : Il préconise de séparer l'estimation du préjudice (mesure) de la décision de supprimer ou de déclasser du contenu (politique), permettant une modération plus transparente et responsable.
4. Réforme des benchmarks : Il appelle la communauté à adopter les normes CSC-Éval, exigeant que les benchmarks rapportent les performances au niveau des tranches (par exemple, changements de contexte, données manquantes) plutôt que la précision agrégée, et qu'ils documentent explicitement la perspective de qui et quels signaux contextuels sont représentés.

Les auteurs maintiennent une position modeste, reconnaissant que la toxicité ne peut pas être mesurée parfaitement et que le contexte complet est souvent indisponible dans le déploiement en temps réel. Cependant, ils soutiennent que reconnaître l'observabilité partielle et modéliser l'incertitude est une étape nécessaire vers des systèmes de modération plus sûrs et plus robustes.