Mimicking How Humans Interpret Out-of-Context Sentences Through Controlled Toxicity Decoding

1. Problématique

Les malentendus en ligne, particulièrement sur les réseaux sociaux, découlent souvent d'un décalage entre l'intention de l'auteur et l'interprétation du lecteur. Ce phénomène est exacerbé lorsque le texte est extrait de son contexte (sentences hors contexte).
L'objectif principal de cet article est de simuler la manière dont les humains interprètent ces phrases hors contexte, en particulier en tenant compte de la toxicité. Les auteurs constatent que la toxicité d'une phrase n'est pas perçue de manière uniforme : selon le contexte perdu, un même énoncé peut être interprété comme bénin ou très toxique. Le défi consiste à générer un ensemble diversifié d'interprétations qui reflètent cette variabilité humaine, tout en contrôlant explicitement le niveau de toxicité de ces générations.

2. Méthodologie

Les auteurs proposent une stratégie de décodage modulaire (plug-and-play) qui ne nécessite pas de modifier l'architecture des modèles de langage (LLM) existants. Cette stratégie intervient lors de la phase de génération de texte (décodage) pour calibrer les scores de probabilité (logits) avant l'échantillonnage.

La méthode repose sur trois objectifs clés, inspirés des patterns observés dans les interprétations humaines écrites :

• Objectif 1 : Alignement de la toxicité.
  Le niveau de toxicité de l'interprétation générée doit correspondre à celui de la phrase d'entrée. Pour chaque token généré, les scores de softmax sont ajustés dynamiquement :

  • Si la toxicité accumulée du texte généré est inférieure à celle de la phrase d'entrée, les scores des tokens toxiques sont augmentés.
  • Si elle est supérieure, les scores sont diminués.
    Cela garantit que l'interprétation finale converge vers le niveau de toxicité de l'input.

• Objectif 2 : Assouplissement progressif des contraintes.
  Les observations empiriques montrent que les phrases très toxiques génèrent des interprétations humaines avec une plus grande variance de toxicité (écart-type plus élevé). Pour imiter cela, le poids de contrôle ($\lambda$) est réduit à mesure que la toxicité de la phrase d'entrée augmente ($\lambda = 1 / (tox(s) \times 100)$). Cela permet une plus grande diversité d'interprétations pour les inputs très toxiques.

• Objectif 3 : Promotion de la diversité par alternance.
  Pour éviter que le modèle ne génère toujours la même interprétation (même si elle est correcte), une règle heurique alterne la direction de la toxicité entre les générations successives. Si l'interprétation précédente était moins toxique que l'input, la suivante sera forcée d'être plus toxique, et vice-versa. Cela crée un ensemble d'interprétations couvrant un spectre de toxicité.

Implémentation technique :
La méthode ajuste les scores $score(y_t|y_{<t})$ à chaque pas de temps $t$ selon la formule :
$$score(y_t|y_{<t}) = score(y_t|y_{<t}) \pm \lambda \cdot tox(y_t)$$
où $tox(y_t)$ est la toxicité du token candidat (évaluée via le modèle BERT-HateXplain). Un nouveau softmax est appliqué pour normaliser les probabilités.

3. Contributions Clés

1. Nouvelle stratégie de décodage : Une méthode de contrôle de la toxicité en temps réel durant la génération, applicable à n'importe quel modèle de langage pré-entraîné sans ré-entraînement lourd.
2. Modélisation de la variabilité humaine : La première approche à formaliser explicitement la relation entre la toxicité de l'input et la diversité des interprétations humaines (via l'Objectif 2).
3. Contrôle granulaire : Capacité à générer des interprétations allant de la modération totale (pour la sécurité) à l'amplification de la toxicité (pour la détection de contenu nuisible), selon le besoin.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset OrigamIM (9 851 interprétations humaines de phrases Reddit) avec trois modèles : BART, T5 et LLaMA 7B.

• Similarité Syntaxique et Sémantique :
  • L'utilisation des trois objectifs combinés améliore significativement les scores METEOR (syntaxe) et COMET (sémantique) par rapport aux modèles de base.
  • Par exemple, avec LLaMA, le score COMET passe de 86.16 (base) à 91.07 (avec les 3 objectifs), soit une amélioration de ~5.5%.
• Réduction de l'incertitude :
  • La perplexité des modèles diminue, indiquant que le modèle est plus confiant dans ses prédictions lorsque le décodage est contrôlé.
• Corrélation Toxicité :
  • La corrélation de Spearman entre la toxicité des interprétations générées et celles des humains est améliorée, prouvant que le modèle capture mieux la perception humaine de la toxicité.
• Analyse de l'hyperparamètre $\lambda$ :
  • L'utilisation d'un $\lambda$ variable (Objectif 2) surpasse systématiquement un $\lambda$ fixe, confirmant l'importance d'adapter le contrôle à la toxicité de l'input.

5. Signification et Implications

Cet article démontre qu'il est possible de simuler la subjectivité humaine dans la compréhension du langage en contrôlant un attribut spécifique (la toxicité) durant la génération.

• Pour la modération de contenu : La méthode permet de générer des interprétations non toxiques pour atténuer le discours haineux, ou au contraire, de révéler la toxicité latente (sous-jacente) d'un message ambigu pour améliorer les systèmes de détection.
• Pour la recherche en NLP : Elle ouvre la voie à une modélisation plus fine des facteurs contextuels et culturels qui influencent l'interprétation, au-delà de la simple toxicité.
• Considérations éthiques : Les auteurs soulignent que bien que la méthode puisse amplifier la toxicité, cela est nécessaire pour des tâches de recherche et de détection. L'outil est conçu pour être adaptable, permettant une régulation responsable du langage toxique selon le contexte d'application (ex: éducation vs détection de harcèlement).

En résumé, cette approche offre un cadre robuste pour comprendre et prédire comment les messages hors contexte sont perçus, en alignant les capacités des IA sur la complexité et la variabilité de l'interprétation humaine.