Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech
Cet article utilise les grands modèles de langage et la modélisation thématique pour analyser des données à grande échelle provenant de plateformes extrémistes, démontrant que les grands modèles de langage peuvent identifier efficacement des insultes islamophobes semi-codées tout en révélant que ce discours haineux est prévalent au sein de mouvements politiques divers et reçoit souvent des scores de toxicité plus élevés que d'autres formes de discours haineux.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense place publique bruyante. Ces dernières années, un groupe de personnes sur cette place a commencé à hurler des insultes contre les musulmans, mais ils ont appris une nouvelle astuce diabolique : au lieu de crier des insultes évidentes, ils utilisent des « mots de code secrets ».
Ce document est comme une équipe de détectives tentant de déterminer si l'IA moderne (spécifiquement les modèles de langage de grande taille, ou LLM) peut décoder ce message et stopper la haine avant qu'elle ne se propage.
Voici le détail de leur enquête, utilisant des analogies simples :
1. Le Problème : Le « Camouflage » de la Haine
Dans le passé, les discours de haine étaient comme une personne portant un t-shirt rouge vif avec écrit « JE TE HAIS ». C'était facile à repérer.
Maintenant, les haineux portent un camouflage. Ils utilisent des mots qui semblent inoffensifs ou qui sonnent comme des noms normaux, mais dans le contexte de forums extrémistes (comme 4Chan ou Gab), ils signifient quelque chose d'horrible.
- L'astuce du « Mudslime » : Imaginez prendre le mot « Muslim » (musulman) et remplacer le « M » par « Mud » (boue) et ajouter « slime » (glu). Cela sonne dégoûtant et déshumanisant, mais si vous lisez simplement le mot hors contexte, cela ressemble à un nom bizarre inventé.
- Le piège du « Abdul » : « Abdul » est un nom musulman courant et normal. Mais sur ces plateformes, les haineux l'utilisent comme une insulte générique, de la même manière qu'une personne pourrait utiliser un nom générique pour se moquer d'un groupe entier.
- Le mélange « Muzrat » : C'est un assemblage de « Muzz » (une application de rencontre) et de « Rat » (rat). Il est conçu pour faire passer les musulmans pour des vermines, mais il est écrit d'une manière qui tente de glisser sous les filtres automatisés.
Les chercheurs appellent ces termes des termes « hors vocabulaire » (OOV) ou « semi-codés ». Ils sont l'équivalent numérique d'un loup portant un costume de mouton.
2. L'Enquête : L'IA Peut-Elle Voir à Travers le Camouflage ?
Les chercheurs ont demandé à une IA très intelligente (GPT-4) de lire ces publications et de décider : « Est-ce un discours de haine ? »
- La Bonne Nouvelle : L'IA est étonnamment bonne pour repérer le « loup déguisé en mouton ». Lorsque les chercheurs lui ont soumis des publications contenant des mots comme mudslime, pislam ou muzrat, l'IA les a correctement identifiés comme haineux la plupart du temps. Elle a compris que même si les mots semblent étranges ou neutres, l'intention est malveillante.
- La Mauvaise Nouvelle : L'IA est parfois confuse par le contexte. Si une publication utilise le nom « Abdul » sans autres mots haineux, l'IA peut penser : « Oh, c'est juste un nom », et manquer la haine. Elle a besoin de plus d'indices pour être sûre.
3. Le Test de Toxicité : À quel point la Haine est-elle « Vénéneuse » ?
Les chercheurs ont comparé les discours de haine contre les musulmans aux discours de haine contre les Juifs (l'antisémitisme). Ils ont utilisé un outil appelé l'API Google Perspective, qui agit comme un « compteur de toxicité ».
- Le Résultat : Le compteur a montré que les discours de haine contre les musulmans sont significativement plus toxiques (plus grossiers, agressifs et abusifs) que les discours de haine contre les Juifs.
- L'Analogie : Si l'antisémitisme est comme un couteau bien aiguisé, les discours de haine contre les musulmans dans cette étude étaient comme une masse. Ils étaient plus lourds, plus bruyants et plus violents dans leur langage.
4. L'Énigme du « Topos » : L'IA Peut-Elle Comprendre l'Histoire ?
Les discours de haine reposent souvent sur d'anciennes histoires recyclées ou des « topos » (stéréotypes). Les chercheurs ont demandé à l'IA de classer les discours de haine en cinq catégories spécifiques :
- Racisme : Attaquer les personnes en fonction de leur peau ou de leur origine ethnique.
- Immigration : Affirmer que les musulmans « volent » le pays.
- Religion : Attaquer l'islam en tant que système de croyance.
- Le Prophète : Insulter le Prophète Mahomet.
- Oppression : Affirmer que les femmes musulmanes sont opprimées ou maltraitées.
- Le Résultat : L'IA était un maître pour repérer les insultes contre le Prophète (car les mots étaient très spécifiques et évidents) et les attaques contre la Religion.
- La Difficulté : L'IA avait du mal à distinguer le Racisme, l'Immigration et l'Oppression. Elle les mélangeait souvent. C'est comme un détective qui peut facilement repérer une arme du crime mais qui a du mal à comprendre pourquoi le crime a eu lieu ou quel motif spécifique a été utilisé.
5. La Conclusion : Un Travail en Cours
Le document conclut que si l'IA s'améliore dans la reconnaissance de ces « mots de code secrets », elle n'est pas encore parfaite.
- Ce qui fonctionne : L'IA peut dire que mudslime est un mot méchant.
- Ce qui ne fonctionne pas : L'IA manque parfois le sens plus profond lorsque la haine est subtile ou lorsqu'elle essaie de déterminer quel stéréotype spécifique est utilisé.
L'Essentiel :
Les chercheurs disent aux plateformes de médias sociaux : « Vous ne pouvez plus vous contenter de chercher les mots mauvais évidents. Vous devez enseigner à votre IA à comprendre ces nouveaux mots étranges et codés, sinon les discours de haine continueront de glisser à travers les mailles du filet. » Ils suggèrent également que, comme cette haine est si toxique, elle nécessite une attention urgente pour maintenir la place publique en ligne en sécurité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.