🤖 AI

Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Cet article présente Mod-Guide, un système de modération de contenu basé sur les LLM et amélioré par la génération augmentée par la récupération ainsi qu'un corpus co-créé de discours insensibles issus des communautés hindoue et Chakma du Bangladesh, ce qui améliore la détection des langages culturellement préjudiciables en intégrant les perspectives minoritaires et les expériences vécues dans le pipeline de modération.

Auteurs originaux : Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Publié 2026-06-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un traducteur pour les sentiments culturels

Imaginez qu'Internet est une immense place de village bruyante. Dans cette place, il y a deux groupes de personnes : la Majorité (les voix les plus communes) et les Minorités (des groupes plus petits, souvent négligés).

Parfois, les gens de la Majorité disent des choses qui ne sont pas techniquement des « discours de haine » (comme hurler des insultes), mais qui sont tout de même blessantes. Ils peuvent faire des blagues, des suppositions ou des commentaires qui, par accident, effacent ou manquent de respect à la culture, à la religion ou à l'histoire de la Minorité. C'est comme si quelqu'un disait : « Pourquoi portes-tu ce chapeau bizarre ? Il est moche », sans réaliser que ce chapeau est une couronne sacrée pour celui qui le porte.

Le problème est que les « videurs » (les systèmes de modération de contenu) de la place du village sont généralement formés par la Majorité. Ils passent souvent à côté de ces blessures subtiles car ils ne comprennent pas la perspective de la Minorité. Ils pourraient dire : « Ce commentaire est correct », alors que la Minorité se sent profondément blessée.

Cet article présente Mod-Guide, un nouvel outil conçu pour aider les videurs à comprendre le point de vue de la Minorité.

Le Problème : Le « Voile » et le « Dictionnaire Manquant »

Les auteurs utilisent deux métaphores puissantes pour expliquer pourquoi cela se produit :

Le Voile : Imaginez un rideau épais et invisible séparant la Majorité et la Minorité. La Majorité ne peut pas voir les véritables sentiments de la Minorité, et la Minorité se sent incomprise.
L'Injustice Herméneutique : C'est une façon sophistiquée de dire que la Minorité n'a pas de dictionnaire. Elle a des expériences et des sentiments, mais le « langage officiel » d'Internet (et de l'IA) ne possède pas les mots pour décrire pourquoi ces expériences sont douloureuses.

À cause de cela, les modèles d'IA standards (comme ceux actuellement utilisés par les sites de réseaux sociaux) échouent souvent à détecter le « discours insensible ». Ils voient les mots, mais ils ratent le sens qui se cache derrière.

La Solution : Construire une « Bibliothèque Communautaire »

Pour corrifier cela, les chercheurs ne se sont pas contentés de demander à une IA de deviner. Au lieu de cela, ils sont allés à la source.

Étape 1 : Les Conteurs (Le Corpus)
Les chercheurs ont réuni 22 membres de deux groupes minoritaires spécifiques au Bangladesh : la communauté hindoue (minorité religieuse) et la communauté Chakma (minorité ethnique autochtone).

Ils ont demandé à ces membres de la communauté de partager des exemples de commentaires en ligne qui les ont blessés.
Crucialement, les membres de la communauté n'ont pas seulement dit « c'est mal ». Ils ont écrit des explications. Ils ont expliqué pourquoi c'était mal, en utilisant leurs propres textes religieux, leur histoire et leurs expériences vécues.
Analogie : Imaginez une bibliothèque où, au lieu d'avoir simplement une liste de « mauvais mots », vous avez un rayon de livres écrits par les personnes qui ont été blessées, expliquant exactement pourquoi une phrase spécifique a été ressentie comme un coup de poing dans le ventre.

Étape 2 : L'Outil (Mod-Guide)
Les chercheurs ont construit un outil appelé Mod-Guide. Considérez-le comme un assistant intelligent pour les modérateurs de contenu.

Le Cerveau : Il utilise une IA puissante (GPT-4).
La Mémoire (RAG) : C'est la recette secrète. Au lieu que l'IA devine en se basant sur son entraînement général, Mod-Guide force l'IA à ouvrir la Bibliothèque Communautaire (le corpus créé à l'étape 1) avant de répondre.
Le Jeu de Rôle : On demande à l'IA de porter différents « chapeaux » (personas) pour donner des commentaires. Parfois, elle agit comme un Enseignant (tentant d'éduquer), parfois comme un Médiateur (tentant de calmer un conflit), ou comme un Juge (rendant un verdict).

Comment cela fonctionne dans la vie réelle

Regardons un exemple de l'article :

Le Commentaire Insensible : Un utilisateur publie : « Je ne crois pas qu'il faille protéger les idoles ; j'ai apporté ma foi pour les garder, pas pour les protéger. » (Ceci est offensant pour les Hindous qui considèrent les idoles comme sacrées).
L'IA Standard : Pourrait dire : « C'est juste une opinion, c'est correct. »
Mod-Guide (avec la Bibliothèque) : L'IA cherche l'explication auprès des membres de la communauté hindoue. Elle voit que pour eux, les idoles sont un pont vers Dieu, et non de simples statues.
Le Résultat : Mod-Guide dit à l'utilisateur : « Ce commentaire pourrait être blessant car il rejette la nature sacrée des idoles pour beaucoup de gens. Voici comment vous pourriez reformuler cela pour être plus respectueux. »

Ce qu'ils ont découvert

Les chercheurs ont testé Mod-Guide par rapport à l'IA standard et ont constaté :

Cela change le résultat : Lorsque l'IA utilise la « Bibliothèque Communautaire » (RAG), ses réponses sont complètement différentes de celles de l'IA standard. Elle devient beaucoup plus sensible aux nuances culturelles.
C'est plus précis : Des experts issus des communautés minoritaires ont examiné les réponses. Ils ont déclaré que l'IA standard était souvent « superficielle » ou passait à côté du sujet. Les réponses de Mod-Guide étaient plus profondes et factuellement plus précises concernant leur culture.
Qui l'apprécie ?
- L'ethnicité compte : Les personnes issues de la minorité autochtone (Chakma) ont trouvé les retours beaucoup plus utiles que les personnes de la Majorité.
- La religion n'avait pas autant d'importance : Curieusement, que l'on soit hindou ou musulman ne changeait pas la manière dont ils trouvaient l'outil utile ; c'était davantage lié à leur origine ethnique.
- Les chapeaux de « l'Enseignant » et du « Médiateur » : Les retours étaient les plus utiles lorsque l'IA agissait comme un enseignant ou un médiateur, plutôt que comme un juge strict.

Les Limites (Le revers de la médaille)

Les auteurs sont honnêtes sur ce que cet outil ne peut pas encore faire :

C'est petit : La « Bibliothèque » qu'ils ont construite est petite (132 exemples). C'est comme avoir un dictionnaire avec seulement quelques pages. Cela fonctionne bien pour les groupes spécifiques qu'ils ont étudiés, mais cela pourrait ne pas couvrir tous les types d'insultes ou toutes les autres minorités du monde.
Ce n'est pas magique : L'outil nécessite toujours une supervision humaine. Il ne peut pas remplacer entièrement le jugement humain, surtout pour des contenus très complexes ou visuels (comme des images contenant du texte).
Spécifique au Bangladesh : Les conclusions sont spécifiques aux communautés hindoue et Chakma du Bangladesh. Cela ne résout pas automatiquement les problèmes des minorités dans d'autres pays, bien que la méthode puisse être copiée.

La Grande Conclusion

Cet article soutient que pour rendre Internet équitable, nous ne pouvons pas simplement compter sur de grands modèles d'IA généraux. Nous devons construire des bibliothèques de connaissances locales et spécifiques aux communautés.

En donnant à l'IA un « dictionnaire » écrit par les personnes qui sont réellement blessées, nous pouvons l'aider à comprendre la différence entre un commentaire inoffensif et un commentaire profondément offensant. Il s'agit de passer de la punition (bannir les gens) à la justice restauratrice (aider les gens à se comprendre et à réparer la relation).

En bref : Mod-Guide est un outil qui apprend à l'IA à écouter les personnes qu'elle est censée protéger, plutôt que de simplement deviner ce dont elles ont besoin.

Résumé technique : Mod-Guide

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés pour la modération de contenu, mais ils reflètent et renforcent souvent les normes culturelles majoritaires, échouant à reconnaître le « discours insensible » dirigé contre les communautés historiquement sous-représentées. Contrairement aux discours de haine explicites, le discours insensible opère par l'effacement implicite, la représentation erronée et le cadrage normatif qui ignorent les valeurs culturelles, religieuses et épistémiques des groupes minoritaires. Cela crée une « injustice herméneutique » où les communautés minoritaires manquent des ressources conceptuelles au sein des systèmes de modération dominants pour faire reconnaître leurs expériences de préjudice. L'article se concentre sur le Bangladesh, spécifiquement sur les communautés hindoue (minorité religieuse) et Chakma (minorité ethnique autochtone), où ces blessures linguistiques sont prévalentes mais souvent négligées par les systèmes automatisés entraînés sur des perspectives majoritaires.

Méthodologie
La recherche emploie une approche de méthodes mixtes impliquant trois étapes primaires :

Construction du corpus via les Communautés Distantes Asynchrones (ARC) :
- Les auteurs ont collaboré avec 22 membres des communautés hindoue et Chakma pour constituer un ensemble de données de 132 instances de discours culturellement insensibles.
- En utilisant des groupes secrets Facebook et WhatsApp, les participants ont partagé des exemples de textes, d'images et de vidéos qu'ils jugeaient blessants, en fournissant des explications détaillées fondées sur les textes religieux, l'histoire orale, les rituels culturels et les expériences vécues.
- Ce corpus a été traduit et normalisé en bengali, créant une base de connaissances sourcée par la communauté qui capture les herméneutiques (cadres interprétatifs) minoritaires plutôt que les suppositions majoritaires.
Développement du système (Mod-Guide) :
- Les auteurs ont développé Mod-Guide, un système de feedback basé sur les LLM utilisant la Génération Augmentée par Récupération (RAG) avec GPT-4 d'OpenAI.
- Pipeline : Le système utilise un magasin de vecteurs contenant les plongements (embeddings) du corpus sourcé par la communauté. Lorsqu'un utilisateur saisit un texte, le système effectue une recherche de similitude pour récupérer les explications communautaires pertinentes.
- Prompting de Persona : Le LLM est incité à adopter cinq personas de modération distincts (Enseignant, Médiateur, Juge, Représentant, Protecteur) basés sur les métaphores de la modération de Seering et al.
- Configuration : L'étude compare deux configurations : (a) GPT-4 utilisant un prompting standard sans contexte externe, et (b) GPT-4 enrichi par le RAG, où les réponses sont ancrées dans les explications communautaires récupérées.
Évaluation :
- Analyse textuelle quantitative : Le score BERTScore et la distance euclidienne des plongements de texte ont été utilisés pour mesurer la divergence entre les réponses générées par le LLM autonome et le système enrichi par RAG à travers différents personas.
- Exactitude factuelle : Deux experts du domaine (un de chaque communauté minoritaire) ont évalué l'exactitude factuelle et la nuance de 10 réponses sélectionnées aléatoirement dans les deux configurations.
- Étude utilisateur : Une étude avec 15 participants (issus de milieux majoritaires et minoritaires) a évalué l'utilité perçue du feedback, analysant l'influence du bagage démographique et du persona de modération.

Principales contributions

Contribution de corpus : Un corpus curaté et annoté de discours culturellement insensibles en bengali, spécifiquement ancré dans les perspectives des communautés hindoue et Chakma. Ce jeu de données inclut non seulement les actes de langage, mais aussi les justifications communautaires expliquant pourquoi ils sont préjudiciables.
Contribution d'artéfact : La conception et l'évaluation de Mod-Guide, un système de feedback qui intègre les perspectives minoritaires dans les flux de travail de modération des LLM via le RAG.
Contribution méthodologique : Démontrer comment le RAG peut être utilisé pour opérationnaliser l'« inclusion herméneutique », permettant aux LLM d'accéder à des connaissances épistémiquement marginalisées et de les utiliser sans nécessiter de fine-tuning ou de mises à jour de poids irréversibles.

Résultats

Différences textuelles : L'analyse statistique (tests de Wilcoxon signed-rank) a révélé une différence significative ( $p = 3,3 \times 10^{-54}$ ) entre le texte généré par le GPT-4 autonome et le système enrichi par RAG. Le système RAG a produit des réponses contextuellement distinctes et ancrées dans les récits communautaires récupérés.
Exactitude factuelle : L'évaluation par les experts a indiqué que, bien que les réponses de GPT-4 autonome soient souvent correctes sur un plan général, elles manquaient de profondeur et de nuance. Les réponses enrichies par RAG ont fourni un contexte théologique et culturel plus précis (par exemple, en expliquant le rôle des idoles dans l'hindouisme ou les sensibilités spécifiques autour du terme « upojati »). Cependant, le système a tout de même éprouvé des difficultés avec certains problèmes, tels que l'identification de l'argot vulgaire ciblant les femmes autochtones dans certains contextes d'images.
Utilité perçue : L'étude a trouvé une relation statistiquement significative ( $p = 0,0104$ ) entre l'ethnicité d'un participant et sa perception du persona de modération le plus utile. Les participants issus de minorités avaient tendance à préférer les personas mettant l'accent sur la protection et le plaidoyer. Aucune relation significative n'a été trouvée entre la religion et la préférence de persona.

Signification et revendications
L'article affirme que Mod-Guide fait progresser les domaines de l'interaction homme-machine (HCI), de l'éthique de l'IA et de l'informatique sociale en mettant en avant la justice restaurative et l'inclusion herméneutique dans la conception de la modération de contenu.

Justice Épistémique : Le travail soutient que les petits jeux de données sourcés par la communauté doivent être considérés comme des « catégories basées sur des prototypes » plutôt que d'être rejetés en raison de leur taille. Ils servent de ressources essentielles pour contrer l'« idéocide » (l'anéantissement des cadres épistémiques marginalisés) dans les systèmes d'IA.
Approche Restaurative : En déplaçant la métaphore de la modération de la punition vers l'éducation et le dialogue (via des personas comme l'« Enseignant » ou le « Médiateur »), le système vise à réparer les préjudices épistémiques et à favoriser la compréhension interculturelle plutôt que de simplement supprimer le contenu.
Explicabilité : Les auteurs préconisent le RAG plutôt que le fine-tuning dans ce contexte car il offre une plus grande transparence et traçabilité, permettant aux décisions de modération d'être auditées par rapport à des justifications communautaires spécifiques.

Les auteurs concluent que, bien que leur système démontre un potentiel pour rendre les LLM plus sensibles aux normes pluralistes, des défis subsistent concernant la scalabilité, la diversité du corpus et le risque d'essentialiser les identités minoritaires. Ils soulignent que de tels systèmes doivent rester adaptables à une conception et une critique participatives continues.