🤖 AI

Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Dit artikel introduceert Mod-Guide, een op LLM gebaseerd contentmoderatiesysteem dat is verbeterd door retrieval-augmented generation en een gezamenlijk opgestelde corpus van ongevoelige taal uit de Bengaalse hindoeïstische en Chakma-gemeenschappen, wat de detectie van cultureel schadelijke taal verbetert door minderheidsperspectieven en geleefde ervaringen te integreren in de moderatiepijplijn.

Oorspronkelijke auteurs: Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Gepubliceerd 2026-06-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Vertaler voor Culturele Gevoelens

Stel je voor dat het internet een gigantisch, luidruchtig dorpsplein is. Op dit plein zijn twee groepen mensen: de Meerderheid (de meest voorkomende stemmen) en de Minderheden (kleinere, vaak over het hoofd geziene groepen).

Soms zeggen mensen van de Meerderheid dingen die technisch gezien geen "haatzaaiende taal" zijn (zoals het uitschelden met scheldwoorden), maar die nog steeds kwetsend zijn. Ze kunnen grappen maken, aannames doen of opmerkingen maken die onbedoeld de cultuur, religie of geschiedenis van de Minderheid uitwissen of respectloos behandelen. Het is alsoals iemand zegt: "Waarom draag je die vreemde hoed? Die is lelijk," zonder te beseffen dat die hoed voor de drager een heilige kroon is.

Het probleem is dat de "uitsmijters" (contentmoderatiesystemen) bij het dorpsplein meestal getraind zijn door de Meerderheid. Ze missen deze subtiele pijn vaak omdat ze het perspectief van de Minderheid niet begrijpen. Ze kunnen zeggen: "Die opmerking is prima," terwijl de Minderheid zich diep gekwetst voelt.

Dit artikel introduceert Mod-Guide, een nieuw hulpmiddel dat ontworpen is om de uitsmijters te helpen het standpunt van de Minderheid te begrijpen.

Het Probleem: Het "Sluiertje" en het "Ontbrekende Woordenboek"

De auteurs gebruiken twee krachtige metaforen om uit te leggen waarom dit gebeurt:

Het Sluiertje: Stel je een dik, onzichtbaar gordijn voor dat de Meerderheid en de Minderheid van elkaar scheidt. De Meerderheid kan de ware gevoelens van de Minderheid niet zien, en de Minderheid voelt zich onbegrepen.
Hermeneutische Onrechtvaardigheid: Dit is een chique manier om te zeggen dat de Minderheid een woordenboek mist. Ze hebben ervaringen en gevoelens, maar de "officiële taal" van het internet (en de AI) heeft niet de woorden om te beschrijven waarom die ervaringen pijnlijk zijn.

Hierdoor falen standaard AI-modellen (zoals de modellen die momenteel door sociale mediaplatforms worden gebruikt) vaak in het herkennen van "ongevoelige taal". Ze zien de woorden wel, maar missen de betekenis erachter.

De Oplossing: Het Bouwen van een "Gemeenschapsbibliotheek"

Om dit op te lossen, vroegen de onderzoekers niet simpelweg aan een AI om te gokken. In plaats daarvan gingen ze naar de bron.

Stap 1: De Verhalenvertellers (De Corpus)
De onderzoekers verzamelden 22 leden van twee specifieke minderheidsgroepen in Bangladesh: de Hindoeïstische gemeenschap (religieuze minderheid) en de Chakma-gemeenschap (inheemse etnische minderheid).

Ze vroegen deze gemeenschapsleden om voorbeelden te delen van online reacties die hen kwetsten.
Cruciaal was dat de leden van de gemeenschap niet alleen zeiden "dit is slecht". Ze schreven uitleg. Ze legendden waarom het slecht was, gebruikmakend van hun eigen religieuze teksten, geschiedenis en geleefde ervaringen.
Analogie: Stel je een bibliotheek voor waar je, in plaats van alleen een lijst met "slechte woorden", een plank hebt met boeken geschreven door de mensen die gekwetst zijn, waarin zij precies uitleggen waarom een specifieke zin voelde als een klap in het gezicht.

Stap 2: Het Hulpmiddel (Mod-Guide)
De onderzoekers bouwden een tool genaamd Mod-Guide. Zie dit als een slimme assistent voor contentmoderators.

Het Brein: Het maakt gebruik van een krachtige AI (GPT-4).
Het Geheugen (RAG): Dit is het geheime ingrediënt. In plaats van dat de AI gokt op basis van zijn algemene training, dwingt Mod-Guide de AI om de Gemeenschapsbibliotheek (de corpus uit Stap 1) te openen voordat hij antwoordt.
De Rollenspel-functie: De AI wordt gevraagd om verschillende "hoeden" (persona's) te dragen om feedback te geven. Soms gedraagt het zich als een Docent (om te proberen te onderwijzen), soms als een Bemiddelaar (om te proberen een ruzie te sussen), of als een Rechter (om een uitspraak te doen).

Hoe het in de Praktijk Werkt

Laten we naar een voorbeeld uit het artikel kijken:

De Ongevoelige Opmerking: Een gebruiker plaatst: "Ik geloof niet in het bewaken van afgodsbeelden; ik bracht mijn geloof om hen te bewaken, niet om de beelden te beschermen." (Dit is beledigend voor Hindoes die beelden als heilig beschouwen).
Standaard AI: Zou kunnen zeggen: "Dit is gewoon een mening, het is prima."
Mod-Guide (met de Bibliotheek): De AI zoekt de uitleg op van de leden van de Hindoeïstische gemeenschap. De AI ziet dat beelden voor hen een brug naar God zijn, en niet slechts standbeelden.
Het Resultaat: Mod-Guide vertelt de gebruiker: "Deze opmerking kan kwetsend zijn omdat het de heilige aard van beelden voor veel mensen negeert. Hier is hoe je het zou kunnen herformuleren om respectvoller te zijn."

Wat Zij Vonden

De onderzoekers testten Mod-Guide tegen de standaard AI en ontdekten:

Het Verandert de Output: Wanneer de AI de "Gemeenschapsbibliotheek" (RAG) gebruikt, zijn de antwoorden van de AI totaal anders dan die van de standaard AI. Het wordt veel gevoeliger voor culturele nuances.
Het is Nauwkeuriger: Experts uit de minderheidsgemeenschappen beoordeelden de antwoorden. Zij zeiden dat de standaard AI vaak "oppervlakkig" was of de plank missloeg. De antwoorden van Mod-Guide waren dieper en feitelijk nauwkeuriger met betrekking tot hun cultuur.
Wie vindt het prettig?
- Etniciteit Maakt Verschil: Mensen uit de inheemse (Chakma) minderheid vonden de feedback veel nuttiger dan mensen uit de Meerderheid.
- Religie Maakte Minder Uit: Interessant genoeg maakte het voor het nut van het hulpmiddel niet uit of iemand Hindoe of Moslim was; het ging meer om hun etnische achtergrond.
- De "Docent" en "Bemiddelaar" Hoeden: De feedback was het meest nuttig wanneer de AI zich als een docent of bemiddelaar gedroeg, in plaats van als een strikte rechter.

De Beperkingen (De Addertjes onder het Gras)

De auteurs zijn eerlijk over wat dit hulpmiddel nog niet kan:

Het is Klein: De "Bibliotheek" die zij hebben gebouwd is klein (132 voorbeelden). Het is alsoast een woordenboek met slechts enkele pagina's. Het werkt goed voor de specifieke groepen die zij hebben bestudeerd, maar het zal mogelijk niet elke mogelijke belediging of elke andere minderheidsgroep ter wereld dekken.
Het is Geen Magie: De tool heeft nog steeds menselijk toezicht nodig. Het kan menselijk oordeel niet volledig vervangen, vooral niet voor zeer complexe of visuele inhoud (zoals afbeeldingen met tekst).
Specifiek voor Bangladesh: De bevindingen zijn specifiek voor de Hindoeïstische en Chakma-gemeenschappen in Bangladesh. Het lost problemen voor minderheden in andere landen niet automatisch op, hoewel de methode gekopieerd kan worden.

De Belangrijkste Conclusie

Dit artikel betoogt dat we, om het internet eerlijk te maken, niet alleen kunnen vertrouwen op grote, algemene AI-modellen. We moeten lokale, gemeenschapsspecifieke kennisbibliotheken bouwen.

Door de AI een "woordenboek" te geven dat geschreven is door de mensen die daadwerkelijk gekwetst worden, kunnen we de AI helpen het verschil te begrijpen tussen een onschuldige opmerking en een diep beledigende opmerking. Het gaat over de verschuiving van bestraffing (mensen verbannen) naar herstelgericht rechtvaardigheid (mensen helpen elkaar te begrijpen en de relatie te herstellen).

Kortom: Mod-Guide is een hulpmiddel dat AI leert om te luisteren naar de mensen die het moet beschermen, in plaats van simpelweg te gokken wat zij nodig hebben.

Technische Samenvatting: Mod-Guide

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet voor contentmoderatie, maar ze weerspiegelen en versterken vaak de culturele normen van de meerderheid, waardoor ze er niet in slagen "ongevoelige spraak" te herkennen die gericht is tegen historisch ondervertegenwoordigde gemeenschappen. In tegen tegenstelling tot expliciete haatzaaiende taal, werkt ongevoelige spraak via impliciete uitwissing, misrepresentatie en normatieve inkadering die de culturele, religieuze en epistemische waarden van minderheidsgroepen negeert. Dit creëert een "hermeneutisch onrecht" waarbij minderheidsgemeenschappen niet beschikken over de conceptuele middelen binnen mainstream moderatiesystemen om hun ervaringen van schade te laten erkennen. Het paper richt zich op Bangladesh, specifiek op de hindoeïstische (religieuze minderheid) en Chakma (inheemse etnische minderheid) gemeenschappen, waar dergelijke linguïstische verwondingen wijdverbreid zijn maar vaak over het hoofd worden gezien door geautomatiseerde systemen die getraind zijn op perspectieven van de meerderheid.

Methodologie
Het onderzoek maakt gebruik van een mixed-method aanpak bestaande uit drie primaire stadia:

Corpusconstructie via Asynchrone Remote Communities (ARC):
- De auteurs werkten samen met 22 leden van de hindoeïstische en Chakma gemeenschappen om een dataset samen te stellen van 132 instanties van cultureel ongevoelige spraak.
- Via geheime Facebook- en WhatsApp-groepen deelden deelnemers voorbeelden van tekst, afbeeldingen en video's die zij kwetsend vonden, inclusief gedetailleerde verklaringen geworteld in religieuze teksten, orale geschiedenissen, culturele rituelen en geleefde ervaringen.
- Dit corpus werd vertaald en gestandaardiseerd naar het Bengaals, waardoor een door de gemeenschap gebaseerde kennisbasis ontstond die de interpretatieve kaders (hermeneutiek) van de minderheid vastlegt in plaats van de aannames van de meerderheid.
Systeemontwikkeling (Mod-Guide):
- De auteurs hebben Mod-Guide ontwikkeld, een LLM-gebaseerd feedbacksysteem dat gebruikmaakt van Retrieval-Augmented Generation (RAG) met OpenAI's GPT-4.
- Pipeline: Het systeem gebruikt een vector store met embeddings van het door de gemeenschap samengestelde corpus. Wanneer een gebruiker tekst invoert, voert het systeem een gelijkeniszoekopdracht uit om relevante verklaringen uit de gemeenschap op te halen.
- Persona Prompting: De LLM wordt geprompt om vijf verschillende moderatie-persona's aan te nemen (Docent, Bemiddelaar, Rechter, Vertegenwoordiger, Beschermer) gebaseerd op de metaforen van Seering et al. voor moderatie.
- Configuratie: De studie vergelijkt twee configuraties: (a) GPT-4 met standaard prompting zonder externe context, en (b) GPT-4 versterkt met RAG, waarbij reacties worden gegrond in de opgehaalde verklaringen van de gemeenschap.
Evaluatie:
- Kwantitatieve Tekstanalyse: BERTScore en de Euclidische afstand van tekst-embeddings werden gebruikt om de divergentie te meten tussen de door de standalone LLM gegenereerde reacties en het door RAG versterkte systeem over verschillende persona's.
- Feitelijke Nauwkeurigheid: Twee domeinexperts (één uit elke minderheidsgemeenschap) evalueerden de feitelijke nauwkeurigheid en nuance van 10 willekeurig geselecteerde reacties van beide configuraties.
- Gebruikersstudie: Een studie met 15 deelnemers (uit zowel de meerderheid als de minderheid) beoordeelde de ervaren bruikbaarheid van de feedback, waarbij de invloed van demografische achtergrond en moderatie-persona werd geanalyseerd.

Belangrijkste Bijdragen

Datasetbijdrage: Een gecureerd, geannoteerd corpus van cultureel ongevoelige spraak in het Bengaals, specifiek geworteld in de perspectieven van de hindoeïstische en Chakma gemeenschappen. Deze dataset bevat niet alleen de spraakhandelingen zelf, maar ook de rationale van de gemeenschap waarom deze schadelijk zijn.
Artefactbijdrage: Het ontwerp en de evaluatie van Mod-Guide, een feedbacksysteem dat perspectieven van minderheden integreert in LLM-moderatieworkflows via RAG.
Methodologische Bijdrage: Het demonstreren van hoe RAG kan worden gebruikt om "hermeneutische inclusie" te operationaliseren, waardoor LLM's toegang krijgen tot en gebruik kunnen maken van epistemisch gemarginaliseerde kennis zonder dat daarvoor fine-tuning of onomkeerbare gewichtsupdates nodig zijn.

Resultaten

Tekstuele Verschillen: Statistische analyse (Wilcoxon signed-rank tests) toonde een significant verschil ( $p = 3.3 \times 10^{-54}$ ) aan tussen de tekst gegenereerd door de standalone GPT-4 en het door RAG versterkte systeem. Het RAG-systeem produceerde reacties die contextueel verschillend waren en geworteld in de opgehaalde narratieven van de gemeenschap.
Feitelijke Nauwkeurigheid: De expert-evaluatie gaf aan dat hoewel de standalone GPT-4 reacties vaak in algemene zin feitelijk correct waren, ze een gebrek aan diepgang en nuance vertoonden. De door RAG versterkte reacties boden een nauwkeurigere theologische en culturele context (bijv. het uitleggen van de rol van beelden in het hindoeïsme of de specifieke gevoeligheden rond de term "upojati"). Het systeem had echter nog steeds moeite met bepaalde kwesties, zoals het identificeren van vulgaire straattaal gericht tegen inheemse vrouwen in specifieke beeldcontexten.
Ervaren Bruikbaarheid: De studie vond een statistisch significante relatie ( $p = 0.0104$ ) tussen de etniciteit van een deelnemer en hun perceptie van welke moderatie-persona het meest nuttig was. Minderheidsdeelnemers hadden de neiging voorkeur te geven aan persona's die nadruk leggen op bescherming en belangenbehartiging. Er werd geen significante relatie gevonden tussen religie en de voorkeur voor een persona.

Betekenis en Claims
Het paper claimt dat Mod-Guide de velden van Human-Computer Interaction (HCI), AI-ethiek en social computing vooruit helpt door te focussen op herstelgericht rechtvaardigheid en hermeneutische inclusie in de vormgeving van contentmoderatie.

Epistemische Rechtvaardigheid: Het werk betoogt dat kleine, door gemeenschappen samengestelde datasets niet moeten worden afgedaan als "prototype-gebaseerde categorieën", maar juist als essentiële bronnen om "ideocide" (de vernietiging van gemarginaliseerde epistemische kaders) in AI-systemen tegen te gaan.
Herstelgerichte Aanpak: Door de moderatie-metafoor te verschuiven van straf naar educatie en dialoog (via persona's zoals "Docent" of "Bemiddelaar"), beoogt het systeem de epistemische schade te herstellen en intercultureel begrip te bevorderen in plaats van simpelweg inhoud te verwijderen.
Verklaarbaarheid: De auteurs pleiten voor RAG boven fine-tuning in deze context, omdat het meer transparantie en traceerbaarheid biedt, waardoor moderatiebeslissingen geaudit kunnen worden tegen specifieke door de gemeenschap verstrekte rationales.

De auteurs concluderen dat hoewel hun systeem potentie toont om LLM's gevoeliger te maken voor pluralistische normen, er uitdagingen blijven bestaan wat betreft de schaalbaarheid, de diversiteit van het corpus en het risico op het essentialiseren van minderheidsidentiteiten. Ze benadrukken dat dergelijke systemen adaptief moeten blijven aan voortdurende participatieve vormgeving en kritiek.