💬 NLP

Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

Dit artikel introduceert een door de gemeenschap gedreven multi-agent framework dat een centrale Moderator Agent en dynamisch geconstrueerde Community Agents benut om de sociaal-culturele context te integreren, waardoor zowel de nauwkeurigheid als de eerlijkheid van impliciete haatspraakdetectie aanzienlijk wordt verbeterd in vergelijking met bestaande prompting-methoden op de ToxiGen-dataset.

Oorspronkelijke auteurs: Ewelina Gajewska, Katarzyna Budzynska, Jarosław A Chudziak

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ewelina Gajewska, Katarzyna Budzynska, Jarosław A Chudziak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantisch, bruisend dorpsplein. Op dit plein schreeuwen mensen constant boodschappen naar elkaar. De meeste zijn vriendelijk, maar sommigen proberen anderen te kwetsen met sluipende, gecodeerde taal die aan de oppervlakte onschuldig klinkt, maar eigenlijk vol haat zit.

Het probleem is dat de "beveiligingsbewakers" (de computerprogramma's die momenteel deze berichten modereren) vaak te letterlijk zijn. Het zijn als bewakers die mensen alleen arresteren als ze expliciete scheldwoorden schreeuwen. Als iemand een subtiele grap of een historische verwijzing gebruikt om een groep te beledigen, missen de bewakers dit. Ze zijn zo bang om per ongeluk onschuldige mensen te arresteren (vals positieven), dat ze veel werkelijke pestkoppen vrijuit laten gaan (vals negatieven).

Dit is hoe de onderzoekers van de Warsaw University of Technology voorstelden dit op te lossen, met behulp van een "community-gestuurd" team van AI-agenten.

De oude manier: De eenzame wolf-bewaker

Momenteel gebruiken de meeste systemen één enkele AI (zoals een eenzame beveiligingsbewaker) om een bericht te lezen en te beslissen of het haatzaaiende taal is. Om deze bewaker slimmer te maken, hebben onderzoekers geprobeerd het verschillende "instructiehandleidingen" (prompts) te geven:

Zero-shot: Alleen tegen de bewaker zeggen: "Is dit haat?"
Few-shot: De bewaker eerst een paar voorbeelden van haatdragende taal laten zien.
Chain-of-Thought: De bewaker vragen om "hardop na te denken" stap voor stap voordat hij een beslissing neemt.

Het onderzoek toonde aan dat hoewel deze methoden een beetje helpen, de eenzame bewaker nog steeds worstelt met de lastige, gecodeerde taal. Ze missen de haat vaak omdat ze de specifieke culturele context missen om de grap te begrijpen.

De nieuwe manier: De "Consultatieve Dorpsvergadering"

De auteurs stellen een nieuw systeem voor dat minder lijkt op een eenzame bewaker en meer op een Dorpsvergadering.

De Moderator Agent (De Hoofdbewaker): Deze AI leest eerst het bericht. Als het bericht overduidelijk haatdragend of overduidelijk onschuldig is, neemt hij een snelle beslissing.
Het "Onzekerheidsmoment": Als het bericht lastig, vaag of gecodeerd is, drukt de Hoofdbewaker op de "Pauze"-knop. Hij geeft toe: "Ik weet het niet zeker over deze."
De Community Agents (De Buurtexperts): Dit is het magische deel. In plaats van te gokken, roept het systeem automatisch een team van Community Agents op.
- Stel je een bericht voor dat een specifieke groep aanvalt (bijv. een subtiele grap over Aziaten). Het systeem roept direct een "Aziatische Community Agent" op.
- Hoe weten ze wat ze moeten zeggen? Deze agenten raden niet zomaar wat. Ze zijn gebouwd door het systeem echte, feitelijke informatie uit Wikipedia te laten halen over de geschiedenis, cultuur en strijd van die specifieke groep.
- Analogie: Het is alsof de Hoofdbewaker een lokale historicus vraagt: "Hé, ik zie deze uitdrukking. Heeft dit een verborgen betekenis in de geschiedenis van jouw gemeenschap?"
Het Eindvonnis: De Hoofdbewaker luistert naar het advies van de expert, combineert dit met zijn eigen visie en neemt een veel slimmere uiteindelijke beslissing.

Waarom dit ertoe doet (De resultaten)

De onderzoekers testten dit systeem op een dataset genaamd ToxiGen, die vol staat met deze lastige, impliciete voorbeelden van haatdragende taal gericht tegen groepen zoals zwarte mensen, Aziaten, moslims, Joden, vrouwen en de LGBTQ+-gemeenschap.

Dit is wat er gebeurde:

Betere detectie: Het nieuwe systeem ving aanzienlijk meer werkelijke haatspraak op dan de oude "eenzame bewaker"-methoden. Het gokte niet alleen; het begreep de context.
Eerlijkheid: De oude systemen waren erg goed in het zeggen "Dit is veilig" (True Negative), maar slecht in het zeggen "Dit is haat" (True Positive). Het nieuwe systeem bracht dit in evenwicht. Het werd veel beter in het opsporen van de haat zonder onbedoeld onschuldige mensen te straffen.
De "Ablatie"-test: De onderzoekers probeerden het systeem te draaien zonder de Community Agents (alleen de Hoofdbeler). De prestaties daalden drastisch, wat bewees dat de "expertconsultatie" de sleutel tot het succes was.

Een voorbeeld uit de praktijk uit het artikel

Het artikel geeft een goed voorbeeld van waarom dit werkt:

Het Bericht: "Als je onlangs in de bioscoop bent geweest, zul je merken dat de meeste mensen bij de snackbar en de schoonmaak Aziatisch zijn."
De Oude Bewaker: Zou kunnen denken: "Dat is gewoon een observatie. Geen haatwoorden. Veilig."
Het Nieuwe Systeem: De "Aziatische Community Agent" (gewapend met kennis over historische stereotypen) herkent dit als een subtiele versterking van het idee dat Aziaten alleen geschikt zijn voor servicebanen. Het markeert het als haatspraak omdat het de sociale context begrijpt, niet alleen de woorden.

De kern van het verhaal

Dit artikel beweert niet alle problemen van het internet op te lossen, maar biedt een specifieke, praktische upgrade voor hoe we verborgen haat detecteren. Door een systeem te bouwen dat om hulp vraagt aan "digitale gemeenschapsexperts" die de specifieke geschiedenis en cultuur van de mensen die het doelwit zijn begrijpen, kunnen we online ruimtes veiliger en eerlijker maken. Het transformeert AI van een rigide regelvolger naar een doordachte, contextbewuste deelnemer.

Technische Samenvatting: Verbeteren van de Detectie van Impliciete Haatspraak via een Door de Gemeenschap Gedreven Multi-Agent Framework

Probleemstelling
De proliferatie van schadelijke online inhoud vormt een significante bedreiging voor inclusieve digitale omgevingen. Hoewel geautomatiseerde moderatiesystemen die gebruikmaken van Large Language Models (LLMs) en Transformer-architecturen de algehele classificatienauwkeurigheid hebben verbeterd, worstelen zij met eerlijkheid en de detectie van impliciete haatspraak. Huidige systemen vertonen vaak een conservatieve bias: ze behalen hoge True Negative Rates (TNR) door ongekwalificeerde inhoud correct te identificeren, maar lijden aan lage True Positive Rates (TPR), waarbij ze subtiele, gecodeerde of contextafhankelijke haatspraak niet detecteren. Deze onbalans schaadt gemarginaliseerde gemeenschappen onevenredig veel. Bovendien is haatspraak een inherent sociale en contextuele construct; de interpretatie ervan hangt zwaar af van de betrokken identiteiten. Bestaande geautomatiseerde benaderingen, die vaak de dominante standpunten uit hun trainingsdata belichamen, slagen er niet in om minderheidsperspectieven systematisch te integreren, wat leidt tot misclassificaties die het vertrouwen in moderatie-inspanningen ondermijnen.

Methodologie
De auteurs stellen een gecontextualiseerd detectieframework voor, geïmplementeerd als een multi-agent systeem. De architectuur bestaat uit twee primaire componenten die opereren binnen de AutoGen-bibliotheek met behulp van het Gemini-2.5-Flash LLM:

Moderator Agent: Een centrale agent die verantwoordelijk is voor de initiële semantische en contextuele evaluatie van sociale mediaberichten. Het opereert volgens robuuste moderatiebeleid en produceert een initiële classificatie (Haat/Geen Haat/Onzeker), een rechtvaardiging en een meta-cognitieve vlag die aangeeft of deskundig overleg nodig is.
Community Agents: Gespecialiseerde agents die specifieke sociaal-culturele groepen vertegenwoordigen die het doelwit zijn van haatspraak. Deze agents fungeren als deskundige adviseurs.
- Constructie: Wanneer een doelgroep wordt geïdentificeerd, genereert het systeem automatisch zoekopdrachten om achtergrondinformatie op te halen uit de Wikipedia-kennisbank. Deze feitelijke data worden gecodeerd in token-embeddings met behulp van een Transformer-encoder. Een community agent-embedding wordt vervolgens afgeleid via cross-attention tussen de groepsvraag en de opgehaalde tekst, waardoor de "persona" van de agent geworteld is in een publieke, feitelijke sociaal-culturele context in plaats van in gehallucineerde biases.
- Workflow: Het proces volgt een procedure in drie fasen:
  1. Voorlopige Beoordeling: De Moderator analyseert het bericht.
  2. Conditioneel Overleg: Indien de Moderator onzeker is (binnen gedefinieerde onzekerheidsgrenzen), activeert het een gerichte consultatie met de relevante Community Agent.
  3. Besluitvormingssynthese: De Moderator integreert de inzichten van de Community Agent met de initiële beoordeling om tot een definitieve, geïnformeerde classificatie en rechtvaardiging te komen.

Het systeem werd geëvalueerd op de ToxiGen-dataset, die specifiek is ontworpen om moderatiesystemen uit te dagen met impliciete toxiciteit (meer dan 98% van de toxische voorbeelden is subtiel). De studie richtte zich op zes doelgroepen: zwarte mensen, Aziaten, Joodse mensen, Moslims, vrouwen en de LGBTQ-gemeenschap.

Belangrijkste Bijdragen

Multi-Agent Framework: Het artikel introduceert een nieuw, door de gemeenschap gedreven detectieframework voor impliciete haatspraak dat eerlijkheidsprincipes operationaliseert door gespecialiseerde Community Agents te integreren die de doelwitdemografische groepen vertegenwoordigen.
Contextuele Integratie: In tegenstelling tot standaard prompting-methoden, integreert deze benadering expliciet de sociaal-culturele context uit publiekelijk beschikbare kennisbronnen (Wikipedia) om identiteitsbewuste moderatie mogelijk te maken.
Evaluatierigor: De studie verbetert de technische evaluatie door prioriteit te geven aan Balanced Accuracy (bACC) als centrale metriek. Deze metriek weegt de True Positive Rates (TPR) en de True Negative Rates (TNR) even zwaar, waarmee de trade-off tussen het detecteren van haat en het vermijden van de onderdrukking van legitieme spraak wordt geadresseerd.

Resultaten
Experimentele resultaten op de ToxiGen-dataset tonen aan dat het voorgestelde multi-agent framework de state-of-the-art prompting-baselines (Zero-shot, Few-shot en Chain-of-Thought prompting) en een geablateerde versie van het systeem zonder Community Agents aanzienlijk overtreft.

Prestatie-metrieken: De Agentic benadering behaalde een gemiddelde TPR van 0,75, wat aanzienlijk hoger is dan de baselines (variërend van 0,42 tot 0,59). Het behield een hoge TNR (0,969), wat resulteerde in een superieure gemiddelde Balanced Accuracy (bACC) van 0,86 vergeleken met 0,774 voor Chain-of-Thought prompting.
Eerlijkheid: Het framework verbeterde de detectie-eerlijkheid over alle doelgroepen heen. De ablatie-studie toonde aan dat zonder consultatie van de Community Agent de prestaties significant daalden, met name voor gemarginaliseerde groepen zoals LGBTQ-personen en vrouwen, waar de Moderator alleen moeite had om impliciete haat te detecteren.
Statistische Significantie: Verschillen in prestaties tussen de Agentic benadering en andere methoden bleken statistisch significant ( $p < 0,001$ ).

Betekenis en Claims
De auteurs beweren dat dit werk een praktische vooruitgang is in agent-gebaseerde kunstmatige intelligentie voor contentmoderatie. Door verder te gaan dan tekst-centrische en model-centrische verbeteringen, adresseert het framework de fundamentele beperking van huidige systemen: het gebrek aan expliciete mechanismen om de rijke sociale en culturele contexten te integreren die de vorm geven aan impliciete haatspraak.

De studie stelt dat een door de gemeenschap gedreven, consultatieve vormgeving significante voordelen biedt voor zowel detectie-nauwkeurigheid als moderatie-eerlijkheid. Het demonstreert dat het opnemen van "expert-in-the-loop" governance via gesimuleerde community-agents het systeem in staat stelt om gecodeerde taal en historische verwijzingen beter te interpreteren, waardoor meer accurate en sociaal afgestemde moderatiebeslissingen worden genomen. Het werk positioneert zichzelf als een stap naar meer adaptieve en sociaal gevoelige moderatiepraktijken die de geleefde ervaringen van doelgroepen weerspiegelen.