🤖 machine learning

Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive

Oorspronkelijke auteurs: Tharindu Cyril Weerasooriya, Sujan Dutta, Tharindu Ranasinghe, Marcos Zampieri, Christopher M. Homan, Ashiqur R. KhudaBukhsh

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tharindu Cyril Weerasooriya, Sujan Dutta, Tharindu Ranasinghe, Marcos Zampieri, Christopher M. Homan, Ashiqur R. KhudaBukhsh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de scheidsrechter bent bij een enorme, chaotische sportwedstrijd waarbij het publiek commentaar naar de spelers roept. Jouw taak is om te beslissen welke opmerkingen "beledigend" zijn en gemeld moeten worden.

Dit artikel is als een rapportcijfer voor twee soorten scheidsrechters: Robots (computeralgoritmen) en Mensen (echte mensen met verschillende politieke opvattingen). De onderzoekers wilden zien of deze scheidsrechters het met elkaar eens zijn over wat een belediging vormt, vooral wanneer het spel over de Amerikaanse politiek gaat.

Hier is de uitslag van hun bevindingen, gebruikmakend van eenvoudige analogieën:

1. De Robot-scheidsrechters kunnen de regels niet eens worden

De onderzoekers testten negen verschillende computerprogramma's (de "Machine Moderatoren") op meer dan 3 miljoen reacties van YouTube-nieuwszenders.

De Analogie: Stel je negen verschillende scheidsrechters voor die naar dezelfde actie kijken. De één blaast op de fluit voor een overtreding, een ander zegt "geen overtreding", en een derde zegt: "Nou, het is een overtreding, maar alleen als je blauwe schoenen draagt."
De Bevinding: De robots waren het fundamenteel oneens. Soms werd een reactie als beledigend gemarkeerd door slechts één robot en genegeerd door de andere acht. Sterker nog, bijna de helft van de reacties werd door alle robots genegeerd, terwijl een klein deel door alle robots werd gemarkeerd. Dit betekent dat er geen enkele "robot-waarheid" bestaat over wat beledigend is.

2. De Menselijke scheidsrechters hebben verschillende regelboeken

De onderzoekers vroegen vervolgens aan echte mensen (Democraten, Republikeinen en Onafhankelijken) om dezelfde reacties te beoordelen. Ze stelden twee vragen:

Persoonlijke Belediging: "Hurt deze reactie jouw gevoelens?"
Vicariante Belediging: "Denk je dat deze reactie de gevoelens van iemand van het andere politieke team zou kwetsen?"

De Analogie: Het is also[t] een fan van Team A vragen: "Is deze belediging kwetsend voor jou?" en hem vervolgens vragen: "Denk je dat een fan van Team B gekwetst zou zijn door dit?"
De Bevinding:
- Mensen zijn meer met elkaar eens dan met robots: Democraten, Republikeinen en Onafhankelijken begrepen elkaar over het algemeen beter dan de robots dat deden.
- De "Empathiekloof": Mensen waren echter slecht in het raden wat de andere kant beledigend zou vinden.
- De Republikeinse Blinde Vlek: De studie toonde aan dat Republikeinen het slechtst waren in het voorspellen wat Democraten of Onafhankelijken beledigend zouden vinden. Omgekeerd hadden Democraten en Onafhankelijken ook moeite met het begrijpen van wat Republikeinen daadwerkelijk zou kwetsen. Het is alsof twee groepen mensen tegen elkaar schreeuwen, elk ervan overtuigd dat de ander op het verkeerde volume schreeuwt, terwijl ze in werkelijkheid op volkomen verschillende frequenties schreeuwen.

3. Het experiment met "Vicariante Belediging"

Het artikel introduceert een nieuw concept genaamd Vicariante Belediging (Vicarious Offense).

Het Concept: Meestal geven we alleen om of wij beledigd zijn. Deze studie vroeg: "Kun je jezelf in de schoenen van een ander plaatsen en voorspellen of diegene beledigd zou zijn?"
Het Resultaat: De onderzoekers kwamen tot de conclusie dat mensen verrassend slecht zijn in dit. Zelfs wanneer Democraten en Onafhankelijken het met elkaar eens waren over wat zij denkten dat een Republikein zou beledigen, zaten ze er vaak naast wat betreft wat de Republikein daadwerkelijk kwetste. Ze keken allemaal naar dezelfde reactie, maar zagen verschillende dingen.

4. De "Gevoelige Onderwerpen" Valstrik

De onderzoekers keken naar specifieke gevoelige onderwerpen zoals abortus en wapencontrole.

De Analogie: Als de wedstrijd over algemene sporten gaat, kunnen de scheidsrechters het eens zijn over de regels. Maar als de wedstrijd gaat over een religieus of diep persoonlijk onderwerp, lijken de regels te veranderen afhankelijk van wie de fluit vasthoudt.
De Bevinding: De onenigheid werd nog erger over deze onderwerpen.
- Over wapens waren Republikeinen minder tolerant tegenover beledigende reacties dan Democraten.
- Over abortus waren Democraten minder tolerant dan Republikeinen.
- Onafhankelijken waren over het algemeen de meest tolerante groep; zij waren bereid om meer reacties door te laten gaan dan de twee extremere zijden.

5. Het "Big Tech" Dilemma

Het artikel belicht een verwarrende realiteit voor sociale mediabedrijven:

De Robots: Ze zijn inconsistent. De ene dag verwijderen ze een reactie; de volgende dag laat een andere robot diezelfde reactie staan.
De Mensen: Ze zijn bevooroordeeld door hun politiek. Een Democraat kan een reactie verwijderen die een Republikein prima vindt, en vice versa.
De Conclusie: Er is geen perfecte "Gouden Standaard" voor wat beledigend is. Afhankelijk van wie je het vraagt (een robot, een Democraat of een Republikein), verandert het antwoord volledig.

Samenvatting

Het artikel concludeert dat het reguleren van online spraak ontzettend moeilijk is omdat belediging in de ogen van de toeschouwer ligt.

Robots zijn inconsistent en missen vaak de nuance.
Mensen zijn bevooroordeeld door hun politieke teams en zijn slecht in het raden wat de "andere kant" kwetsend vindt.
Het Resultaat: We zitten vast in een situatie waarin we het niet gemakkelijk eens kunnen worden over wat "beledigend" is, wat het zeer moeilijk maakt om eerlijke systemen te bouwen voor het modereren van online politieke discussies.

De auteurs testten ook een geavanceerde nieuwe AI (ChatGPT) om te zien of deze kon voorspellen wat de andere kant beledigend zou vinden, maar deze worstelde net als de mensen hiermee, wat bewijst dat dit een zeer moeilijk probleem is voor zowel breinen als computers om op te lossen.

Technische Samenvatting: Vicariante Belediging en Ruisaudit van Classifiers voor Beledigende Taal

Probleemstelling

Detectie van beledigende taal is een cruciaal onderdeel van contentmoderatie, maar de definitie van "beledigend" blijft zeer subjectief, wat leidt tot frequente onenigheid tussen menselijke en machine-moderators. Bestaande literatuur heeft de generaliseerbaarheid van detectiesystemen over datasets, adversariële kwetsbaarheden en geografische vooroordelen onderzocht, maar mist uitgebreide, in-the-wild evaluaties van de resultaten van filtering op grootschalige, real-world politieke discours. Bovendien houden huidige benaderingen vaak geen rekening met het fenomeen van vicariante belediging (vicarious offense)—het vermogen van een individu om te voorspellen hoe een persoon met een andere politieke voorkeur een specifiek stuk content zal ervaren. Deze studie adresseert de kloof in het begrip van de mate van onenigheid onder machine-moderators en de beperkingen van menselijke moderators in het voorspellen van cross-partijdige percepties van belediging.

Methodologie

1. Ruisaudit van Machine-moderators

De auteurs voerden een grootschalige ruisaudit uit om de variabiliteit in uitkomsten tussen verschillende beslissingssystemen te meten, geïnspireerd door Kahneman et al.'s concept van "ruis" in menselijk oordeel.

Dataset: Een enorme dataset bestaande uit meer dan 92 miljoen reacties van 241.112 nieuwsvideo's op de officiële YouTube-kanalen van CNN, Fox News en MSNBC (2014–2022). Een willekeurige steekproef van 3 miljoen reacties werd gebruikt voor de audit.
Machine-moderators (MM's): Negen verschillende modellen voor identificatie van beledigende taal werden geëvalueerd:
- Acht modellen getraind op bekende datasets (AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC) met behulp van BERT-LARGE-CASED architecturen.
- Eén publiekelijk beschikbare model, Detoxify (ROBERTA-BASE), getraind op Jigsaw's Unintended Bias dataset.
Metriek: De studie kwantificeerde het paargewijze akkoord met behulp van Cohen's $\kappa$ en het algemene akkoord met behulp van Fleiss' $\kappa$ om de consistentie van "beledigend" versus "niet beledigend" classificaties te bepalen.

2. Menselijke Annotatie en Vicariante Beledigingsstudie

Om de machine-audit aan te vullen, introduceerden de auteurs een nieuw annotatiekader dat draait om vicariante belediging.

Datasetconstructie: Een representatieve subset van 2.310 sociale webberichten werd gecreëerd, gestratificeerd naar machine-moderator onenigheid (makkelijke, betwiste en beledigende subsets) en onderwerp (algemeen, wapencontrole, reproductieve rechten).
Annotatoren: 753 unieke menselijke annotatoren geworven via Amazon Mechanical Turk, gebalanceerd om representatie te waarborgen van drie politieke identiteiten: Democraten (35%), Republikeinen (35%) en Onafhankelijken (30%).
Annotatietaken: Voor elk bericht beantwoordden annotatoren twee soorten vragen:
1. Persoonlijke (Eerste-persoons) Belediging: "Vindt u dit beledigend?"
2. Vicariante (Tweede-persoons) Belediging: "Denkt u dat een persoon met een andere politieke identiteit (bijv. een Republikein) dit beledigend zou vinden?"
LLM Baseline: De studie maakte ook gebruik van de ChatGPT API (GPT-3.5-turbo) om vicariante belediging te voorspellen, waarbij het model werd gepromptt om te fungeren als een specifiek lid van een politieke partij die de content van een andere partij evalueert.

Belangrijkste Bijdragen

Ongekende Ruisaudit: Het artikel presenteert een uitgebreide ruisaudit die een significante variabiliteit in contentmoderatie-uitkomsten laat zien tussen negen verschillende machine-moderators op real-world politieke data.
VOICED Dataset: De release van de VOICED (Vicarious Offense Identification Corpus for Estimating Disagreements) dataset. Dit is de eerste dataset van dit type waarbij annotatoren zowel eerste-persoons als vicariante belediging labelen, met dekking voor Democraten, Republikeinen en Onafhankelijken.
Vicariant Beledigingskader: De introductie van een nieuw perspectief op belediging dat verder gaat dan individuele subjectiviteit om te analyseren hoe goed politieke groepen de gevoeligheden van tegenovergestelde groepen begrijpen.
Mens-Machine Alignement Analyse: Een gedetailleerde analyse van de alignering (en misalignering) tussen menselijke moderators van verschillende politieke neigingen en machine-classifiers, inclusief het gebruik van LLM's als vicariante voorspellers.

Resultaten

Machine-moderator Onenigheid

Lage Consensus: Er is uitgebreide onenigheid tussen machine-moderators. Geen enkel paar modellen vertoonde substantieel akkoord ( $\kappa \ge 0,81$ ). Slechts een handvol vertoonde een matig akkoord ( $0,41 \le \kappa \le 0,60$ ).
Algemene Ruis: De totale Fleiss' $\kappa$ over de drie nieuwsnetwerken was laag (0,27, 0,25 en 0,22), wat aangeeft dat moderatie-uitkomsten sterk variëren afhankelijk van de specifieke classifier die wordt ingezet.
Volatiele Content: Bijna de helft van de content werd door geen enkele machine-moderator gemarkeerd, terwijl een minuscuul fractie (0,03%) door alle modellen werd gemarkeerd. Een aanzienlijk deel (10,1%) viel in een "betwiste zone" waar precies de helft van de modellen de content markeerde, wat moderatie-uitkomsten zeer volatiel maakt.

Menselijke Moderator Onenigheid en Vicariante Belediging

Eerste-persoons Akkoord: Menselijke-menselijke overeenstemming was over het algemeen hoger dan mens-machine overeenstemming, hoewel deze nog steeds slechts matig was (bijv. $\kappa = 0,43$ tussen Onafhankelijken en Democraten). Democraten en Onafhankelijken waren het meest op één lijn.
Falen van Vicariante Voorspelling: Menselijke moderators hadden moeite om accuraat te voorspellen hoe tegengestelde politieke groepen belediging zouden ervaren.
- Republikeinen waren de slechtste voorspellers van vicariante belediging voor zowel Democraten als Onafhankelijken.
- Democraten en Onafhankelijken konden elkaars belediging redelijk goed voorspellen, maar hadden moeite om te voorspellen wat Republikeinen beledigend zouden vinden.
- De "Consistentieval": Een pool van moderators bestaande uit enkel Democraten en Onafhankelijken kan een hoge consistentie vertonen in het voorspellen van wat Republikeinen beledigend vinden, maar deze voorspelling kan fundamenteel onjuist zijn met betrekking tot wat Republikeinen daadwerkelijk beledigend vinden.

Mens versus Machine Alignement

Politieke Alignering: Hoewel alle politieke groepen een vergelijkbaar akkoord vertoonden met machines over wat wel beledigend is, stemden Republikeinen iets meer overeen met machines over wat niet beledigend is.
Contextuele Nuance: Mensen toonden een vermogen om belediging te detecteren op basis van context en doelwitten (bijv. denigrerende opmerkingen over Caitlyn Jenner) die machine-moderators misten. Omgekeerd markeerden mensen soms content als beledigend op basis van politiek meningsverschil in plaats van toxiciteit, terwijl machines vaak vertrouwden op krachttermen.
Gevoelige Onderwerpen: Onenigheid verslechterde aanzienlijk bij gevoelige onderwerpen zoals wapencontrole en reproductieve rechten. Bij deze onderwerpen daalde de mens-machine overeenstemming substantieel, en sommige moderator-paren bereikten negatieve Cohen's $\kappa$ -waarden, wat wijst op systematische onenigheid.

LLM Prestaties

De ChatGPT API (GPT-3.5) die als vicariante voorspeller werd gebruikt, vertoonde overeenkomstpatronen die meer leken op de machine-moderators dan op de menselijke meerderheid. Het stemde minder overeen met menselijke moderators en meer met de machine-meerderheid, wat de moeilijkheid benadrukt waarmee LLM's te maken hebben bij het modelleren van genuanceerde menselijke politieke subjectiviteit.

Betekenis en Claims

Het artikel beweert een nieuw terrein te betreden door de "ruis" in contentmoderatie op een ongekende schaal te kwantificeren en door het concept van vicariante belediging te introduceren. De auteurs stellen dat:

Subjectiviteit is Fundamenteel: In hoog gepolariseerd politiek discours kan er in de praktijk vrijwel geen overeenstemming zijn tussen annotatorengroepen, wat leidt tot "alternatieve feiten" over wat beledigende content vormt.
Beperkingen van Huidige Systemen: Huidige machine-moderators en zelfs Large Language Models falen in het voorspellen van hoe verschillende politieke groepen belediging ervaren, wat suggereert dat een enkele "gouden standaard" label vaak onvoldoende of misleidend is.
Democratie en Vertrouwen: De studie benadrukt het eroderende vertrouwen in de democratie, waarbij wordt opgemerkt dat verschillende politieke groepen uiteenlopende opvattingen hebben over de eerlijkheid van verkiezingen en de tolerantie van beledigende taal, wat de rol van sociale mediaplatforms bij het modereren van het discours bemoeilijkt.

De auteurs positioneren hun werk als primair beschrijvend, met als doel "de cirkel te sluiten" in het begrijpen van de uitdagingen van beledigende contentmoderatie vanuit zowel machine- als menselijk perspectief, en om een bron (VOICED) te bieden voor het ontwikkelen van robuustere, meerperspectivische modelleringssystemen. Ze stellen expliciet dat hun bevindingen suggereren dat contentmoderatie een genuanceerd onderwerp is waarbij tolerantieniveaus variëren per onderwerp en politieke identiteit, en dat huidige systemen niet in staat zijn om met deze complexiteit om te gaan zonder menselijk toezicht of meer geavanceerde modellering van politieke subjectiviteit.