💬 NLP

Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

Dit artikel betoogt dat de standaardpraktijk van het reduceren van annotator-discrepantie tot meerderheidsstem-labels een structurele fout creëert in de detectie van haatspraak door betwiste grensgevallen onterecht te certificeren als grondwaarheid, wat ertoe leidt dat modellen een hoge mate van vertrouwen vertonen in fouten die downstream-interventies niet kunnen herstellen.

Oorspronkelijke auteurs: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Wanneer "De Meerderheid" de Minderheid de Stem ontneemt

Stel je voor dat je probeert te beslissen of een grap grappig of gemeen is. Je vraagt een groep van 100 mensen om te stemmen.

51 mensen zeggen: "Het is maar een grap, het is grappig."
49 mensen zeggen: "Het is eigenlijk gemeen en kwetsend."

In de wereld van computerwetenschappen en AI is de standaardregel: "De meerderheid wint." De computer krijgt de instructie: "Oké, 51 mensen zeiden dat het grappig is, dus het is grappig." De computer leert vervolgens dat dit de absolute waarheid is.

Dit artikel betoogt dat deze simpele regel gevaarlijk is. Het behandelt een rommelige, complexe menselijke onenigheid alsof het een duidelijk feit is. De auteurs laten zien dat wanneer je een computer dwingt om te leren van deze "meerderheidsstem", de computer faliekant faalt op precies de berichten waar mensen het meest over twijfelen.

De Setting: De "HateXplain" Dataset

De onderzoekers keken naar een dataset genaamd HateXplain, die sociale mediaberichten bevat die zijn gelabeld door menselijke werkers. De werkers moesten kiezen tussen drie categorieën:

Normaal (onschuldig)
Beledigend (onbeleefd of kwetsend, maar geen haatzaaiende taal)
Haatzaaiende taal (gevaarlijk, gericht tegen een groep)

De onderzoekers ontdekten dat mensen vaak moeite hebben om het verschil te zien tussen Beledigend en Haatzaaiende taal. Het is een vaag gebied, zoals beslissen of een zonsondergang "oranje" of "rood" is.

De Belangrijkste Bevindingen

1. De Onenigheid is niet Willekeurig; het is een "Grensoorlog"

De auteurs ontdekten dat bijna 43% van alle discussies tussen menselijke werkers plaatsvond precies op de grens tussen "Beledigend" en "Haatzaaiende taal".

Analogie: Stel je de grens voor tussen twee landen voor. De meeste mensen zijn het eens over wat er binnen Land A ligt en wat binnen Land B ligt. Maar precies op de grenslijn discussiëren mensen constant.
De claim van het artikel: De data laten zien dat wanneer mensen het oneens zijn, ze niet zomaar willekeurig in de war zijn. Ze vechten specifiek over waar de lijn wordt getrokken tussen "onbeleefd" en "haatzaaiend".

2. Het "Verstummings"-effect

Toen de makers van de dataset de stemmen namen en de winnaar kozen (de meerderheid), hebben ze in feite de minderheid de stem ontnomen.

Als 2 mensen "Haat" zeiden en 1 persoon "Beledigend", leert de computer "Haat".
Als 2 mensen "Beledigend" zeiden en 1 persoon "Haat", leert de computer "Beledigend".
Het resultaat: De computer leert nooit dat er een legitiem debat gaande is. De computer denkt dat het antwoord duidelijk is, zelfs wanneer dat niet zo is.

3. De AI is Zelfverzekerdig Fout

De onderzoekers trainden drie verschillende soorten AI-modellen om te zien of ze dit konden oplossen:

Model A (De Standaard): Leerde van de "Meerderheidsstem"-labels.
Model B (De Zachte Learner): Leerde van de percentages (bijv. "60% zei Haat, 40% zei Beledigend").
Model C (De Individualist): Probeerde te leren wat elke specifieke werker dacht, in plaats van alleen het gemiddelde van de groep.

Het Schokkende Resultaat:

Alle drie de modellen waren erg goed in het labelen van berichten waar mensen het eens waren (ongeveer 80% nauwkeurigheid).
Maar bij de berichten waar mensen het oneens waren (de grensgevallen), faalden alle drie de modellen, met een daling naar ongeveer 55% nauwkeurigheid.
De "Overmoed"-val: Het standaardmodel (Model A) ging deze gevallen niet alleen fout, maar deed dat met een hoge mate van zelfvertrouwen. Het zou zeggen: "Ik ben 71% zeker dat dit Haatzaaiende taal is," terwijl het eigenlijk een rommelig, betwistbaar geval was.
Het "Eerlijke" Model: Model C (de individualist) was minder zelfverzekerd (49%) bij deze fouten. Het was eerlijker over zijn onzekerheid, maar het was nog steeds even onnauwkeurig.

Analogie: Stel je een weerman voor.

Model A kijkt naar een bewolkte dag en zegt: "Het gaat definitief regenen!" (Hoog zelfvertrouwen, maar fout).
Model C kijkt naar dezelfde dag en zegt: "Ik weet het niet zeker, misschien regen, misschien niet." (Laag zelfvertrouwen, maar weet het nog steeds niet).
Het punt: "Eerlijk" zijn over het niet weten helpt niet als het systeem nog steeds de verkeerde beslissing neemt.

Waarom kunnen we de AI niet gewoon repareren?

De onderzoekers probeerden drie verschillende "downstream" oplossingen (het veranderen van hoe de AI leert of hoe deze stemt). Geen van de drie werkte.

De Analogie: Stel je voor dat je een leerling probeert te leren een perfecte cirkel te tekenen. Maar de leraar laat de leerling steeds een afbeelding van een vierkant zien en zegt: "Dit is een cirkel."
- Je kunt de leerling proberen te onderwijzen met een zachtere stem (Soft Labels).
- Je kunt proberen om elk perspectief van elke leraar te tonen (Per-Annotator Heads).
- Maar het maakt niet uit. Als de "Ground Truth" (het antemel) fout is, zal de leerling nooit leren om een cirkel te tekenen.

Het artikel concludeert dat het probleem niet het AI-model is; het probleem is het ontwerp van de annotatie. Je kunt een kapotte fundering niet repareren door de muren te schilderen.

De Voorgestelde Oplossing: Verander de Regels Voordat Je Begint

Omdat het repareren van de AI niet werkte, zeggen de auteurs dat we het menselijke proces moeten aanpassen voordat de AI de data überhaupt ziet. Ze stellen drie veranderingen voor:

Stop met het gebruik van "Ja/Nee" Labels: In plaats van werkers te dwingen te kiezen tussen "Beledigend" of "Haat", geef ze een schaal (zoals 1 tot 5). Dit erkent dat sommige dingen "een beetje beledigend" en "een beetje haatzaaiend" zijn, in plaats van een binaire keuze af te dwingen die discussies creëert.
Markeer de "Grensgevallen": Wanneer de AI een bericht ziet waar hij onzeker over is (lage mate van zelfvertrouwen), moet hij geen definitieve beslissing nemen. Hij moet het markeren voor een menselijke beoordeling.
Betrek de Betrokken Mensen: Het artikel stelt dat de mensen wier inhoud wordt beoordeeld (bijv. specifieerke culturele of minderheidsgroepen) degenen moeten zijn die de labeling doen. Hun definitie van "haat" kan anders zijn dan die van de meerderheid. Als je alleen de meerderheid vraagt, zul je het perspectief van de minderheid altijd missen.

Een Waarschuwing over de Oplossing

De auteurs zijn voorzichtig met een groot ethisch vraagstuk bij punt #3. Het vragen aan leden van gemarginaliseerde gemeenschappen om naar haatzaaiende taal te kijken die op hen gericht is, kan psychologisch schadelijk zijn. Ze beargumenteren dat als we dit doen, we hen goed moeten betalen, mentale ondersteuning moeten bieden en hen de keuze moeten geven om vrijwillig deel te nemen. We mogen de last van moderatie niet zomaar op de mensen afschuiven die de schade ondervinden.

Samenvatting

Het artikel betoogt dat meerderheidsstemmen in AI-training een valstrik is. Het verandert complexe menselijke meningsverschillen in valse "feiten". Dit maakt AI-modellen zelfverzekerd fout op de meest gevoelige onderwerpen. De enige manier om dit op te lossen is niet door een slimmere AI te bouwen, maar door de manier waarop mensen de data labelen in de eerste plaats te veranderen.

Technische Samenvatting: Meerderheidsstemming Verzwijgt Minderheidswaarden

Probleemstelling
Huidige pipelines voor de detectie van haatspraak behandelen het onderscheid tussen "haatspraak" (hate speech) en "beledigende taal" (offensive speech) als een objectief feit, waarbij labels van crowdworkers worden samengevoegd via een meerderheidsstemming om één enkele grondwaarheid (ground truth) te creëren. Dit artikel betoogt dat deze aggregatie niet neutraal is; het zwijgt systematisch de waarden van minderheden door werkelijke onenigheid tussen annotatoren samen te laten vallen in één enkel label. De auteurs stellen dat deze "valse zekerheid" wordt overgenomen door machine learning-modellen, wat leidt tot gevaarlijke faalmodi waarbij systemen zowel onjuist als zeer zelfverzekerd zijn bij cultureel betwiste input. Het kernprobleem is structureel: standaard evaluatiemetrieken en downstream interventies slagen er niet in om de verloren nauwkeurigheid te detecteren of te herstellen wanneer de meerderheidsstemming minderheidsperspectieven bij de grens tussen haat/belediging wegwerpt.

Methodologie
De studie maakt gebruik van de HateXplain dataset, bestaande uit 20.148 berichten die elk door drie crowdworkers zijn geannoteerd met de labels hatespeech, offensive, of normal. De auteurs definiëren "onenigheid" (disagreement) als elk bericht waarbij annotatoren niet unaniem overeenstemden en "grensgevallen" (boundary cases) als onenigheid die uitsluitend plaatsvindt tussen hatespeech en offensive (exclusief normal).

Om de impact van aggregatie te testen, trainden de auteurs drie BERT-base-uncased classifiers van toenemende complexiteit op de testset ( $n=1.892$ ):

Model A (Hard): Getraind op standaard meerderheidsstemming-labels met cross-entropy loss.
Model B (Soft): Getraind op soft labels afgeleid van de ruwe annotatorverdeling (bijv. een 2-1 verdeling levert kansen op van [0,67, 0,0, 0,33]) met KL-divergentie loss.
Model C (Per-Annotator): Een gedeelde encoder met afzonderlijke classificatiekoppen voor elke van de 106 gekwalificeerde annotatoren. Tijdens de inferentie worden de koppen geësembleerd door middel van het middelen van de softmax-kansen.

De auteurs gebruikten statistische analyse (Chi-kwadraat toetsen, Mann-Whitney U-toetsen) om de concentratie van onenigheid, de nauwkeurigheidsverschillen tussen overeenstemmende en niet-overeenstemmende posts en het betrouwbaarheidsniveau van de modellen te meten. Ze analyseerden ook token-niveau rationale-annotaties om onderscheid te maken tussen genuïne drempelonenigheid en annotatie-ruis (misinterpretatie).

Belangrijkste Bijdragen

Concentratie van Onenigheid: De studie kwantificeert dat 42,6% van alle annotator-onenigheid in HateXplain specifiek geconcentreerd is bij de haat/belediging-grens ( $\chi^2 = 135,199, p < 0,0001$ ). Dit is geen willekeurige ruis, maar een structureel patroon waarbij annotatoren verschillende drempels hanteren voor schade. Posts die als beledigend (offensive) worden aangemerkt, vertonen een significant hoger onenigheidspercentage (67,9%) vergeleken met normale posts (35,5%).
De Overeenstemmingskloof (Agreement Gap): Er bestaat een hardnekkige nauwkeurigheidskloof tussen overeenstemmende posts (~~80% nauwkeurigheid) en posts met onenigheid (~~55–58% nauwkeurigheid) over alle modellen heen ( $p < 0,0001$ ). Deze kloof wordt verborgen door standaard algemene nauwkeurigheidsmetrieken.
Falende Downstream Interventies: Drie steeds geavanceerdere downstream interventies (harde labels, soft labels en per-annotator koppen) falen allemaal om de nauwkeurigheid bij de grens te herstellen. Sterker nog, de sterkste baseline (Model C) vergroot de overeenstemmingskloof van 22,2 punten (Model A) naar 28,1 punten, waarbij de nauwkeurigheid van de onenigheid bij offensive posts instort naar 0,245.
Overmatige Zelfverzekerdheid bij Harde Labels: Standaard hard-label modellen (Model A) uiten aanzienlijk hogere zelfverzekerdheid bij fouten in grensgevallen (0,710) vergeleken met per-annotator modellen (Model C, 0,495). Dit geeft aan dat standaard metrieken de fout niet zullen detecteren, omdat het model "fout en zeker" is.

Resultaten

Nauwkeurigheid: Hoewel Model C de hoogste nauwkeurigheid bereikte op overeenstemmende posts (0,826), presteerde het het slechtst op posts met onenigheid (0,545). Geen enkel model herstelde de verloren nauwkeurigheid bij de grens.
Kalibratie: De enige consistente verbetering over de modellen heen was kalibratie. Model C werd gepast onzeker bij grensgevallen (betrouwbaarheid daalde naar 0,495), terwijl Model A onzeker bleef (0,710). Deze toegenomen onzekerheid vertaalde zich echter niet naar correcte voorspellingen.
Annotatiefout versus Drempelonenigheid: Analyse van token-niveau rationales toonde aan dat 73,1% van de verschillende label-paren substantieel overlappende tokens highlightte (Jaccard $\ge 0,3$ ), en dat er een duidelijk modus bestond bij Jaccard = 1,0 (identieke tokens, verschillende labels). Dit bewijs suggereert dat de onenigheid voortkomt uit verschillende drempels voor dezelfde bewijslast, in plaats van annotator-onoplettendheid of fouten.
Meerderheids-alignement: Alle modellen bleven sterk gericht op de meerderheid (~70% van de voorspellingen op posts met onenigheid kwam overeen met het meerderheidslabel), wat bevestigt dat downstream interventies de minderheidsperspectieven niet herstellen.

Betekenis en Claims
Het artikel beweert dat het falen om de haat/belediging-grenzen te behandelen structureel is, en niet architecturaal. Het probleem ligt in het ontwerp van de annotatie, waarbij de meerderheidsstemming een betwist oordeel presenteert als de grondwaarheid. Bijgevolg erven modellen deze "valse zekerheid".

De auteurs betogen dat downstream interventies onvoldoende zijn. Omdat het label zelf onbetrouwbaar is bij betwiste input, kan geen enkele mate van modelcomplexiteit of soft-labeling de verloren nauwkeurigheid herstellen. De noodzakelijke interventie moet upstream plaatsvinden in het annotatieproces. De paper stelt drie specifieke upstream wijzigingen voor:

Het vervangen van discrete haat/belediging-onderscheidingen door graduele schalen van schade.
Het markeren van posts met een hoge mate van onenigheid voor menselijke beoordeling tijdens de inferentie.
Het waarborgen dat de annotatiepools de doelgemeenschappen vertegenwoordigen wiens content wordt gemodereerd, hoewel de auteurs wijzen op de ethische complexiteit en risico's van het blootstellen van gemarginaliseerde annotatoren aan schadelijke inhoud.

De studie concludeert dat pluralistische alignment vereist dat er representatie plaatsvindt tijdens de annotatiefase, en niet alleen tijdens de model-fase, om de systematische misclassificatie van linguïstische normen die specifiek zijn voor minderheidsgemeenschappen te voorkomen.