💬 NLP

Quantifying and Predicting Disagreement in Graded Human Ratings

Dit artikel onderzoekt patronen van onenigheid in gerangschikte menselijke beoordelingen van ongepaste taal door de Oppositie-index voor te stellen om perspectiefdivergentie te kwantificeren en aantoont dat tekstuele kenmerken zowel de annotatievariantie als de moeilijkheidsgraad van voorbeelden met tegenstrijdige menselijke meningen matig kunnen voorspellen.

Oorspronkelijke auteurs: Leixin Zhang, Çağrı Çöltekin

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leixin Zhang, Çağrı Çöltekin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wedstrijd organiseert waarbij mensen moeten beoordelen hoe "onbeleefd" een specifieke zin is. Je vraagt vijf verschillende beoordelaars om dezelfde zin te bekijken en een score te geven van 0 (helemaal niet onbeleefd) tot 4 (extreem onbeleefd).

Soms zijn alle vijf de beoordelaars het perfect eens. Ze geven allemaal een "0". Op andere momenten zijn de beoordelaars precies verdeeld: twee denken dat het een "0" is, en drie denken dat het een "4" is. Dit noemt het artikel meningsverschil.

De onderzoekers wilden twee dingen weten:

Kunnen we naar de zin zelf kijken en raden hoeveel de beoordelaars het oneens zullen zijn? (Zullen ze het allemaal eens zijn, of zullen ze ruzie maken?)
Kunnen we raden of de beoordelaars volledig tegenovergestelde meningen zullen hebben? (Denkt de helft van de kamer dat het onschadelijk is, terwijl de andere helft denkt dat het vreselijk is?)

Hier is hoe ze dit aanpakten, met behulp van eenvoudige analogieën:

1. Het Probleem: Niet Alle Ruzies Zijn Hetzelfde

In het verleden behandelden onderzoekers alle meningsverschillen hetzelfde. Maar dit artikel zegt dat dat hetzelfde is als het behandelen van een lichte meningsverschil over wat je voor het avondeten wilt eten, als hetzelfde als een heftig politiek debat. Sommige zinnen zijn zo duidelijk dat iedereen het eens is (laag meningsverschil). Andere zijn lastig, dubbelzinnig of afhankelijk van persoonlijke waarden, waardoor de beoordelaars hun stemmen splitsen (hoog meningsverschil).

De onderzoekers richtten zich op "ongepaste taal" (zoals haatzaaiende taal of giftige opmerkingen), omdat dit de gebieden zijn waar de meningen van mensen het meest botsen.

2. Het Nieuwe Hulpmiddel: De "Oppositie-index"

Om te meten hoe hard de beoordelaars ruzie maken, bedachten de onderzoekers een nieuwe liniaal genaamd de Oppositie-index.

De Analogie: Stel je een wipplank voor.
- Als iedereen in het midden zit, is de wipplank plat. Dat is consensus (lage index).
- Als iedereen aan één kant zit, is hij gekanteld maar stabiel. Dat is sterke overeenstemming aan één kant (lage index).
- Als de helft van de mensen aan de verre linkerkant zit en de andere helft aan de verre rechterkant, is de wipplank perfect in evenwicht maar chaotisch. Dat is polarisatie (hoge index).

De "Oppositie-index" berekent precies hoe "in evenwicht" het chaos is. Een score van 1 betekent dat de groep perfect is verdeeld tussen twee extreme meningen. Een score van 0 betekent dat iedereen het met elkaar eens is.

3. Het Experiment: Het Chaos Raden

De onderzoekers bouwden computermodellen (AI) om naar een zin te kijken voordat mensen deze beoordeelden en proberen te voorspellen:

De Variantie: Hoe verspreid zullen de scores zijn? (Zullen ze allemaal dicht bij elkaar liggen, of verspreid?)
De Oppositie: Zullen de scores worden gesplitst in twee tegenstrijdige kampen?

Ze probeerden twee hoofdmanieren om de AI te leren:

Methode A (Direct): Vertel de AI: "Raad gewoon het getal dat het meningsverschil vertegenwoordigt."
Methode B (Verdeling): Vertel de AI: "Raad de volledige uitsplitsing van hoeveel mensen 0 zullen kiezen, hoeveel 1, enzovoort, en bereken vervolgens het meningsverschil daaruit."

4. Wat Ze Vonden

De AI is goed in het raden van de "verspreiding", maar niet perfect. De computermodellen konden het niveau van meningsverschil voorspellen met een "matig" succespercentage. Het is als een weersvoorspelling die zegt "er is kans op regen" in plaats van "het zal zeker regenen."
Methode B was iets beter. Het was nuttiger om de AI te leren het hele plaatje te voorspellen (de verdeling van stemmen) in plaats van alleen het uiteindelijke getal voor meningsverschil. Door de vorm van de stemmen te begrijpen, leerde de AI de structuur van het meningsverschil beter.
De AI worstelt met extreme gevechten. De modellen waren goed in het opsporen van wanneer mensen het eens waren of licht oneens. Echter, wanneer de beoordelaars extreem gepolariseerd waren (de wipplank was perfect in evenwicht met mensen aan tegenovergestelde uiteinden), neigde de AI om dit te onderschatten. Het voorspelde een "gemiddeld" gevecht terwijl het eigenlijk een "enorm" gevecht was.

5. Waarom Gebeurt Dit?

Het artikel suggereert een paar redenen waarom de AI deze extreme gevechten niet perfect kan voorspellen:

Zeldzame Gebeurtenissen: Er waren gewoon niet genoeg voorbeelden van extreme polarisatie in de trainingsdata voor de AI om het patroon te leren.
Verborgen Factoren: Soms gaat het meningsverschil niet over de woorden op het scherm. Het gaat over het persoonlijke leven van de beoordelaar, hun politieke opvattingen of hun cultuur. De AI kan alleen de tekst lezen, niet het hart van de beoordelaar.
Ruis: Als een beoordelaar een slechte dag heeft en iets vreemd beoordeelt, kan dit de wiskunde verstoren, waardoor de AI in de war raakt.

De Conclusie

Het artikel concludeert dat we, hoewel we menselijke ruzies niet perfect kunnen voorspellen door alleen de tekst te lezen, wel een goede schatting kunnen maken. De belangrijkste les is dat sommige zinnen inherent moeilijker te beoordelen zijn dan andere.

De onderzoekers suggereren dat we in de toekomst, wanneer we data moeten labelen (zoals het trainen van AI om haatzaaiende taal te detecteren), niet elke zin hetzelfde moeten behandelen. We zouden meer tijd en meer menselijke beoordelaars moeten besteden aan de zinnen waarvan de AI voorspelt dat ze het meeste meningsverschil zullen veroorzaken, en onze tijd moeten besparen op de gemakkelijke zinnen waar iedereen het over eens is.

Technische Samenvatting: Kwantificering en Voorspelling van Meningsverschillen bij Gegradeerde Menselijke Beoordelingen

Probleemstelling
Menselijke annotatoren vertonen frequent meningsverschillen in taken voor Natural Language Processing (NLP), met name in sociaal gevoelige domeinen zoals het detecteren van haatzaaiende taal, beledigende taal en giftige inhoud. Hoewel wordt erkend dat variatie in annotatie inherent is, is de mate van deze divergentie niet uniform voor alle gevallen. Sommige items roepen een sterk consensus op, terwijl andere aanzienlijke meningsverschillen of tegenstrijdige standpunten teweegbrengen. De huidige literatuur behandelt meningsverschillen vaak als een categorisch voorspellingsprobleem (bijvoorbeeld binaire classificatie van de aanwezigheid van meningsverschillen) of richt zich op specifieke taaklabels (bijvoorbeeld NLI-implicatie). Er ontbreekt onderzoek dat examineert of de mate van annotatieonzekerheid en de volledige structuur van fijnmazige annotatieverdelingen (specifiek Likert-schaalbeoordelingen) uitsluitend kunnen worden afgeleid uit tekstuele kenmerken op itemniveau. Bovendien falen standaardmetrieken voor de vorm van verdelingen (zoals bimodaliteitscoëfficiënten) vaak wanneer ze worden toegepast op schaarse annotatiedata (bijvoorbeeld 3–5 annotatoren per item).

Methodologie
De auteurs onderzoeken de voorspelbaarheid van annotatievariatie met behulp van drie datasets die zijn geannoteerd met Likert-schaalbeoordelingen: Beledigende Taal (3-puntsschaal), Haatzaaiende Taal (3-puntsschaal) en Giftigheid (5-puntsschaal). De studie richt zich op twee primaire doelstellingen:

Afleiden van Beoordelingsvariantie: Het schatten van de onbevooroordeelde variantie van antwoorden van annotatoren voor een bepaald item op basis van zijn tekstuele kenmerken.
Identificeren van Tegenstrijdige Meningen: Het detecteren van gevallen waarin annotatoren werkelijk conflicterende standpunten innemen (polarisatie).

Om deze doelstellingen aan te pakken, stellen de auteurs twee voorspellingsbenaderingen voor:

Directe Variantievoorspelling: Het trainen van een regressiemodel om de variantiewaarde ( $\sigma^2$ ) direct te voorspellen op basis van itemkenmerken.
Op Verdeling Gebaseerde Voorspelling: Het trainen van modellen om de volledige Likert-beoordelingsverdeling ( $p_i$ ) voor een item te voorspellen, waaruit variantie en andere statistieken worden afgeleid.

De studie maakt gebruik van verschillende verliesfuncties die zijn toegespitst op de ordinale aard van Likert-gegevens, en gaat verder dan standaard categorische cross-entropy:

Earth Mover's Distance (EMD): Houdt rekening met de ordinale afstand tussen beoordelingscategorieën.
EMD met Gemiddelde Regularisatie: Combineert EMD met een term voor gemiddelde kwadratische fout op de verwachte beoordeling om de centrale tendens te beperken.
Ordinale Cumulatieve Cross Entropy: Transformeert het meerklasseprobleem naar $K-1$ binaire beslissingen.
Kullback–Leibler (KL) Divergentie: Wordt gebruikt als baseline voor soft-labelrepresentatie zonder expliciete overweging van ordinale afstand.

Om tegenstrijdige standpunten te kwantificeren, introduceren de auteurs de Oppositie-index. Deze metriek verdeelt de beoordelingsverdeling in lage, middensegmenten en hoge segmenten ( $P_{low}, P_{mid}, P_{high}$ ). De index wordt gedefinieerd als $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$ . Deze loopt van 0 (consensus/uni-modaal) tot 1 (maximale polarisatie, waarbij de helft van de annotatoren de laagste beoordeling kiest en de helft de hoogste).

Belangrijkste Bijdragen

Oppositie-index: Een nieuwe metriek die is ontworpen om tegenstrijdige perspectieven te kwantificeren in schaarse annotatiesituaties waar traditionele tests op bimodaliteit onstabiel zijn.
Modellering van Verdelingen: Een demonstratie dat het voorspellen van de volledige Likert-verdeling (met behulp van ordinale-bewuste verliesfuncties) een haalbaar alternatief is voor directe variantieregressie, en vaak de structuur van annotatievariatie robuuster herstelt.
Empirische Analyse van Polarisatie: Een gedetailleerd onderzoek naar de voorspelbaarheid van items met hoge oppositie, waarbij specifieke uitdagingen in het modelleren van extreme polarisatie worden blootgelegd.

Resultaten

Variantievoorspelling: Er is een matige positieve correlatie (Spearman's $r \approx 0,3$ $r \approx 0, 3$ tot $0,45$) tussen de geschatte en de waargenomen annotatievariantie over alle datasets heen.
- Prestaties: Directe variantieregressie en op verdeling gebaseerde voorspelling (specifiek met EMD+MSE) bereiken vergelijkbare prestaties. EMD+MSE presteert consequent beter dan standaard EMD en KL-soft-modellen.
- Beperkingen: Modellen neigen naar het onderschatten van items met hoge variantie en voorspellen zelden variantiewaarden van exact 0; vaak concentreren voorspellingen zich in een middengedeelte.
Voorspelling van Tegenstrijdige Standpunten: Modellen onderscheiden succesvol tussen items zonder oppositie en die met gematigde oppositie. Ze hebben echter moeite met extreme polarisatie.
- Onderschatting: Items met hoge ware Oppositie-indexwaarden (naderend aan 1) worden door modellen frequent onderschat, waarbij de voorspelde scores vaak plateau vormen in een middengedeelte (ongeveer 0,4).
- Oorzaken: Deze onderschatting wordt toegeschreven aan het gebrek aan sterk gepolariseerde voorbeelden in de trainingsdata, de gevoeligheid van de index voor annotatieruis, en het feit dat extreme oppositie kan voortkomen uit factoren (ideologie, persoonlijke ervaring) die niet alleen uit tekst kunnen worden afgeleid.
Detectie van Meningsverschillen: Modellen behalen sterke prestaties (F1 > 0,6) bij het detecteren van de aanwezigheid van enige annotatievariatie, hoewel de prestaties licht variëren per dataset en verliesfunctie.

Betekenis en Aanspraken
Het artikel stelt dat patronen van annotatie op itemniveau, specifiek variantie en oppositie van standpunten, gedeeltelijk kunnen worden afgeleid uit tekstuele kenmerken, zij het met een matige correlatie. De auteurs positioneren hun werk als een stap in de richting van het karakteriseren van de structuren van menselijke annotatievariatie.

De primaire betekenis ligt in de optimalisatie van praktische annotatiewerkstromen. Door items te identificeren die waarschijnlijk aanzienlijke meningsverschillen zullen oproepen, kunnen onderzoekers middelen efficiënter toewijzen: het toewijzen van meer annotatoren aan controversiële of perspectief-divergente gevallen om latente standpunten te vangen, terwijl de inspanning wordt verminderd voor items met een sterk consensus. De studie benadrukt ook de beperkingen van huidige modellen bij het vangen van extreme polarisatie, wat suggereert dat puur tekstuele kenmerken mogelijk onvoldoende zijn om menselijke oordelen in sociaal complexe domeinen volledig te modelleren. De auteurs blijven bescheiden en merken op dat embedding-modellen mogelijk niet alle linguïstische aanwijzingen vangen en dat de discrete aard van schaarse Likert-gegevens de granulariteit van verdelingsinschattingen beperkt.