💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Dit artikel introduceert het "Ghost Annotator"-framework, dat conformal prediction combineert met collaborative filtering om de variatie in menselijke labels te analyseren en onthult dat grotere taalmodellen een verhoogde mate van vertrouwen vertonen in voorspellingen die afwijken van de menselijke consensus, waardoor structurele demografische vooroordelen die geworteld zijn in pretraining-data worden blootgelegd.

Oorspronkelijke auteurs: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moet beslissen wat "onbeleefd" of "schadelijk" is in een gesprek. Je vraagt aan een groep van 100 verschillende mensen om een specifieke opmerking te lezen en te beoordelen. Omdat mensen verschillende achtergronden, leeftijden en culturen hebben, zijn ze het niet allemaal met elkaar eens. Sommigen vinden de opmerking grappig; anderen vinden het haatzaaiende taal. Deze onenigheid wordt Human Label Variation genoemd.

Het artikel introduceert een nieuw hulpmiddel genaamd de "Ghost Annotator" om uit te zoeken hoe goed AI-modellen (zoals de modellen die chatbots aansturen) deze menselijke onenigheid begrijpen en waar ze de fout in gaan.

Hieronder volgt de uitleg van hoe het papier werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: De Robot versus de Menigte

Normaal gesproken, wanneer we een AI testen, vragen we: "Heeft de robot het 'juiste' antwoord gegeven?" Maar bij contentmoderatie is er vaak geen enkel juist antwoord. Als 50 mensen zeggen dat een opmerking "licht beledigend" is en 50 zeggen dat het "schadelijk" is, zit de AI vast.

De onderzoekers wilden weten:

Wordt de AI in de war gebracht wanneer mensen het oneens zijn?
Heeft de AI zijn eigen "persoonlijkheid" die ervoor zorgt dat hij met bepaalde typen mensen instemt en anderen negeert?

2. Het Hulpmiddel: De "Geest" in de Machine

Om dit op te lossen, creëerde het team een framework met behulp van een statistische methode genaamd Conformal Prediction. Zie dit als een "vertrouwensmeter".

De Ghost Prediction: Stel je voor dat de AI een toets maakt. Meestal kiest de AI een antwoord dat overeenkomt met wat de mensen kozen. Maar soms kiest de AI een antwoord dat geen enkele mens heeft gekozen. De onderzoekers noemen dit een "Ghost Prediction". Het is alsof de AI een geest ziet—een label dat niet bestaat in de menselijke wereld.
De Ghost Annotator: Dit is de belangrijkste uitvinding van het artikel. In plaats van alleen naar de antwoorden van de AI te kijken, veranderen ze het gedrag van de AI in een "vingerafdruk" (een wiskundige vector). Ze noemen deze vingerafdruk de Ghost Annotator. Het vertegenwoordigt de unieke "mening" van de AI alsof het een menselijke werker is, ook al is het een machine.

3. Het Experiment: Vingerafdrukken Vergelijken

De onderzoekers namen vier verschillende AI-modellen (twee kleine, twee grote, van twee verschillende bedrijven) en testten deze op vier verschillende datasets van sociale mediaberichten (over haatzaaien, geweld en beledigendheid).

Ze vergeleken de "Ghost Vingerafdruk" van de AI met de vingerafdrukken van echte menselijke annotatoren, waarbij de mensen werden gegroepeerd op demografie zoals leeftijd, geslacht en herkomst (bijvoorbeeld Sub-Sahara Afrika, India, de VS).

4. De Bevindingen: Wat de Geesten Onthulden

Bevinding A: De "Zelfverzekerde Buitenstaander"

De Analogie: Stel je een kleine, nerveuze student voor die toegeeft: "Ik weet het niet zeker over dit antwoord," wanneer de klas aan het discussiëren is. Stel je nu een zeer zelfverzekerde, oudere student voor die zegt: "Ik weet het antwoord is X," zelfs wanneer de hele klas het er niet mee eens is.
Het Resultaat: De onderzoekers ontdekten dat grotere AI-modellen (de zelfverzekerde studenten) eigenlijk zelfverzekerder waren wanneer ze antwoorden gaven waar geen mens het over eens was (Ghost Predictions). Ze waren zeker van hun "ghost" antwoorden, zelfs wanneer ze volledig uit de pas liepen met de menselijke opinie. Kleinere modellen waren minder zelfverzekerd in deze vreemde situaties.

Bevinding B: De "Demografische Blinde Vlek"

De Analogie: Stel je een groep rechters voor. Als je een rechter uit Groep A vraagt om een film te beoordelen, kunnen zij het met de AI eens zijn. Maar als je een rechter uit Groep B vraagt, kunnen zij er totaal niet mee eens zijn. Het artikel vond dat de AI zich gedraagt als een rechter die consequent "niet op de hoogte" is van één specifieke groep mensen, ongeacht hoeveel mensen uit die groep in de kamer zijn.
Het Resultaat: De AI-modellen vertoonden een consistent patroon van demografische mismatch. Specifiek was de "Ghost Vingerafdruk" van de AI consequent het minst vergelijkbaar met menselijke annotatoren uit Sub-Sahara Afrika (SSA).
De Twist: Dit gebeurde zelfs terwijl de SSA-groep feitelijk de grootste groep menselijke annotatoren in de studie was. De AI negeerde hen niet omdat er weinig van hen waren; het negeerde hen vanwege een diepgewortelde bias.
De Oorzaak: De onderzoekers geloven dat deze bias voortkomt uit de pre-training data (de enorme hoeveelheid tekst die de AI las voordat hij voor de specifieke taak werd onderwezen). Het is alsof de AI zijn "wereldbeeld" heeft geleerd uit een bibliotheek die niet genoeg boeken bevatte die geschreven zijn door mensen uit Sub-Sahara Afrika. Deze bias is "structureel", wat betekent dat het in de fundering van het model is ingebakken, en niet slechts een fout in de specifieke test.

5. Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel betoogt dat we dit niet kunnen oplossen door simpelweg meer diverse menselijke labels aan de trainingsdata toe te voegen. Als de "fundering" (pre-training) van de AI al bevooroordeeld is, zal het toevoegen van een paar meer diverse stemmen aan het einde het perspectief van de "Ghost Annotator" niet repareren.

Het Ghost Annotator framework is een manier om een AI-model te "röntgenen" om precies te zien welke groepen mensen het model niet begrijpt, voordat we het op het internet loslaten om content te modereren.

Kortom: Het artikel bouwde een hulpmiddel om de "persoonlijkheid" van AI-modellen te zien. Ze ontdekten dat grote, zelfverzekerde AI-modellen vaak een "blinde vlek" hebben voor specifieke culturen, en dat deze blinde vlek zo diep zit dat deze voortkomt uit de data die de AI leerde te lezen.

Technische Samenvatting: Het Ghost Annotator Framework

Probleemstelling
Huidig onderzoek in Natural Language Processing (NLP) en contentmoderatie richt zich voornamelijk op prestatie-metrieken van modellen, waarbij onzekerheidsschatting en de nuances van Human Label Variation (HLV) vaak over het hoofd worden gezien. HLV verwijst naar de divergentie in annotaties tussen menselijke beoordelaars, met name met betrekking tot subjectieve verschijnselen zoals haatzaaiende taal, beledigendheid en toxiciteit. Hoewel recente paradigma's pleiten voor het vastleggen van deze diverse perspectieven om eerlijkheid te bevorderen, blijven er aanzienlijke uitdagingen bestaan: bevindingen over HLV worden vaak gehinderd door mismatches tussen datasets en annotatieschema's, en de toenemende afhankelijkheid van Large Language Models (LLMs) voor het genereren van geannoteerde data heeft de focus verschoven weg van onzekerheid. Bovendien schieten bestaande methoden voor het evalueren van LLMs-als-annotatoren vaak tekort in het onderscheiden van echte HLV van annotatiefouten, en is aangetoefen dat LLMs moeite hebben met het repliceren van de diversiteit aan menselijke meningen, waarbij ze vaak een bias vertonen naar specifieke demografische groepen of overmatig beledigende content markeren.

Methodologie
De auteurs introduceren de Ghost Annotator, een framework ontworpen om het gedrag van LLMs te modelleren ten opzichte van menselijke annotators met behulp van Conformal Prediction. De methodologie verloopt via de volgende technische stappen:

Conformal Prediction & Non-Conformity Scores (NCS): Het framework maakt gebruik van Conformal Prediction om gekalibreerde onzekerheidsschattingen te genereren. In plaats van een enkele geaggregeerde score, berekent het systeem NCS voor individuele model–annotator–instantie-interacties. De NCS kwantificeert hoe "ongebruikelijk" een voorspelling van een model is ten opzichte van een kalibratiedistributie afgeleid van menselijke annotaties.
Ghost Prediction Metric: Om verder te gaan dan traditionele nauwkeurigheidsgebaseerde metrieken (die vertrouwen op geaggregeerde grondwaarheid), definiëren de auteurs Ghost Prediction als het aandeel instanties waarbij een model een label voorspelt dat niet aanwezig is in de menselijke annotaties voor dat specifieke item. Deze metriek kwantificeert de divergentie tussen het model en de volledige set van beschikbare menselijke perspectieven.
Annotator Representatie (Collaborative Filtering Analogie): Geïnspireerd door Collaborative Filtering (CF) in aanbevelingssystemen, representeert het framework zowel menselijke annotators als modellen als 3-dimensionale vectoren. Deze vectoren zijn afgeleid van de kwartielen van de NCS-distributies:
- Menselijke Annotators: Representeert de distributie van NCS-waarden verkregen van alle items die zij hebben geannoteerd.
- Ghost Annotator (Model): Representeert de distributie van NCS-waarden berekend specifiek op instanties waar de voorspelling van het model verschilt van alle menselijke annotaties (Ghost Predictions).
Alignment Analyse: De auteurs berekenen de cosine similarity tussen de Ghost Annotator-vector en de vectoren van specifieke sociaal-demografische groepen van menselijke annotators. Dit maakt het mogelijk om te profileren bij welke menselijke groepen een model aligneert of divergeert.

Experimentele Opzet
Het framework werd geëvalueerd over vier contentmoderatie-datasets: Attitudes (Hate Speech), CADE (Acceptability), Disentangling (Offensiveness) en MHS (Violence). Vier LLMs werden getest, verspreid over twee families (Qwen en Llama) en twee grootteschaal (1.5B/1B en 7B/8B parameters). De Disentangling-dataset werd specifiek gebruikt voor de demografische alignmentanalyse (RQ2) vanwege de gebalanceerde representatie van sociaal-demografische kenmerken (geslacht, leeftijd en macroregio van herkomst).

Belangrijkste Resultaten

Onzekerheid en HLV (RQ1): Er is een coherentie tussen modelonzekerheid en HLV. Naarmate de onenigheid onder menselijke annotators toeneemt, neemt de modelonzekerheid (gemeten via NCS) dienovereenkomstig toe. Er kwam echter een contra-intuïtieve bevinding naar voren met betrekking tot Ghost Predictions: grotere modellen vertoonden hogere zelfverzekerdheid (lagere onzekerheid) bij het voorspellen van labels die door geen enkele menselijke annotator werden gekozen, vergeleken met kleinere modellen. Dit suggereert dat grotere modellen sterkere meerderheidscultuur-normen kunnen coderen, wat leidt tot zelfverzekerde maar divergente voorspellingen in regio's waar minderheidsperspectieven verschillen.
Demografische Misalignment (RQ2): Het Ghost Annotator framework onthulde een robuust en consistent patroon van demografische misalignment. Ongeacht de modelarchitectuur (Meta vs. Alibaba), parameterschaal (1B tot 8B) of de gebruikte dataset om het model te profileren, divergeerden de modellen systematisch van annotators in de 18-30, Man, Sub-Sahara Afrika (SSA) demografische groep. Daarentegen vertoonden ze de hoogste alignment met de 30-50, Vrouw, Oceanië groep.
Omvang van de Annotator Pool: De misalignment met de SSA-groep bleef bestaan ondanks het feit dat deze groep de grootste demografische pool was in de Disentangling-dataset ( $n=169$ ). Dit geeft aan dat het simpelweg vergroten van de headcount van diverse annotators de misalignment niet oplost, wat suggereert dat de bias niet het gevolg is van datarelatie-tekortkomingen tijdens de annotatiefase.

Significantie en Claims
Het artikel claimt dat het Ghost Annotator framework een statistisch gegarandeerde methode (via Conformal Prediction) biedt om LLMs te evalueren en te positioneren binnen de ruimte van menselijke annotator-diversiteit. De primaire significantie ligt in het identificeren dat de geobserveerde demografische misalignment waarschijnlijk een structurele bias is geworteld in pre-training corpora, in plaats van een specifiek artefact van fine-tuning of modelarchitectuur.

De auteurs stellen dat omdat verschillende modelfamilies en -groottes convergeren op dezelfde misalignment-patronen, de bias upstream van de taakspecifieke adaptatie bestaat. Bij consequentie suggereert het paper dat dataset-niveau interventies (zoals het vergroten van de diversiteit van annotators) onvoldoende zijn om deze biases op te lossen zonder overeenkomstige wijzigingen in hoe modellen worden pre-trained of aangepast. Het framework dient als een instrument om deze structurele divergenties te onthullen voordat modellen worden ingezet, wat een pad biedt naar een meer consciëntieus gebruik van LLMs bij het creëren en uitbreiden van trainingsdatasets voor contentmoderatie.