📊 statistics

From Ground Truth to Measurement: A Statistical Framework for Human Labeling

Dit artikel introduceert een statistisch raamwerk dat menselijke annotatie herformuleert als een meetproces om labelvariatie te ontleden in interpreteerbare bronnen zoals taakmoeilijkheid, annotatorbias, situationele ruis en relationele afstemming, waardoor een systematischer begrip van wat modellen leren mogelijk wordt.

Oorspronkelijke auteurs: Robert Chew, Stephanie Eckman, Christoph Kern, Frauke Kreuter

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Robert Chew, Stephanie Eckman, Christoph Kern, Frauke Kreuter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom "waarheid" soms net als een spiegelbeeld is: Een nieuwe manier om te kijken naar menselijke fouten in AI

Stel je voor dat je een groep vrienden vraagt om een schilderij te beschrijven. Iedereen kijkt naar hetzelfde doek, maar als je hun verhalen vergelijkt, hoor je iets anders:

De één zegt: "Het is een sombere storm."
De ander zegt: "Nee, het is een dramatische scène."
De derde zegt: "Ik zie gewoon wat regen."

In de wereld van kunst en AI noemen we dit vaak "fouten" of "ruis". De machinelearning-wereld denkt vaak: "Oh, als ze het niet eens zijn, heeft iemand een fout gemaakt. Laten we de meerderheid kiezen en de rest negeren."

Maar dit nieuwe onderzoek van Chew en collega's zegt: "Wacht even. Misschien is er geen enkele 'juiste' beschrijving. Misschien is het schilderij gewoon zo complex dat er meerdere waarheden zijn."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het probleem: We behandelen mensen als robots

Tot nu toe hebben we AI-modellen getraind alsof mensen als robots werken. We denken dat er één "Goddelijke Waarheid" is (bijvoorbeeld: dit woord is "haat" of "niet haat"). Als een mens een andere keuze maakt, denken we dat die persoon slordig was, moe was, of gewoon een fout maakte.

De auteurs zeggen: Nee, mensen zijn geen meetinstrumenten die altijd perfect zijn. Mensen zijn zoals verschillende soorten thermometers. Sommige meten de temperatuur iets anders dan andere, niet omdat ze kapot zijn, maar omdat ze op een andere manier zijn gemaakt.

2. De oplossing: De "Meetfout-Debouwer"

De onderzoekers hebben een nieuwe manier bedacht om te kijken naar deze verschillen. Ze noemen het een statistisch raamwerk.

Stel je voor dat je een grote soep hebt met alle fouten die mensen maken. In plaats van de hele soep weg te gooien, gebruiken ze een superkrachtige zeef om de soep in vier verschillende kommen te verdelen. Elke kom vertegenwoordigt een andere reden waarom iemand een ander antwoord gaf:

Kom 1: De "Moeilijke Vraag" (Instance Difficulty)
- Vergelijking: Een raadsel dat zo vaag is dat zelfs de slimste mensen het niet eens kunnen worden.
- Betekenis: Soms is het probleem niet de mens, maar de vraag zelf. De zin is zo dubbelzinnig dat iedereen er even moeilijk over doet.
Kom 2: De "Persoonlijke Bril" (Annotator Bias)
- Vergelijking: Iemand die een roze zonnebril op heeft. Alles wat hij ziet, lijkt hem roze.
- Betekenis: Sommige mensen zijn consequent strenger of zachter dan anderen. Ze maken niet per se "fouten", maar ze kijken door een andere lens (bijvoorbeeld: iemand die heel gevoelig is voor beledigingen, ziet overal beledigingen).
Kom 3: De "Situatie" (Situational Noise)
- Vergelijking: Je probeert een brief te lezen terwijl er een lawaaierige boer in de kamer staat en je net een kopje koffie hebt gemorst.
- Betekenis: Soms maakt iemand een fout omdat hij moe is, afgeleid is of honger heeft. Dit is tijdelijk en willekeurig.
Kom 4: De "Groepsdynamiek" (Relational Alignment)
- Vergelijking: Twee vrienden die dezelfde inside-jokes hebben. Ze begrijpen elkaar perfect, terwijl een vreemde dat niet doet.
- Betekenis: Soms zijn twee mensen het altijd met elkaar eens, niet omdat ze gelijk hebben, maar omdat ze op dezelfde manier denken. Ze vormen een kleine "club" van interpretatie.

3. De grote ontdekking: Er is niet altijd één "Waarheid"

Het onderzoek kijkt naar een dataset over taal (NLI). Ze ontdekten iets verrassends:

In veel gevallen denken we dat als mensen het oneens zijn, er een fout is gemaakt. Maar dit onderzoek toont aan dat veel van die oneensheid eigenlijk een teken is van menselijke diversiteit.

Soms is er één waarheid: Bij het tellen van appels in een mand. Als iemand 3 appels ziet en jij 4, heeft iemand een fout gemaakt. Hier is "Global Truth" (één wereldwijde waarheid) goed.
Soms zijn er vele waarheden: Bij het beoordelen van of een grapje "beledigend" is. Wat voor de één grappig is, is voor de ander pijnlijk. Hier is "Individual Truth" (elk zijn eigen waarheid) beter.

De auteurs zeggen: "Stop met proberen om alle meningen te dwingen in één antwoord. Leer de AI om de verscheidenheid te begrijpen."

4. Waarom is dit belangrijk voor de toekomst?

Stel je voor dat je een AI wilt bouwen die nieuwsberichten controleert op waarheid.

De oude manier: Je pakt de meest populaire mening en zegt: "Dit is de waarheid." De AI leert dan alleen maar wat de meerderheid denkt, en vergeten nuance.
De nieuwe manier (van dit papier): Je zegt: "Oké, deze groep denkt dat het waar is, die groep denkt dat het onzin is, en deze persoon was gewoon moe." De AI leert dan niet alleen het antwoord, maar ook hoe mensen denken.

Dit helpt om:

Fairer AI te maken: Je straalt niet per ongeluk een hele groep mensen uit omdat hun mening afwijkt van de "standaard".
Beter te begrijpen: Je ziet waar de echte moeilijkheden zitten (is het de vraag, of de mens?).
Betere datasets: In plaats van alleen "juist" of "fout" te labelen, kun je de AI leren om de kans te begrijpen dat verschillende mensen verschillende dingen zien.

Samenvatting in één zin

Dit onderzoek zegt dat we menselijke meningsverschillen niet moeten zien als "ruis" die we moeten weggooien, maar als waardevolle data die ons vertelt of we te maken hebben met een moeilijke vraag, een persoonlijke voorkeur, of gewoon een moe persoon – en dat we onze AI-modellen daarop moeten aanpassen.

Probleemstelling

Supervised machine learning (ML) gaat er doorgaans van uit dat gelabelde data nauwkeurige metingen zijn van de concepten die modellen moeten leren. In de praktijk introduceert menselijke annotatie echter systematische variatie die voortkomt uit ambiguïteit, afwijkende interpretaties en fouten. Bestaande ML-onderzoeken behandelen alle onenigheid tussen annotatoren vaak als willekeurige "ruis" (label noise) die moet worden verwijderd of gecorrigeerd. Deze benadering verdoezelt de onderliggende oorzaken van onenigheid en beperkt ons begrip van wat modellen daadwerkelijk leren. Er ontbreekt een gestructureerd kader om te onderscheiden of onenigheid het gevolg is van:

Moeilijke voorbeelden (instance difficulty).
Systematische bias van annotatoren.
Situational noise (tijdelijke factoren).
Relationale uitlijning (verschillende, maar geldige interpretaties).

Methodologie: Een Statistisch Kader

De auteurs herformuleren annotatie als een meetproces en passen klassieke meetfoutmodellen uit de sociale wetenschappen toe op ML-taken. Ze decomponeren de waargenomen labels in interpreteerbare bronnen van variatie.

1. Conceptueel Model

Het model begint met de klassieke vergelijking $Y_{ijt} = \mu_j + \epsilon_{ijt}$ , waarbij $Y$ de waargenomen label is, $\mu$ de ware waarde, en $\epsilon$ de fout. De auteurs breiden de foutterm $\epsilon_{ijt}$ uit tot drie componenten:

Instance-level error ( $\beta_j$ ): Systematische fouten door de inherent moeilijkheid of ambiguïteit van het voorbeeld zelf (bijv. slechte resolutie in beelden of semantische dubbelzinnigheid in tekst).
Between-person error ( $\rho_i$ ): Stabiele, persoonsspecifieke neigingen van een annotator (bijv. expertise, ideologische bias, of "response styles").
Within-person error ( $\sigma_{ijt}$ ): Tijdelijke, situationele variatie (bijv. vermoeidheid, afleiding) die leidt tot inconsistentie binnen dezelfde annotator over tijd.

2. Uitbreiding naar Menselijke Labelvariatie (HLV)

Voor subjectieve taken (zoals haatdragende taal detectie) wordt de aanname van één enkele "ware" label ( $\mu_j$ ) losgelaten. In plaats daarvan wordt er een individuele grondwaarde ( $\mu_{ij}$ ) geïntroduceerd:

$\mu_{ij} = \mu_j + \delta_{ij}$ , waarbij $\delta_{ij}$ de stabiele, interpretatieve afwijking van annotator $i$ vertegenwoordigt.
Dit onderscheidt tussen onenigheid die voortkomt uit echte interpretatieve diversiteit (geldig) en onenigheid die voortkomt uit meetfouten.

3. Statistische Implementatie

De auteurs gebruiken Mixed-Effects Logistic Regression (GLMM) om deze componenten te schatten.

Global Ground Truth Model: Fouten worden gedefinieerd als afwijking van een consensuslabel.
Individual Ground Truth Model: Fouten worden gedefinieerd als afwijking van de annotator's eigen geverifieerde interpretatie.
Pairwise Validation Model: Een relationeel model dat de kans berekent dat annotator $k$ de label van annotator $i$ valideert. Dit model schat variantiecomponenten voor items, annotatoren en hun interacties ( $u_{ik}^{(lj)}$ ) om te bepalen of onenigheid gestructureerd is (bijv. specifieke paren die het altijd oneens zijn).

Kernbijdragen

Algemeen Meetfoutkader: Formalisering van annotatie als een meetproces dat variatie decomposeert in instance-, annotator- en residual-componenten. Dit biedt een diagnostische basis om de oorsprong van fouten te analyseren.
Uitbreiding naar Individuele Waarheden: Een theoretisch kader dat menselijke labelvariatie (HLV) koppelt aan klassieke betrouwbaarheid en validiteit, waardoor onderscheid wordt gemaakt tussen "fout" en "geldige interpretatieve diversiteit".
Empirisch Bewijs: Toepassing op het VariErr NLI-dataset (Natural Language Inference), waarbij bewijs wordt gevonden voor alle vier de theoretische componenten.
Diagnostiek voor Meetregimes: Een methode om te bepalen of een taak beter wordt beschreven door een "globale waarheid" (waar onenigheid vooral door item-moeilijkheid komt) of een "individuele waarheid" (waar onenigheid voortkomt uit gestructureerde interpretatieve verschillen).

Resultaten (VariErr NLI Case Study)

De analyse van het VariErr-dataset leverde de volgende inzichten op:

Global Ground Truth Model: Ambiguïteit was de sterkste voorspeller van fouten (ongeveer 9x hoger kans op een fout bij ambigu items). Dit suggereert dat sommige items objectief moeilijk zijn.
Individual Ground Truth Model: Er werd een enorme variantie gevonden tussen annotatoren ($SD = 1.19$), terwijl item-variantie verwaarloosbaar was. Dit betekent dat onenigheid voornamelijk voortkomt uit stabiele, persoonlijke interpretaties en niet uit objectieve moeilijkheid.
Pairwise Validation: Er was aanzienlijke variantie in de interactie tussen annotatoren ($SD = 0.48$). Dit toont aan dat onenigheid gestructureerd is: bepaalde paren annotatoren zijn consistent het oneens of eens, wat wijst op "interpretatieve subgemeenschappen".
Conclusie: Voor deze NLI-taak is het Human Label Variation (HLV)-kader geschikter dan het globale waarheidskader. De onenigheid is geen ruis, maar een systematische weerspiegeling van verschillende redeneerstrategieën en epistemische standpunten.

Significantie en Implicaties

Dit werk verschuift de focus van "ruisreductie" naar "meetkwaliteit" en heeft belangrijke gevolgen voor data-centric AI:

Dataset Curation: Als diagnostiek een "global truth" regime aangeeft, moeten resources gaan naar het verduidelijken van ambiguïteit. Als een "HLV regime" wordt aangetoond, moet men diversiteit in labels behouden en rater-specifieke signalen verzamelen in plaats van te streven naar consensus.
Modelontwerp: In HVL-situaties zijn modellen die werken met consensuslabels suboptimaal. In plaats daarvan moeten modellen trainen op label-distributies, gebruikmaken van "mixture-of-raters" of conditionele labelmodellen.
Evaluatie: Evaluatiemetrics moeten worden afgestemd op het meetregime. Voor HVL-taken zijn traditionele nauwkeurigheidsmeters misleidend; er zijn distributiegebaseerde of rater-geconditioneerde metrics nodig.
Wetenschap van Labeling: Het artikel pleit voor een nieuwe wetenschappelijke discipline die annotatieprocessen systematisch bestudeert, vergelijkbaar met psychometrie, om te begrijpen hoe menselijke oordelen data vormen.

Samenvattend biedt dit paper een principieel statistisch kader om te bepalen wat we meten in gelabelde data, en helpt het ontwikkelaars te kiezen tussen het corrigeren van fouten of het modelleren van menselijke diversiteit, afhankelijk van de aard van de taak.