🤖 machine learning

Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards

Dit artikel onthult dat aanzienlijke onenigheid tussen expert- en crowd-annotatoren op itemniveau wordt gemaskeerd door kleine leaderboard-omvang, wat een vals gevoel van stabiliteit creëert in de rangschikking van modellen die niet generaliseert naarmate het aantal modellen toeneemt.

Oorspronkelijke auteurs: Anik Jha

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anik Jha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de race om slimmere kunstmatige intelligentie te bouwen, vertrouwen onderzoekers op een simpel maar krachtig idee: om te weten of een machine beter wordt, moet je een mens vragen het werk te beoordelen. Dit proces, bekend als een voorkeursbenchmark, houdt in dat een mens twee verschillende antwoorden van een AI te zien krijgt en gevraagd wordt welke beter is. De verzameling van deze menselijke stemmen wordt de "gouden standaard", een betrouwbaar referentiepunt waartegen alle nieuwe modellen worden afgemeten. Jarenlang opereerde het vakgebied op basis van een stille aanname: dat het er niet toe doet welke mensen worden ingehuurd om de beoordelingen te doen. De heersende overtuiging is dat hoewel individuele mensen willekeurige fouten kunnen maken, de groep als geheel een betrouwbaar instrument is dat een enkele, stabiele waarheid meet over wat een antwoord goed maakt. Als deze aanname standhoudt, dan is de specifieke identiteit van de rechters slechts een klein detail, zoals het merk pen dat wordt gebruikt om de score op te schrijven.

Maar een nieuw onderzoek suggereert dat dit detail juist het belangrijkste deel van de vergelijking is. Onderzoekers zetten zich af om te testen of de keuze van menselijke rechters er werkelijk toe doet door dezelfde set AI-vergelijkingen twee keer uit te voeren, met behulp van twee totaal verschillende groepen mensen. De ene groep bestond uit gewone crowdworkers, het type mensen dat door duizenden wordt ingehuurd voor online taken. De andere groep bestond uit gescreende domeinexperts, individuen met gespecialiseerde kennis in het vakgebied. De onderzoekers namen een enorme dataset van duizenden AI-vergelijkingen en vroegen beide groepen om te stemmen over de winnaars. Ze ontdekten dat de twee groepen mensen elkaar niet bijna zo vaak waren het eens als het vakgebied ervan uitging. Bij bijna één op de vier items kozen de twee groepen andere meerderheidswinnaars. In bijna één op de tien gevallen kozen de crowdworkers en de experts tegenovergestelde winnaars, waarbij de verliezer van de ene groep de kampioen van de andere werd verklaard.

Ondanks deze enorme onenigheid op het niveau van individuele items, leek het eindresultaat misleidend stabiel. Wanneer de onderzoekers deze conflicterende stemmen gebruikten om de zes in de studie opgenomen AI-modellen te rangschikken, was de uiteindelijke ranglijst identiek, ongeacht welke groep mensen de beoordeling deed. De volgorde van de modellen veranderde helemaal niet. Dit creëerde een verwarrend beeld: de rechters riepen verschillende antwoorden, terwijl de scorelijst zwijgzaam bleef. De onderzoekers realiseerden zich dat deze stabiliteit geen teken was van een robuust systeem, maar eerder een gelukkig toeval veroorzaakt door het kleine aantal modellen dat werd vergeleken. Omdat de modellen ver uit elkaar lagen in hun prestaties, waren de kleine verschuivingen in de stemming, veroorzaakt door het veranderen van de rechters, niet genoeg om één model voorbij een ander te duwen.

Om te testen hoe fragiel deze stabiliteit werkelijk was, voerden de onderzoekers simulaties uit om te zien wat er zou gebeuren als de ranglijst groter zou zijn, met de tientallen modellen die gebruikelijk zijn in echte competities. De resultaten waren schokkend. Terwijl een ranglijst van zes modellen ongewijzigd bleef, zou een ranglijst met slechts tien modellen in achtenentachtig procent van de gevallen een model doen verschuypen. Met twintig modellen was de kans op een herschikking bijna honderd procent. De studie concludeerde dat de huidige praktijk van het rapporteren van kleine ranglijsten alleen veilig is omdat de modellen schaars en ver uit elkaar liggen. Als het vakgebied een grotere, meer realistische arena van modellen zou publiceren, zou de keuze van menselijke rechters de rangschikkingen onmiddellijk door elkaar husselen. De "gouden standaard" is geen vaste waarheid; het is een bewegend doelwit dat verschuift afhankelijk van wie er wordt ingehuurd om het meetlint vast te houden.

Het onderzoek stopte niet bij menselijke rechters. De onderzoekers onderzochten ook hoe kunstmatige intelligentie-rechters, die steeds vaker worden gebruikt om deze rangschikkingen te automatiseren, omgaan met de onenigheid tussen menselijke groepen. Ze testten drie verschillende AI-rechters, inclusief modellen van verschillende bedrijven, om te zien met welke groep mensen ze meer overeenstemming vertoonden. Elke AI-rechter stemde significant meer overeen met de crowdworkers dan met de experts. Dit suggereert dat de AI-rechters hebben geleerd om de voorkeuren van de crowd te imiteren, waarschijnlijk omdat de data die voor hen wordt gebruikt, afkomstig is van vergelijkbare crowdsourced werkers. De onderzoekers vonden dat de overeenstemming van een AI-rechter met mensen niet alleen een maatstaf is voor de intelligentie ervan, maar ook een reflectie van de beslissingen over het inhuren van personeel die jaren geleden zijn gemaakt bij het verzamelen van de trainingsdata.

De studie onthulde ook dat de manier waarop deze AI-rechters worden geprompt, hun mening meer kan veranderen dan de keuze van de menselijke rechters. Wanneer de onderzoekers de volgorde veranderden waarin de antwoorden werden gepresenteerd, draaiden de AI-rechters hun beslissingen om bij bijna de helft van de items (specifiek 44,6% voor één model). Bovendien, toen de onderzoekers alleen het outputformaat veranderden (door te vragen om een JSON-object in plaats van een kale token) terwijl de rest gelijk bleef, stemde dezelfde rechter in slechts 47,2% van de gevallen met zichzelf overeen, wat wijst op een systematische verschuiving in één richting. Deze gevoeligheid voor presentatievolgorde en formattering is een veel grotere bron van fouten dan het verschil tussen de meningen van experts en de crowd. De onderzoekers betogen dat het hele vakgebied de manier waarop deze resultaten worden gerapporteerd moet veranderen. Het simpelweg stellen dat een model in een bepaald percentage van de gevallen overeenkomt met mensen, is incompleet zonder te specificeren welke mensen werden gebruikt. De veiligheid van de huidige rangschikkingen is een illusie gecreëerd door kleine steekproeven, en de betrouwbaarheid van toekomstige rangschikkingen hangt volledig af van het erkennen dat de keuze van annotatoren niet een klein detail is, maar een fundamentele variabele die de uitkomst vormgeeft.

Technische Samenvatting: "Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards"

Probleemstelling
Benchmarks voor voorkeuren in de evaluatie van Large Language Models (LLM's) vertrouwen op menselijke annotaties om een "gouden standaard" vast te stellen. De identiteit van deze annotatoren (bijv. crowdworkers versus domeinexperts) wordt echter doorgaans behandluis als een implementatiedetail, onder de impliciete aanname dat annotatoren slechts ruisende instrumenten zijn die een enkele onderliggende waarheid meten. Dit artikel daagt die aanname uit door te onderzoeken of de keuze van de annotatorenpool de labels op itemniveau en daarmee de modelranglijsten significant verandert. De auteur merkt op dat bestaande datasets zoals MULTIPREF expliciet uitgaan van de afwezigheid van intra-groep variabiliteit, een aanname die dit werk tracht te testen.

Methodologie
De studie maakt gebruik van een vergelijkende analyse over twee verschillende corpora waarbij meerdere annotatorenpools dezelfde items hebben beoordeeld:

MULTIPREF: Een dataset van 10.461 paarvergelijkingen geannoteerd door zowel crowdworkers als gescreende domeinexperts. De analyse richt zich op een subset van 2.885 items waar beide pools intern unaniem waren (geen tie-breaking conventies vereist), wat een zuivere vergelijking van "expert-gold" versus "crowd-gold" labels garandeert.
MT-BENCH: Een subset van 246 items beoordeeld door zowel de oorspronkelijke auteurs van de benchmark als een gerekruteerde pool van experts.

De auteur mat drie niveaus van divergentie:

Item-niveau Divergentie: De frequentie waarmee pools verschillende meerderheidslabels toekennen of de winnaar omdraaien.
Geaggregeerde Invariantie: De stabiliteit van modelranglijsten (gemeten via Kendall $\tau$ ) bij het wisselen tussen expert- en crowd-labels.
Perturbatieanalyse: Een statistische examinatie van hoe het wisselen van pools de winstpercentages van modellen en de waarschijnlijkheid van model-dislocatie in leaderboards van variërende groottes ( $K=6$ tot $K=50$ ) beïnvloedt.
LLM Judge Validatie: Drie LLM-judges (twee van één leverancier, één van een andere) werden geëvalueerd tegenover beide pools om te bepalen of zij nauwer aansluiten bij crowd- of expertvoorkeuren.

Cruciaal is dat de auteur vooraf geregistreerde beslisregels heeft gehanteerd om post-hoc selectiebias te vermijden, inclusief een regel om de analyse te stoppen als de ranglijsten identiek bleven ( $\tau > 0,9$ ) om "hunting" voor flips te voorkomen.

Belangrijkste Resultaten

Significante Discrepantie op Item-niveau: Ondanks de aanname van uniformiteit, verschillen de pools substantieel. Op de unanieme subset van MULTIPREF kenden de expert- en crowdpools voor 23,6% van de items verschillende meerderheidslabels toe en draaiden ze de winnaar in 9,2% van de gevallen om. Vergelijkbare resultaten werden gevonden in MT-BENCH (30,5% verschil in labels, 8,5% omdraaiing van de winnaar).
Geaggregeerde Invariantie in Kleine Leaderboards: Ondanks de hoge ruis op itemniveau, waren de resulterende model-leaderboards voor beide corpora bit-identiek ( $\tau = 1,00$ ) met nul verplaatste modellen bij het wisselen van pools. Deze invariantie hield stand bij meerdere tie-breaking conventies.
Fragiliteit van Invariantie: De auteur demonstreert dat deze stabiliteit een artefact is van het kleine aantal modellen (6) en de specifieke spreiding van hun winstpercentages.
- Het wisselen van pools verschuift de winstpercentages van modellen met gemiddeld 1,9 procentpunt (pp) (SD).
- Hoewel de 6-model leaderboard stabiel bleef, laat een parametrische schatting zien dat een 10-model leaderboard met 86% waarschijnlijkheid zou worden verplaatst, en een 20-model leaderboard met 99,97% waarschijnlijkheid onder dezelfde perturbatie.
- De geobserveerde stabiliteit is de "common outcome" voor kleine $K$ , en geen eigenschap van de aggregatiemethode.
LLM Judge Bias: Alle drie de geteste LLM-judges sloten meetbaar sterker aan bij de crowd-meerderheid dan bij de expert-meerderheid (verschillen van -6,9pp, -5,2pp en -3,7pp). Dit suggereert dat de gerapporteerde overeenstemming van een LLM-judge met "mensen" deels een verklaring is over welke menselijke pool is ingehuurd.
Judge Sensitiviteit: De studie vond ook dat LLM-judges zeer gevoelig zijn voor outputformaat (JSON versus kale tokens) en presentatievolgorde, waarbij formaatwijzigingen de zelf-overeenstemming lieten dalen naar ~47%.

Belangrijkste Bijdragen

Meting van Divergentie: Kwantificeert dat de divergentie op itemniveau tussen expert- en crowdpools groot is (ca. 9–30% afhankelijk van de metriek) en niet beperkt is tot moeilijke randgevallen.
Onderscheid tussen Niveaus: Stelt een cruciaal onderscheid vast tussen betrouwbaarheid op itemniveau en leaderboard stabiliteit. Het artikel betoogt dat een stabiele leaderboard niet impliceert dat de labels per item betrouwbaar zijn; het impliceert eerder dat de modellen ver genoeg uit elkaar liggen om de ruis te absorberen.
LLM Judge Alignment: Demonstreert dat LLM-judges systematisch de crowd-voorkeuren volgen boven de expert-voorkeuren, wat de geldigheid van het gebruik van judges als neutrale validators zonder specificatie van de referentiepool uitdaagt.
Beperkingen van Datasets: Benadrukt dat veel bestaande corpora (bijv. PRISM, HELPSTEER2) de identiteit per annotator weggooien, waardoor dit type analyse onmogelijk wordt en potentieel significante evaluatiebiases maskeert.

Betekenis en Claims
Het artikel claimt dat de afhankelijkheid van het veld van kleine leaderboards (bijv. 6 modellen) een vals gevoel van veiligheid creëert met betrekking tot de robuustheid van evaluaties. De geobserveerde invariantie ( $\tau=1,00$ ) is geen bewijs dat de keuze van de annotator irrelevant is; het is bewijs dat de specifieke leaderboard-configuratie toevallig "veilig" was voor die specifieke perturbatiegrootte.

De auteur betoogt dat:

Het rapporteren van een leaderboard zonder de annotatorenpool te specificeren, ondergespecificeerd is.
De inferentie van betrouwbaarheid per item vanuit de stabiliteit van de leaderboard ongeldig is.
Elk evaluatiemechanisme dat per-item labels consumeert (zoals training van reward modellen, actieve annotatie-routing of LLM-judge validatie) niet veilig is op enig niveau, aangezien de onderliggende labelruis substantieel is.
De "veiligheid" van de huidige kleine leaderboards niet generaliseert naar de grotere arena's waar het veld daadwerkelijk publiceert.

Het artikel concludeert dat de keuze van de annotatorenpool een fundamentele ontwerpbeslissing is die de gemeten modelcompetentie direct beïnvloedt, en frameert dit als een vraagstuk van mens-AI co-evolutie in plaats van louter dataset-hygiëne.

Meer zoals dit