Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

Technische Samenvatting: Verbetering van Reproduceerbaarheid in Evaluatie via Multi-Level Annotator Modeling

Probleemstelling
De snelle proliferatie van generatieve AI (GenAI) heeft een kritieke reproduceerbaarheidscrisis in machine learning-evaluatie blootgelegd. Huidige evaluatieprotocollen vertrouwen vaak op benchmarks waarbij elke input is gekoppeld aan één "goudstandaard"-output, een paradigma dat geen rekening houdt met de inherente stochasticiteit van inferentie en de subjectieve variatie die door menselijke annotatoren wordt geïntroduceerd. Standaardpraktijken aggregeren doorgaans 3 tot 5 annotaties per item tot één label, waarbij men meningsverschillen tussen beoordelaars effectief behandelt als ruis in plaats van als een signaal van subjectieve complexiteit. Bovendien gaan bestaande statistische benaderingen er vaak van uit dat annotaties voor verschillende items onafhankelijk zijn, en negeren ze de realiteit dat dezelfde annotatoren vaak meerdere items beoordelen. Dit falen om de hiërarchische afhankelijkheid tussen beoordelaars en items te modelleren, leidt tot een overschatting van de statistische power, wat resulteert in onderschatte p-waarden en potentieel onbetrouwbare conclusies over modelprestaties.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs een multi-level bootstrapping-raamwerk voor dat is ontworpen om annotatorgedrag en -variatie realistisch te modelleren. De studie maakt gebruik van drie real-world datasets met persistente beoordelaarsidentificatoren en meerdere annotaties per item: DICES 350 (volledig gekruiste matrix), het Stanford Toxicity-dataset (gebatchte annotaties) en D3code (interculturele annotaties).

De kernmethodologische innovatie omvat drie distincte niet-parametrische bootstrap-steekproefstrategieën (S1, S2, S3) die zijn geïmplementeerd binnen een simulatieraamwerk gebaseerd op de Variance Estimation Toolkit (VET):

• S1 (Steekproeven Items en Beoordelaars): Gaat uit van een volledig gekruist ontwerp waarbij items en beoordelaars onafhankelijk met teruglegging worden geselecteerd. Deze benadering negeert de afhankelijkheid van beoordelaars over items heen.
• S2 (Steekproeven Items en Beoordelaars binnen een Item): Selecteert items met teruglegging, en selecteert vervolgens beoordelaars specifiek uit de pool van beoordelaars die dat specifieke item hebben geannoteerd. Dit modelleert de realiteit dat beoordelaars subsets van items annoteren, maar legt geen batchstructuren op.
• S3 (Steekproeven Gestratificeerde Batches): Selecteert batches van items die door dezelfde set beoordelaars zijn geannoteerd, en steekt vervolgens items en beoordelaars binnen die batches opnieuw. Dit vangt batch-specifiek beoordelaarsgedrag op.

Het simulatieraamwerk genereert data voor een goudstandaard (G) en twee modellen (A en B), waarbij Model B met een kleine hoeveelheid ($\epsilon$) wordt verstoord om een prestatieverschil te simuleren. Vervolgens worden Nulhypothese Significantietests (NHST's) toegepast om Model A en Model B te vergelijken onder deze verschillende steekproefregimes, om te observeren hoe p-waarden en vereiste steekproefgroottes (N items, K beoordelaars) verschuiven.

Belangrijkste Bijdragen

1. Multi-Level Modeling: Het artikel introduceert een raamwerk dat expliciet rekening houdt met de hiërarchische structuur van beoordelaar-item-interacties, en voorbijgaat aan de aanname van conditionele onafhankelijkheid tussen items.
2. Empirische Trade-off Analyse: De studie analyseert systematisch de trade-offs tussen het aantal items ($N$) en het aantal responsen per item ($K$) die nodig zijn om statistische significantie te bereiken onder verschillende steekproefaannames.
3. Metersensitiviteit: De auteurs evalueren acht distincte meters (waaronder Accuracy, MAE, Wins, Precision, Recall, F1-Score, KL-Divergentie en Jensen-Shannon Afstand) om te bepalen hoe verschillende evaluatiemaatstaven reageren op het modelleren van beoordelaarsvariatie.

Resultaten
De experimentele resultaten tonen aan dat het niet rekening houden met beoordelaarsgedrag over items heen leidt tot aanzienlijke onderschattingen van p-waarden, waardoor de waargenomen statistische power van een dataset wordt opgeblazen.

• Impact van Modeling: Bij vergelijking van S1 (onafhankelijke steekproeven) met S2 (itemspecifieke beoordelaarssteekproeven), levert S2 consequent lagere p-waarden op en vereist hogere budgetten om significantie te bereiken. Bijvoorbeeld, op het DICES-dataset met de Accuracy-meter, daalde de p-waarde van 0,045 (S1) naar 0,019 (S2) bij een vast budget van $N \times K = 5000$.
• Budgetvereisten: Het rekening houden met beoordelaarsvariatie verhoogt het totale annotatiebudget ($N \times K$) dat nodig is om betrouwbare nulhypothese significantietests te verkrijgen. Bijvoorbeeld, op het Toxicity-dataset vereiste het bereiken van significantie voor Accuracy een budget van 500 onder S2, maar dit steeg vijfvoudig naar 2500 onder de gestratificeerde batch-benadering (S3).
• Optimale K versus N: De studie vindt dat het verhogen van het aantal responsen per item ($K$) vaak kritischer is voor het bereiken van significantie dan het verhogen van het aantal items ($N$), met name voor distributiesensitieve meters zoals MAE en JSD. In meerdere gevallen verschoften optimale $K$-waarden van 40 naar 100 bij de overstap van S1 naar S2-modeling.
• Effecten van Downsampling: Experimenten waarbij het DICES-dataset werd gedownsampt naar 5 beoordelaars, toonden aan dat kleine beoordelaarspools leiden tot scheiding in p-waardeverdelingen over budgetten heen, wat suggereert dat beperkte beoordelaarsdiversiteit de stabiliteit van schattingen significant beïnvloedt.

Betekenis en Claims
Het artikel betoogt dat de huidige afhankelijkheid van kleine aantallen annotaties (3–5 per item) en het aggregeren van labels tot één "goudstandaard" de ware variatie in menselijk oordeel verbergt. Door aan te tonen dat het rekening houden met beoordelaarsgedrag leidt tot hogere p-waarde-schattingen, claimen de auteurs dat veel eerdere evaluaties statistisch onderbemand waren of vals significant waren.

De auteurs concluderen dat om de veiligheid en betrouwbaarheid van GenAI-systemen te waarborgen, evaluatiedatasets voorbij moeten gaan aan "meerderheidsstem-architecturen". Zij raden datasetmakers aan het aantal annotatoren dat reageert op elke input te verhogen (hogere $K$) en gedesaggregeerde, op annotator-niveau data aan te leveren. Hoewel zij erkennen dat dit de evaluatiekosten verhoogt, stelt het artikel dat deze investering noodzakelijk is om de volledige verdeling van menselijke responsen te vangen en om minderheidsperspectieven niet te marginaliseren. Het werk biedt een strategische routekaart voor het optimaliseren van annotatiebudgetten ($N \times K$) om rigoureuze, reproduceerbare en statistisch onderbouwde AI-evaluaties te bereiken.