Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement

Technische Samenvatting: Kwantificering van het Statistische Effect van Rubric-wijzigingen op de Overeenkomst tussen Mens en Autorater

Probleemstelling
Autoraters (LLM als beoordelaars) worden steeds vaker ingezet voor evaluatie en contentmoderatie vanwege hun schaalbaarheid en kosteneffectiviteit. Hun betrouwbaarheid wordt echter doorgaans gevalideerd via overeenstemming met menselijke annotaties. Er bestaat een kritieke lacune in het begrijpen hoe wijzigingen in evaluatie-rubrics – specifiek de overgang van holistische (totale oordelen) naar analytische (ontbonden criteria) formaten, en de opname van voorbeelden of context – de statistische overeenstemming tussen mensen en autoraters beïnvloeden. Hoewel bekend is dat rubric-aanpassingen de individuele scorenauwkeurigheid verbeteren voor zowel mensen als modellen op zichzelf, blijft onduidelijk of deze wijzigingen de twee beoordelaars op elkaar afstemmen of juist nieuwe bronnen van onenigheid introduceren. Bovendien suggereert de gevoeligheid van autoraters voor prompt-variaties (bijvoorbeeld positionele bias, verbositeit-bias, opmaak) dat rubrics die voor mensen zijn ontworpen, mogelijk niet optimaal zijn voor modellen, en vice versa.

Methodologie
De studie onderzoekt de overeenstemming tussen mens en autorater in twee distincte domeinen: Automatic Essay Scoring (AES) en Instruction-Following (IF) evaluatie.

• Datasets:
  • AES: Gebruik van het ASAP-dataset (Hamner et al., 2012) voor holistische scores en ASAP++ (Mathias en Bhattacharyya, 2018) voor analytische sub-criteria. Drie essay-prompten (1, 4 en 6) die variërende complexiteit en rubric-types (algemeen versus taak-specifiek) vertegenwoordigen, werden geselecteerd.
  • IF: Gebruik van het InfoBench-dataset (Qin et al., 2024), dat zowel holistische scores (schaal 1-5) als ontbonden analytische scores (binair ja/nee) biedt voor instruction-following taken.
• Autoraters: De experimenten maakten gebruik van GPT-4o-2024-11-20 en Llama-3.1-70B-Instruct. Scores werden berekend met behulp van een waarschijnlijkheidsweegschema om finale scores af te leiden uit log-probabiliteiten.
• Experimenteel Ontwerp: De studie manipuleerde de presentatie van rubrics langs twee assen:
  1. Beoordelaarstype: Vergelijking van Mens-Mens (HH) versus Mens-Autorater (LLM) overeenstemming ($\Delta$Beoordelaar).
  2. Rubric-type: Vergelijking van Holistische versus Analytische rubrics ($\Delta$Rubric).
  • Wijzigingen: Rubrics werden bewerkt om representatieve voorbeelden (3ex: hoog, gemiddeld, laag), aanvullende context en strategieën om positionele bias te mitigeren (afzonderlijke API-calls voor elk sub-criterium versus gebundelde calls) op te nemen.
• Overeenstemmingsmaten: Kendall's $\tau$ met rekening houdend met gelijke waarden (ties) werd gebruikt om ordinale overeenstemming te meten. Voor analytische rubrics werden scores geaggregeerd met behulp van Pareto-dominantie (voor AES) of instruction-following-ratio's (voor IF) om vergelijking met holistische scores mogelijk te maken. Statistische significantie werd bepaald via bootstrapping met 95% betrouwbaarheidsintervallen en Bonferroni-correcties voor meervoudige vergelijkingen.

Belangrijkste Bijdragen en Resultaten
De studie levert empirisch bewijs over hoe specifieke keuzes in rubric-engineering de uitlijning tussen menselijke en geautomatiseerde scoring beïnvloeden:

1. Invloed van Voorbeelden en Context:

   • Het verstrekken van representatieve voorbeelden en contextuele informatie in bewerkte analytische rubrics verhoogde de mens-autorater overeenstemming aanzienlijk voor AES-taken bij gebruik van GPT-4o.
   • Deze bewerkingen verbeterden ook de autorater-zelfovereenstemming (consistentie over verschillende rubric-types), waarbij in specifieke voorwaarden vaak de mens-mens overeenstemmingsniveaus werden overtroffen.
   • Bij IF-taken was het effect van voorbeelden gemengd; terwijl Llama verbetering liet zien, nam de overeenstemming van GPT-4o niet consequent toe, wat wijst op domein-afhankelijkheid.

2. Holistische versus Analytische Decompositie:

   • Het ontbinden van holistische oordelen in analytische sub-criteria verbeterde de overeenstemming niet universeel. Bij AES verbeterden analytische rubrics de overeenstemming voor complexe prompten (Prompt 1), maar verminderden ze deze soms voor eenvoudigere prompten (Prompten 4 en 6), waarschijnlijk door verhoogde cognitieve belasting of aggregatiecomplexiteit.
   • Bij IF resulteerden analytische prompten over het algemeen in lagere overeenstemming dan holistische prompten, mogelijk door de beperkingen van op ratio gebaseerde aggregatiemethoden die de variërende gewichten van sub-criteria inherent aan holistisch menselijk oordeel niet vastleggen.

3. Mitigatie van Bias:

   • Het verminderen van bevestigingsbias door sub-criteria te evalueren in afzonderlijke API-calls (in plaats van één gebundelde prompt) verbeterde de overeenstemming aanzienlijk voor beide modellen in AES- en IF-taken.
   • Gebundelde prompten vertoonden een bias naar "ja"-antwoorden in binaire IF-taken, afwijkend van menselijke responsverdelingen.

4. Rol van Menselijke Inter-beoordelaars Overeenstemming:

   • Hoge menselijke inter-beoordelaars overeenstemming was een sterke voorspeller van hoge mens-autorater overeenstemming. Wanneer menselijke annotatoren aanzienlijk van mening verschilden, daalde de uitlijning van de autorater met de geaggregeerde menselijke score, met name bij IF-taken.

Betekenis en Claims
De auteurs claimen dat het ontwerpen van betrouwbare autoraters een genuanceerd begrip vereist van de interactie tussen domein, rubric-type en beoordelaarskenmerken. De bevindingen suggereren dat:

• Rubric-wijzigingen Uitmaken: Het toevoegen van voorbeelden en context, en het verminderen van positionele bias (via afzonderlijke calls), effectieve strategieën zijn om de mens-autorater overeenstemming te verhogen, maar hun effectiviteit is afhankelijk van het specifieke domein en model.
• Decompositie is geen Panacee: Het simpelweg ontbinden van holistische rubrics in analytische delen garandeert geen betere uitlijning; de complexiteit van de evaluatietaken en de gebruikte aggregatiemethode zijn kritieke modererende factoren.
• Menselijke Consistentie is Fundamenteel: Hoge menselijke inter-beoordelaars overeenstemming is een voorwaarde voor hoge mens-autorater overeenstemming. Rubrics fungeren als het primaire instrument om de "ground truth" vast te stellen die nodig is om autoraters te trainen en te evalueren.

Het artikel concludeert dat praktici de domeinspecifieke prestaties zorgvuldig moeten analyseren en rubric-aanpassingen (bijvoorbeeld selectie van voorbeelden, bias-reductie) moeten afstemmen, in plaats van een one-size-fits-all-benadering toe te passen op rubric-ontwerp voor geautomatiseerde evaluatie.

Beperkingen
De auteurs erkennen dat de bevindingen beperkt zijn tot twee domeinen (AES en IF) en twee specifieke autoraters. De studie vertrouwt op bestaande datasets in plaats van gecontroleerde verzameling van menselijke annotaties, wat variabiliteit in de expertise van annotatoren kan introduceren. Bovendien is de reikwijdte beperkt tot hoog-resourcetaken in het Engels, waardoor de generaliseerbaarheid naar andere talen en evaluatiecontexten (bijvoorbeeld samenvatting, dialoog) onontdekt blijft.