Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

Technische Samenvatting: Multi-Model Deliberatie voor Stabiliteit in Geautomatiseerde Beoordeling

Probleemstelling
Hoewel Large Language Models (LLM's) veelbelovend zijn voor geautomatiseerde essaybeoordeling, wordt hun praktische inzetbaarheid in educatieve toetsing gehinderd door instabiliteit in de beoordeling en een gebrek aan validatie over verschillende contexten heen. Bestaand onderzoek geeft prioriteit aan voorspellende nauwkeurigheid (overeenstemming met menselijke beoordelaars), maar verwaarloost vaak de betrouwbaarheid—specifiek, de consistentie van een model wanneer hetzelfde antwoord herhaaldelijk wordt geëvalueerd. Als probabilistische generatoren introduceren LLM's een stochastische variabiliteit die vergelijkbaar is met vermoeidheid bij menselijke beoordelaars, wat de educatieve rechtvaardigheid en validiteit bedreigt. Klassieke meettheorie stelt dat betrouwbaarheid een voorwaarde is voor validiteit; een instrument dat verschillende scores geeft voor hetzelfde antwoord, kan geen geldige conclusies ondersteunen. Bovendien falen traditionele ensemblemethoden (bijv. eenvoudige middeling) erin om "cognitieve kalibratie" te bevorderen, omdat ze geïsoleerde oordelen aggregeren zonder informatie-uitwisseling of gezamenlijke redenering te faciliteren.

Methodologie
De studie stelt een Multi-Model Deliberatie Framework voor, gebaseerd op de theorie van collectieve intelligentie. Dit framework herconceptualiseert geautomatiseerde beoordeling als een deliberatief proces waarbij drie heterogene, open-source Chinese LLM's worden ingezet: Baichuan2-13B, Qwen2.5-14B en ChatGLM4-9B. Het proces verloopt in drie opeenvolgende rondes:

1. Onafhankelijke Beoordeling (R1): Modellen beoordelen een antwoord in isolatie, waarbij ze initiële scores en rationales genereren.
2. Informatie-uitwisseling (R2): Modellen worden gepresenteerd met de scores en rationales van de andere twee modellen. Ze worden geprompt om het antwoord opnieuw te evalueren, met de optie om hun score aan te passen of hun oorspronkelijke oordeel te handhaven op basis van het nieuwe bewijs.
3. Definitieve Bevestiging (R3): Modellen ontvangen de volledige set aanpassingen en rationales uit R2 en dienen een definitieve eindscore in.

Het framework werd geëvalueerd over twee complementaire datasets om generaliseerbaarheid en stabiliteit te testen:

• ASAP-AES Corpus: Een publieke benchmark die ongeveer 13.000 K-12 student-essays bevat, verdeeld over acht schrijfprompts. Voor deze studie werden doelbewust vijf essays per prompt gesampled (dekking van bovenste, middelste en onderste scoresegmenten) om een testset van 40 essays te creëren, met 30 trials per essay (7.350 kenmerk-niveau observaties).
• Journalism Corpus: Authentieke reacties van een Chinese universiteitsopleiding journalistiek (10 essays, 100 trials elk) beoordeeld door een deskundige menselijke beoordelaar.

De studie vergeleek het voorgestelde deliberatie-ensemble met single-model baselines, eenvoudige gemiddelde/mediaan ensembles en post-deliberatie single-model beoordeling. De gebruikte metrieken waren Cross-Model Mean Absolute Error (MAE) voor convergentie, Coefficient of Variation (CV) voor stabiliteit, en rangorde-correlaties met menselijke scores.

Belangrijkste Resultaten

• Significante Reductie in Discrepantie: Op het ASAP-AES corpus nam de inter-model discrepantie (MAE) significant af van R1 naar R3 over alle prompts (Holm-gecorrigeerde p < 0,001). De geaggregeerde effectgrootte was groot (Cohen's dz = 1,08), met een rang-biseriale correlatie van 0,92, wat aangeeft dat deliberatie consistent tot convergentie leidde, ongeacht genre of rubric-schaal.
• Verbeterde Stabiliteit: Op het journalism corpus daalde de Coefficient of Variation (CV) voor het deliberatie-ensemble van 7,29% (baseline) naar 2,78%, wat een relatieve verbetering van 61,9% vertegenwoordigt (t(9) = 7,98, p < 0,001). Deze verbetering presteerde significant beter dan eenvoudige ensemble-strategieën (die de CV met 40,8% verminderden) en post-deliberatie single-model beoordeling (34,2% verbetering), wat een synergetisch effect aantoont tussen deliberatie en aggregatie.
• Ronde-decompositie: Het convergentie-effect werd opgedeeld in twee segmenten. De informatie-uitwisselingsronde (R1 naar R2) was verantwoordelijk voor ongeveer twee derde (66–69%) van de totale convergentie, terwijl de definitieve bevestigingsronde (R2 naar R3) het resterende derde deel (31–34%) bijdroeg. Beide stadia bleken statistisch significant en niet-redundant te zijn.
• Modelheterogeniteit en Gedrag: De drie modellen vertoonden een duidelijke, consistente rol over de datasets heen. Baichuan2 fungeerde als een conservatieve "anker" met minimale scorewijzigingen; Qwen diende als een "actieve aanpasser", die regelmatig scores naar boven bijstelde; en ChatGLM functioneerde als een "robuuste rechter", die een balans vond tussen aanpassing en weerstand tegen groepsdenken. Deze heterogeniteit voorkwam voortijdige convergentie.
• Afstemming met Menselijke Scores: Hoewel deliberatie de precisie (stabiliteit) verbeterde, veroorzaakte het een systematische opwaartse verschuiving in absolute scores ten opzichte van menselijke beoordelaars (bijv. +13,46 punten op de 100-punten schaal van de journalistiek-corpus). Echter, de rangorde-correspondentie met menselijke scores bleef grotendeels behouden (Spearman ρ = 0,75 op de journalistiek-corpus). De studie toonde aan dat deze systematische bias gecorrigeerd kon worden via standaard lineaire kalibratie tegen menselijke ankers, wat de Mean Absolute Error met 50,3% verminderde.

Kernbijdragen

1. Herformulering van Beoordelingsbetrouwbaarheid: De studie verschuift de focus van louter voorspellende nauwkeurigheid naar meetbetrouwbaarheid, door een deliberatieframework voor te stellen dat stabiliteit bereikt door actieve cognitieve kalibratie in plaats van numerieke foutencancelling.
2. Empirische Validatie: Het levert robuust bewijs voor de effectiviteit van het framework over diverse talen (Chinees/Engels), genres (argumentatief/narratief) en beoordelingsschalen, waarmee de generaliseerbaarheid van multi-model deliberatie wordt gevalideerd.
3. Karakterisering van Mechanismen: Het onderzoek karakteriseert de specifieke convergentiepatronen en aanpassingsgedragingen van heterogene modellen, waarbij wordt aangetoond dat informatie-uitwisseling het merendeel van de convergentie drijft, terwijl een definitieve bevestigingsronde de noodzakelijke stabilisatie biedt.

Betekenis en Claims
Het artikel claimt dat multi-model deliberatie de stabiliteit van geautomatiseerde beoordeling aanzienlijk verbetert, waardoor LLM's levensvatbaarder worden voor educatieve toetsing waar consistentie cruciaal is voor rechtvaardigheid. De auteurs stellen dat hoewel deliberatie de precisie (betrouwbaarheid) van scores verbetert, dit niet automatisch de validiteit (absolute afstemming met menselijke standaarden) garandeert. Daarom wordt het framework gepresenteerd als een precisie-verhogende laag die gekoppeld moet worden aan menselijk verankerde kalibratie voor toepassingen met een hoge inzet. De studie concludeert dat een dergelijk systeem de formatieve beoordeling kan ondersteunen en de werkdruk bij het nakijken kan verminderen, mits het menselijk professioneel oordeel centraal blijft staan in het evaluatieproces en systematische biases worden beheerd via kalibratie. De bevindingen suggeren dat de "collectieve wijsheid" van heterogene modellen, wanneer gestructureerd door deliberatie, een pad biedt naar meer betrouwbare geautomatiseerde beoordeling dan eenvoudige aggregatie of single-model benaderingen.