Technische Samenvatting: Een Tweefasige Stabiliteitsstudie van LLM-Beoordelaars en Raadsleden van de Barcommissie over Vrije Essayvragen voor de Thaise Bar-examens

Probleemstelling

De huidige evaluatie van vrije juridische essays met Natural Language Processing (NLP) rust op twee ongeteste aannames: (1) dat onderlinge overeenstemming tussen gekwalificeerde menselijke experts een enkele, vlakke "stabiliteitsplafond" definieert voor alle items, en (2) dat het succes van een LLM-beoordelaar wordt gemeten aan de hand van hoe dicht zijn overeenstemming met dit menselijke panel dit plafond benadert. Deze studie daagt deze aannames uit door te onderzoeken of expertstabiliteit uniform is over items en of populaties van LLM-beoordelaars het volledige spectrum van legitieme menselijke interpretaties reproduceren of slechts convergeren naar één meerderheidslezing. De studie richt zich op het Thaise Bar-examen, een hoog-risico, vrije essaybeoordeling waarbij het cijfergeven zowel deterministische correctheid (overeenstemming met een gouden antwoord) als interpretatieve kwaliteit (diepgang van redenering) omvat, waarbij laatstgenoemde vaak ontbreekt aan expliciete regelgevende richtlijnen.

Methodologie

Het onderzoek hanteert een tweefasig protocol met identieke inputs om de rollen van examinee en beoordelaar te isoleren, terwijl inputvariatie wordt gecontroleerd.

Fase 1: LLM's als Examinees

• Deelnemers: 42 Thaise rechtenstudenten en 8 LLM's (waaronder Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro, en anderen).
• Taak: Deelnemers beantwoordden drie essayvragen over het Burgerlijk en Handelsrecht onder geblindeerde omstandigheden.
• Beoordeling: Drie door de Barcommissie opgeleide examinatoren (A, B, C) beoordeelden de antwoorden met een gepubliceerde rubric met 8 niveaus. De examinatoren waren niet op de hoogte van welke deelnemers LLM's waren.
• Uitkomst: Er werd een basisverdeling van vaardigheden vastgesteld waarbij LLM's binnen de verdeling van menselijke studenten vielen, waardoor werd gegarandeerd dat de beoordelingstaak niet triviaal was.

Fase 2: LLM's als Beoordelaars

• Corpus: Een subset van 15 kruisgewijs beoordeelde cellen (5 antwoorden $\times$ 3 examinatoren) werd geselecteerd voor diepgaande analyse.
• Inputs: Alle beoordelaars (3 mensen en 26 LLM's) ontvingen exact dezelfde vier-tuple inputs: de vraag, de officiële beoordelingsregeling, het gouden antwoord en het essay van de kandidaat.
• LLM-panel:
  • Anker-subpanel: Drie gesloten frontier-modellen (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) ondergingen rigoureuze instrumentatie, inclusief determinisme-probes (3 zaden bij $T=0$), input-ablaties (regeling en gouden antwoord achtergehouden) en bootstrap-vertrouwensintervallen.
  • Uitgebreid panel: 23 extra modellen, variërend van gesloten frontier (groot/klein), vlaggenschip open-gewicht, tot kleine open-gewicht-niveaus, werden toegevoegd om structurele claims op populatieniveau te toetsen.
• Maten: Stabiliteit werd gemeten met Krippendorff's $\alpha$, paarsgewijze Pearson-correlaties en Cohen's gewogen $\kappa$.

Belangrijkste Bijdragen

1. Asymmetrische Convergentie op Populatieniveau: De studie identificeert een structurele asymmetrie in het gedrag van LLM-beoordelaars. Bij items waar de rubric stil is over de interpretatie van een correct eindantwoord met weggelaten wetsartikelen (de "regeling-stille" grens), splitst het menselijke panel zich in twee coherente lezingen (een meerderheidslezing B/C en een minderheidslezing A). De LLM-populatie splitst niet symmetrisch; 22 van de 26 LLM's convergeren naar de meerderheidslezing (B/C), 3 zitten in een middenkloof, en slechts 1 (GPT-5.4 Nano) nadert de minderheidslezing (A) zonder consistent binnen die lezing te scoren. Geen enkele LLM reproduceert de minderheidslezing.
2. Ontkoppeling van Examinee-vaardigheid en Beoordelaarsstabiliteit: Met behulp van het dubbelrolontwerp (dezelfde 8 LLM's als examinees en beoordelaars) toont het artikel aan dat de prestatie van een model als examinee niet voorspelt hoe het als beoordelaar aligneert. Zwakkere examinees worden vaak sterkere B/C-gealigneerde beoordelaars, terwijl top-scorers niet noodzakelijkerwijs aligneren met de minderheidslezing. Het schalen van vaardigheid duwt de LLM-populatie niet naar de minderheidslezing.
3. Geïnstumenteerd Ankerpanel: De oprichting van een subpanel van drie LLM's met volledige instrumentatie (determinisme, ablaties, bootstrap CIs) dat een panel-$\alpha$ van 0,77 bereikte, aanzienlijk hoger dan het menselijke panel met 0,36 op de betwiste items.

Belangrijkste Resultaten

Stabiliteitsmaten

• Niet-betwiste Items: Op 10 van de 15 cellen (Vragen 1 en 3), waar de rubric beide assen voorschrijft, zijn menselijke en LLM-panelen stabiliteitsequivalent ($\alpha \approx 0,75$).
• Betwiste Items: Op de 5 cellen van Vraag 2 (regeling-stille grens) stort het menselijke panel in tot $\alpha = -0,34$ vanwege de splitsing tussen Examinator A (strenger, score 1–2) en Examinatoren B/C (mild, score 6–8).
• LLG-gedrag op Betwiste Items: Het LLM-panel behoudt hoge stabiliteit ($\alpha = 0,68$) maar convergeert uitsluitend naar de B/C-lezing.
  • 22/26 LLM's: Scoren in het B/C-bereik ($m_c \in [5, 8]$).
  • 3/26 LLM's: Scoren in de middenkloof ($3 < m_c < 5$).
  • 1/26 LLM's (GPT-5.4 Nano): Nadert het A-bereik ($m_c = 2,33$) maar faalt om consistent binnen dit bereik te scoren.
  • Resultaat: Geen enkele LLM reproduceert de menselijke minderheidslezing.

Diagnose van Falingsmodi

De studie identificeert drie distincte falingsmodi bij LLM's die afwijken van de meerderheidscluster:

1. Schaalquantisatie (Claude Haiku 4.5): Het ineenstorten van de scoreschaal naar een binair slaag-zak-bucket (3,5 of 7,5), waardoor het niet in staat is om scores in het middenbereik tot uitdrukking te brengen.
2. Alleen-eindantwoord-beoordeling (GPT-5.4 Mini): Het negeren van de interpretatieve as en het toekennen van hoge scores uitsluitend op basis van de correctheid van de uiteindelijke conclusie, ongeacht de kwaliteit van de redenering.
3. Redenering-streng beoordeling (GPT-5.4 Nano): Het streng straffen van weggelaten citaten op de interpretatieve as, wat aligneert met de minderheidslezing A, maar zonder consistentie over de volledige dataset.

Robuustheidstests

• Determinisme: Bij $T=0$ tonen de anker-LLM's hoge intra-beoordelaarsstabiliteit (Claude $\alpha=0,998$), wat bevestigt dat de inter-modeldiversiteit (0,77) een eigenschap is van de populatie en geen artefact van ruis.
• Input-ablaties: Het verwijderen van de regeling of het gouden antwoord vermindert de stabiliteit van het LLM-panel, maar keert de richting van de kloof niet om (LLM $\alpha$ blijft hoger dan menselijk $\alpha$).
• Dubbelrol-analyse: De correlatie tussen examinescore en cluster-alignement van de beoordelaar is exploratief en negatief ($r = -0,34$), wat suggereert dat zwakkere examinees (die mogelijk meer vertrouwen op de deterministische as) als beoordelaars sterker aligneren met de B/C-meerderheid.

Betekenis en Claims

Het artikel stelt dat het "stabiliteitsplafond" in juridische NLP geen vlakke lijn is, maar een breuklijn gelegen bij regeling-stille grenzen waar de rubric de interpretatieve kwaliteit overlaat aan het oordeel van experts.

• Asymmetrie van Overeenstemming: Hoge overeenstemming binnen het LLM-panel ($\alpha$) impliceert geen gebalanceerde reproductie van menselijke variantie. In plaats daarvan weerspiegelt het systematische convergentie naar de menselijke meerderheidslezing. Een benchmark die een LLM-beoordelaar selecteert door overeenstemming met een menselijk referentiepanel te maximaliseren (dat doorgaans scheefgetrokken is door de meerderheid), zal bij constructie deze asymmetrie erven en beoordelaars filteren die in staat zijn tot de minderheidslezing.
• De Interpretatieve Bottleneck: De studie definieert de "interpretatieve bottleneck van de rubric" als de specifieke zone waar de regeling stil is over hoe een correct antwoord met onvolledige redenering moet worden beoordeeld. In deze zone splitsen menselijke panelen zich natuurlijk in coherente, legitieme lezingen, terwijl LLM-populaties convergeren naar één kant.
• Beperkingen van Schalen: De bevindingen suggereren dat het simpelweg schalen van modelcapaciteit deze asymmetrie niet oplost; grotere modellen adopteren niet spontaan de minderheidslezing. De convergentie is een structurele eigenschap van het LLM-ensemble op deze specifieke rubric, onafhankelijk van modelgrootte, leverancier of prijsklasse.

Het artikel concludeert dat huidige evaluatieprotocollen de volledige ruimte van legitieme menselijke lezingen verbergen. Het pleit voor benchmarks die per interpretatief geval panelstabiliteit rapporteren en LLM-beoordelaars evalueren tegen meerdere legitieme menselijke lezingen in plaats van tegen één gemiddeld doelwit.