Technische Samenvatting: GradeLegal – Geautomatiseerde Beoordeling van Duitse Juridische Zaken

Probleemstelling

Het beoordelen van Duitse juridische examens is een proces met hoge risico's en een groot resourceverbruik, gekenmerkt door een tekort aan gekwalificeerde beoordelaars en een groeiend aantal studenteninleveringen (ongeveer 115.000 studenten per jaar). De taak omvat het evalueren van langere, handgeschreven casusoplossingen (10–30 pagina's) op een ordinale schaal van 18 punten. De complexiteit vloeit voort uit de noodzaak om meerdere juridisch samenhangende redeneerpaden, interne consistentie en argumentatieve stevigheid te beoordelen, in plaats van alleen oppervlakkige juistheid. Hoewel Large Language Models (LLM's) veelbelovend hebben getoond in juridisch redeneren, blijft hun toepasbaarheid op geautomatiseerde essaybeoordeling (AES) in het Duitse juridische domein onderbelicht. Bestaande studies rapporteren wisselende resultaten, vaak met een bijna nul overeenstemming in het strafrecht, en missen systematische vergelijkingen tussen modelfamilies, promptstrategieën en juridische subdomeinen.

Methodologie

De auteurs voerden een systematische evaluatie uit van 27 state-of-the-art LLM's (zowel propriëtaire als open-source, inclusief varianten met en zonder redeneercapaciteit) op een niet-openbare dataset bestaande uit 87 studentcasusoplossingen: 71 van een huiswerkexamen in strafrecht en 16 van een getimed proefexamen in publiekrecht.

Experimenteel Ontwerp

De studie vormde beoordeling als een zero-shot taak waarbij modellen een cijfer (0–18) toekennen op basis van casusfeiten en studentoplossingen. De kernvariabele was de promptstrategie, die stapsgewijs taakspecifieke informatie toevoegde:

1. Taalonafhankelijk: Minimale instructies om te beoordelen.
2. Instr.+Rubriek: Instructies plus een beoordelingsrubriek (koppeling van juridische elementen aan punten).
3. Instr.+Oplossing: Instructies plus een door een instructeur geschreven voorbeeldoplossing.
4. Instr.+Rubriek+Oplossing: Volledige context inclusief instructies, rubriek en voorbeeldoplossing.

Evaluatiemetrics

• Primaire Metric: Quadratic Weighted Kappa (QWK) om de overeenstemming tussen beoordelaars te meten met expertmenselijke cijfers, waarbij grotere afwijkingen in scores zwaarder worden bestraft.
• Secundaire Metric: Pearson-correlatie om het lineaire verband te beoordelen.
• Ensemble-benadering: De auteurs testten of het combineren van meerdere open-source modellen (met behulp van Min- en Mediaan-aggregatie) de beste individuele lid of gesloten-bronmodellen kon overtreffen.

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: De eerste systematische evaluatie van 27 LLM's (met en zonder redeneercapaciteit, open en gesloten-bron) op Duitse juridische examenuitwerking, die zowel strafrecht als publiekrecht bestrijkt.
2. Analyse van Promptstrategieën: Een gecontroleerde benchmark van promptstrategieën op een niet-openbare corpus om zorgen over datacontaminatie te mitigeren, waarbij praktische richtlijnen worden afgeleid voor het gebruik van rubrieken en voorbeeldoplossingen.
3. Validatie van Prestaties: Aantonen dat op redenering gerichte LLM's (specifiek GPT-5) expertbeoordeling kunnen benaderen in publiekrecht (QWK 0,911) wanneer ze een rubriek en voorbeeldoplossing krijgen, waarmee de menselijke inter-rater betrouwbaarheid wordt bereikt. In het strafrecht werd een aanzienlijke overeenstemming van 0,599 bereikt, wat de eerdere rapporten overtreft.
4. Effectiviteit van Ensembles: Bewijs dat ensembles van open-source modellen hun beste individuele leden kunnen overtreffen en de prestatiekloof met top-tier gesloten-bronmodellen kunnen verkleinen, waardoor een privacybehoudend alternatief wordt geboden.

Resultaten

Modelprestaties

• Redeneren versus Niet-Redeneren: Op redenering gerichte modellen presteerden consequent beter dan modellen zonder redeneercapaciteit. GPT-5 behaalde de hoogste overeenstemming in beide domeinen (0,911 in publiekrecht, 0,599 in strafrecht) onder de full-context prompt.
• Domeinverschil: De prestaties waren aanzienlijk hoger in publiekrecht dan in strafrecht voor alle modellen. De auteurs schrijven dit toe aan de hogere complexiteit en het open karakter van de strafrechtelijke dataset (huiswerk, langere redeneerketens) in vergelijking met het getimde, beperkte publiekrechtsexamen.
• Levensvatbaarheid van Open-source: Hoewel open-source modellen over het algemeen achterbleven bij de beste gesloten-bronmodellen, toonden specifieke modellen zoals Mistral-Large-3-675B en Qwen3-Next-80B-Th concurrerende prestaties. Ensembles van open-source modellen (bijv. Open-L en Open-S) slaagden erin hun beste enkele leden te overtreffen.

Impact van Prompting

• Mislukking Taalonafhankelijk: Zonder specifieke taakinformatie presteerden modellen op of nabij het willekeurigheidsniveau (QWK ~0 of negatief), wat aangeeft dat "out-of-the-box" beoordelen ontoereikend is.
• Belang van Rubriek: De beoordelingsrubriek bleek belangrijker dan de voorbeeldoplossing alleen. Het bood een expliciete koppeling van juridische kwaliteit naar de 18-puntenschaal, wat modellen moeite hadden te infereren uit alleen narratieve oplossingen.
• Synergie: De hoogste prestatie werd bereikt wanneer zowel de rubriek als de voorbeeldoplossing werden verstrekt, wat suggereert dat ze complementaire signalen bieden (expliciete punttoewijzing versus holistische structurele aanwijzingen).

Ensemble-resultaten

• Ensembles die Mediaan-aggregatie (voor sterkere modellen) en Min-aggregatie (voor gematigde modellen) gebruikten, verbeterden consequent de overeenstemming ten opzichte van het beste enkele lid.
• Ensembles verkleinden de kloof met de sterkste gesloten-bronmodellen, vooral in de full-context setting, en bieden een levensvatbaar alternatief voor privacygevoelige implementaties.

Betekenis en Claims

Het artikel stelt dat op LLM's gebaseerde beoordeling kan dienen als een schaalbaar, laag-risico formatief hulpmiddel voor zelfevaluatie van studenten en praktijkfeedback in het Duitse juridisch onderwijs, mits:

1. Op redenering gerichte modellen worden geselecteerd.
2. Gestructureerde taakinformatie (specifiek een rubriek en voorbeeldoplossing) wordt verstrekt.
3. Domeinspecifieke validatie wordt uitgevoerd, aangezien de prestaties aanzienlijk variëren tussen juridische subdomeinen (strafrecht versus publiekrecht).

De auteurs stellen expliciet dat deze resultaten niet mogen worden gebruikt voor summatieve beslissingen (eindcijfering van examens) zonder verdere validatie. De studie benadrukt dat hoewel LLM's expertoordeel kunnen benaderen, de complexiteit van strafrechtelijke beoordeling een aanzienlijke uitdaging blijft in vergelijking met publiekrecht. Het werk stelt vast dat effectief promptontwerp en modelselectie voorwaarden zijn voor betrouwbare geautomatiseerde beoordeling in dit domein.