Technische Samenvatting: Magis-Bench

Probleemstelling

Bestaande benchmarks voor juridische AI richten zich voornamelijk op advocatie-gerichte taken, zoals het opstellen van juridische argumenten of het verstrekken van juridisch advies. Een goed functionerend rechtssysteem is echter evenzeer afhankelijk van het vermogen om die argumenten te beoordelen: het afwegen van concurrerende claims, het toepassen van rechtsleer op feiten en het nemen van onderbouwde, onpartijdige beslissingen. Waar huidige evaluaties overtuigend schrijven testen, falen ze vaak in het beoordelen van de specifieke competenties die nodig zijn voor redenering op het niveau van een magistraat, wat een uitgebreide analyse en een gezaghebbende, op het recht gebaseerde oplossing vereist. Er ontbreekt benchmarks die Large Language Models (LLM's) evalueren tegen officiële certificeringscriteria die worden gebruikt bij de selectie van menselijke rechters.

Methodologie

Datasetconstructie (Magis-Bench)

De auteurs hebben Magis-Bench geconstrueerd, een dataset afgeleid van recente Braziliaanse concurrentie-examens voor rechterlijke functies (plaatsvervangende rechters). Deze examens vormen de tweede fase van de rechterlijke selectie en zijn ontworpen om het vermogen van kandidaten te beoordelen om juridische kennis toe te passen in geavanceerde schrijftaken.

• Bereik: De benchmark bestaat uit 74 vragen uit acht examens die tussen 2023 en 2025 werden afgenomen (voor zowel federale als staatsrechtbanken).
• Taaarten:
  • Discursieve juridische analyse (58 vragen): Meertrapsvragen die feitelijke scenario's presenteren die juridische analyse vereisen.
  • Opstellen van vonnissen (16 vragen): Praktische oefeningen die het opstellen van volledige civiele (8) en strafrechtelijke (8) rechterlijke vonnissen vereisen, conform het Braziliaanse procesrecht.
• Evaluatiecriteria: Elke vraag wordt begeleid door officiële evaluatierubrics geproduceerd door de examencommissies, waarin de verwachte juridische concepten, analytische stappen en structurele elementen worden gespecificeerd.

Evaluatieprotocol

De auteurs hebben 23 state-of-the-art LLM's (inclusief propriëtaire modellen van OpenAI, Anthropic, Google, Maritaca AI en diverse open-source families) geëvalueerd met behulp van een LLM-als-rechter-methodologie.

• Rechters: Vier onafhankelijke frontier-modellen fungeerden als beoordelaars: GPT-5.1, Gemini-2.5-Pro, Gemini-3-Pro-Preview en Claude-4.5-Opus.
• Scoreproces: Voor elke respons ontving de rechter de oorspronkelijke vraag, de officiële rubric en de gegenereerde output van het model. Rechters kenden een score toe van 0 tot 10 met een korte rechtvaardiging.
• Blinde evaluatie: Rechters waren blind voor de identiteit van het kandidaat-model om stijlgebonden bias te mitigeren.
• Consistentiecontroles: Om robuustheid te waarborgen, maten de auteurs de onderlinge overeenstemming tussen rechters met behulp van Kendall's $W$ (totale concordantie) en Kendall's $\tau$ (paarsgewijze rangcorrelaties). De temperatuur werd ingesteld op 0 voor rechters om reproduceerbaarheid te maximaliseren.

Belangrijkste Bijdragen

1. Magis-Bench Dataset: Een benchmark van 74 juridische taken op magistraatniveau, afgeleid van echte selectie-examens voor rechters, compleet met officiële evaluatierubrics.
2. Meerdere-rechter Evaluatiekader: Een methodologie die vier onafhankelijke frontier-modellen als rechters inzet, wat een hoge onderlinge overeenstemming aantoont en een robuust mechanisme biedt voor het evalueren van open-ended juridisch schrijven op schaal.
3. Uitgebreide Prestatiebaselines: Een systematische evaluatie van 23 LLM's, die prestatiehiërarchieën voor rechterlijke schrijftaken vaststelt en de huidige beperkingen van AI op dit domein blootlegt.

Resultaten

Prestatiehiërarchie

• Toppresteerders: Googles Gemini-3-Pro-Preview behaalde de hoogste gemiddelde score (6,97/10), gevolgd door Gemini-3-Flash-Preview (6,67) en Claude-4.5-Opus (6,46).
• Totale Moeilijkheidsgraad: Zelfs de best presterende modellen scoorden onder de 70% van de maximaal mogelijke score. Dit geeft aan dat juridische redenering en schrijven op magistraatniveau een aanzienlijke uitdaging blijft voor huidige LLM's.
• Moeilijkheidsgraad per Taak: Discursieve vragen waren het makkelijkst (gemiddelde score 4,68), gevolgd door het opstellen van strafrechtelijke vonnissen (4,39), waarbij het opstellen van civiele vonnissen het moeilijkst was (3,89).
• Modelniveaus: Een duidelijke hiërarchie ontstond, waarbij frontier-modellen de top vijf bezetten, mid-tier modellen (inclusief redeneringsverbeterde modellen) op rang 6–14 staan en kleinere open-source modellen (voornamelijk de Qwen-familie) in de onderste laag.

Onderlinge Overeenstemming tussen Rechters

• Hoge Consensus: De vier rechtermodellen vertoonden opmerkelijk hoge overeenstemming, met een Kendall's $W$ van 0,984. Paarsgewijze correlaties ($\tau$) varieerden van 0,897 tot 0,945, allemaal statistisch significant ($p < 10^{-13}$).
• Calibratie: Bij testen tegen "orakel"-responsen (gegenereerd door een model met toegang tot de rubrics), kenden alle rechters bijna perfecte scores toe (gemiddeld 9,957), wat hun vermogen bevestigt om hoogwaardige outputs te onderscheiden van typische modelresponsen.
• Robuustheid: Een leave-one-judge-out-analyse toonde aan dat het verwijderen van een enkele rechter de algehele rangschikking niet significant veranderde (geen model verplaatste zich meer dan twee posities).

Betekenis en Claims

Het artikel claimt dat Magis-Bench een kritieke kloof in de evaluatie van juridische AI aanpakt door de focus te verschuiven van advocatie naar adjudicatorische redenering. De auteurs benadrukken dat, hoewel LLM's steeds vaker worden overwogen voor juridisch onderzoek en besluitvormingsondersteuning, hun vermogen om te fungeren als onpartijdige rechters nog onbewezen is.

De studie toont aan dat:

1. LLM-als-rechter haalbaar is: De hoge onderlinge overeenstemming suggereert dat geautomatiseerde evaluatie betrouwbare verschillen in kwaliteit van juridisch schrijven kan vastleggen zonder menselijke tussenkomst voor elk item.
2. Huidige modellen ontoereikend zijn voor rechterlijke functies: Het feit dat topmodellen onder de 70% scoren, benadrukt dat redenering op rechterlijk niveau een onderscheidend en moeilijk vermogen is dat nog niet onder de knie is door state-of-the-art LLM's.
3. Standaardisatie mogelijk is: Het gebruik van officiële rubrics maakt systematische, op criteria gebaseerde beoordeling mogelijk, verder dan subjectieve voorkeuren.

De auteurs concluderen dat, hoewel de benchmark een rigoureuze manier biedt om schrijven op magistraatniveau te bestuderen, het niet pleit voor de directe inzet van LLM's in echte wereldadjudicatie. In plaats daarvan dient het als een diagnostisch instrument om de voortgang in juridische AI-vaardigheden te volgen.