💬 NLP

BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law

Het artikel introduceert BenGER, een uitgebreide benchmarkdataset voor het evalueren van LLM's op subsumptiegebaseerde juridische redenering in het Duitse recht, en toont aan dat gesloten vlaggenschipmodellen de prestaties leiden terwijl mens-AI-co-creatie aanzienlijk beter presteert dan ongesteund menselijk werk, alles gevalideerd via een robuust LLM-as-a-Judge-kader.

Oorspronkelijke auteurs: Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Koçak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert aan te leren hoe je advocaat wordt. Maar niet zomaar een advocaat – één die gespecialiseerd is in het specifieke, rigide en sterk gestructureerde rechtssysteem van Duitsland. In dit systeem draait het bij het oplossen van een juridisch probleem niet om het raden van het juiste antwoord; het gaat om het volgen van een strikt recept dat "subsumptie" heet.

Denk er als volgt over: het is alsof je een taart bakt, waarbij het recept vereist dat je elk ingrediënt opschrijft, precies uitlegt waarom het bij het recept past, en vervolgens aantoont hoe het met de andere ingrediënten mengt, voordat je zelfs maar kunt zeggen: "De taart is klaar." Als je een stap overslaat of gewoon zegt "Het is een taart", dan faal je, zelfs als de taart lekker smaakt.

Dit paper, BenGER, is een enorme nieuwe test die is ontworpen om te zien of moderne AI (Large Language Models) dit strenge Duitse juridische recept daadwerkelijk kunnen volgen.

Hier is de uiteenzetting van wat ze deden, met gebruikmaking van eenvoudige analogieën:

1. De Testkeuken (De Dataset)

De onderzoekers bouwden een gigantische "testkeuken" genaamd BenGER. Deze bevat drie soorten uitdagingen:

De Grote Examens: 596 lange, complexe juridische zaken (zoals eindexamens voor rechtenstudenten) waarbij de AI een volledige, gestructureerde oplossing moet schrijven.
De Korte Quizzen: 531 korte vragen over juridische principes.
De "Benchathon" (Het Mens vs. AI Lab): Een speciale set van 15 nieuwe problemen waarbij ze de AI niet alleen vroegen ze op te lossen. Ze vroegen ook echte mensen om ze op twee manieren op te lossen:
1. Solo: Mensen die alleen werkten met boeken en internet.
2. Co-Creatie: Mensen die met een AI-assistent werkten om de oplossing te schrijven.

2. De Rechters (Hoe ze de antwoorden beoordeelden)

Het beoordelen van juridische essays is berucht lastig. Zelfs menselijke experts zijn het vaak niet met elkaar eens. Een professor kan een werk een "A" geven, terwijl een ander voor hetzelfde werk een "C" geeft.

Om dit op te lossen, vroegen de onderzoekers niet aan één persoon om de AI te beoordelen. Ze bouwden een "Robotrechter" (een LLM-as-a-Judge) die was getraind op een zeer specifiek beoordelingsformulier (een beoordelingschecklist).

Het Beoordelingsformulier: Stel je een scorebord voor met 10 categorieën, zoals "Heb je de juiste wet gevonden?", "Heb je de feiten gekoppeld aan de wet?" en "Is je tekst goed gestructureerd?"
De Validatie: Om ervoor te zorgen dat hun Robotrechter niet bevooroordeeld of gek was, vergeleken ze hun scores met een panel van drie echte menselijke experts die dezelfde antwoorden blind beoordeelden.
Het Resultaat: De Robotrechter was verrassend eerlijk. Toen ze een menselijke beoordelaar vervingen door de Robotrechter, veranderde de uiteindelijke groepsscore niet veel. De Robotrechter was net zo betrouwbaar als een menselijke expert.

3. De Resultaten (Wie won?)

Ze testten 12 verschillende AI-systemen, variërend van de krachtigste "Flagship"-modellen (de supercomputers van de AI-wereld) tot kleinere, snellere "Efficiency"-modellen.

De Kampioenen: De grote, gesloten-bron "Flagship"-modellen (zoals die van OpenAI, Anthropic en Google) kwamen bovenaan uit. Ze scoorden het hoogst en haalden vaak "slagingscijfers" die kunnen wedijveren met toprechtenstudenten.
De Outsiders: De open-source modellen (gratis te downloaden) deden het redelijk, maar bleven over het algemeen achter bij de grote commerciële modellen.
De Magische Combinatie: De meest verrassende bevinding ging over Mens-AI Co-creatie. Toen mensen AI mochten gebruiken om hen te helpen bij het schrijven van hun antwoorden, schoten hun scores omhoog. Ze deden niet alleen even goed als de AI; ze deden het beter dan mensen die alleen werkten, en ze versloegen zelfs de AI die alleen werkte. Het was alsof een menselijke chef-kok een high-tech mixer gebruikte om een taart te bakken die beter was dan wat de chef alleen of de machine alleen had kunnen maken.

4. De "Valkuilen" (Waarvoor het paper waarschuwt)

De auteurs zijn zeer eerlijk over de beperkingen:

Black Box: Ze testten de AI zoals deze aan het publiek wordt verkocht (via een API). Ze konden de "motor" onder de motorkap niet zien, dus ze weten niet precies waarom het ene model beter is dan het andere, alleen dat het wel beter is.
Het Recept is Specifiek: Deze test is strikt voor Duits Recht. De manier waarop Duitse advocaten denken (het "subsumptie"-recept) verschilt van hoe advocaten in de VS of het VK denken (die meer vertrouwen op eerdere zaken). Je kunt deze resultaten niet nemen en zeggen: "Deze AI zal een geweldige advocaat zijn in New York."
Risico op Memoriseren: Sommige testvragen kwamen uit openbare tijdschriften. Het is mogelijk dat de AI de antwoorden gewoon uit het internet had gememoriseerd in plaats van het probleem daadwerkelijk "te doordenken". De nieuwe "Benchathon"-vragen (die de AI nog niet eerder had gezien) toonden echter vergelijkbare resultaten, wat suggereert dat de AI de logica daadwerkelijk leert en niet gewoon cheat.

De Conclusie

Dit paper zegt: "We hebben een strenge, eerlijke test voor Duits juridisch redeneren gebouwd. De beste AI-modellen zijn nu zeer goed in het volgen van de regels, maar ze zijn nog niet perfect. Echter, wanneer mensen samenwerken met AI, worden ze super-advocaten en presteren ze beter dan zowel mensen als AI die alleen werken."

Ze bewezen ook dat een slimme Robotrechter deze essays bijna net zo betrouwbaar kan beoordelen als een zaal vol met menselijke professoren, wat in de toekomst kan helpen bij het opschalen van juridisch onderwijs en toetsing.

Technische Samenvatting: BenGER – Benchmarking van LLM-systemen op subsumptie-gebaseerde juridische redenering in het Duitse recht

Probleemstelling

Het evalueren van Large Language Models (LLM's) op juridische redenering is inherent moeilijk vanwege het "ruisachtige" karakter van menselijke expertoordelen. In het Duitse juridisch onderwijs en de praktijk vertoont het cijfergeven aanzienlijke variabiliteit, zelfs onder experts; identieke antwoorden kunnen aanzienlijk verschillende scores krijgen, afhankelijk van de beoordelaar. Dit vormt een uitdaging voor het creëren van betrouwbare benchmarks, aangezien een enkel "ground truth"-label vaak een vereenvoudiging is van een verdeling van plausibele expertbeoordelingen.

Bovendien richten bestaande juridische NLP-benchmarks zich voornamelijk op classificatietaken, korte vraag-antwoordvragen of jurisdicties met common law (bijv. VS, VK) die vertrouwen op precedent-gebaseerde redenering. Ze slagen er grotendeels in niet om te gaan met subsumptie-gebaseerde redenering, het kernparadigma van de Duitse civielrechtelijke doctrine. Dit paradigma vereist een gestructureerd, vierstaps generatieproces (Obersatz–Definition–Subsumtion–Ergebnis), waarbij het systeem specifieke feiten moet verankeren onder wettelijke normen. Bestaande benchmarks testen deze gescaffoldde generatiecapaciteit niet adequaat of evalueren systemen niet tegen de specifieke, op rubrieken gebaseerde cijfergevenconventies die worden gebruikt in Duitse staatsexamens.

Methodologie

Het BenGER-dataset

De auteurs introduceren BenGER (Benchmark for German Law), een dataset bestaande uit drie distincte componenten met in totaal meer dan 1.100 taken:

ZJS Corpus: 581 publiek beschikbare, examenvormige vrije-tekst juridische casustaken uit de Zeitschrift für das Juristische Studium, die burgerlijk recht, strafrecht en bestuursrecht bestrijken over verschillende onderwijsniveaus.
Benchathon Corpus: 15 nieuw verzamelde examenvormige taken van gemiddelde moeilijkheidsgraad. Cruciaal bevat deze subset 220 menselijke oplossingen (65 traditioneel, zonder hulp; 155 mens-AI co-gegenereerd) die in een gecontroleerde omgeving zijn gegenereerd om te dienen als menselijke baselines.
Doctrinal Principles Corpus: 531 korte redeneeritems (vraag-antwoordparen) die kernjuridische principes en recente jurisprudentie toetsen.

Evaluatiekader

De studie evalueert 12 hedendaagse LLM-systemen, gecategoriseerd als gesloten vlaggeschip, efficiency-gericht en open-weight referentiemodellen. De evaluatie maakt gebruik van een hybride methodologie om de variabiliteit van juridisch cijfergeven aan te pakken:

LLM-as-a-Judge: Een gespecialiseerde LLM-beoordelaar (voornamelijk GPT-5-mini) is afgestemd op Duitse juridische cijfergevenrubrieken. Het evalueert oplossingen op 10 dimensies: resultaatcorrectheid, probleemidentificatie, juridische onderbouwing, doctrinale kennis, subsumptiekwaliteit, probleemdiepte, methodologische structuur, organisatie, terminologie en formele correctheid. Scores worden geaggregeerd tot een ruwe score van 0–100 en gemapt naar de Duitse cijferschaal van 0–18.
Menselijke Validatie: De LLM-beoordelaar wordt gekruisvalidatie tegen een protocol met meerdere beoordelaars op de Benchathon-subset. Elke geselecteerde oplossing ontvangt drie onafhankelijke blinde beoordelingen en één door de auteur geïnformeerde creator-beoordeling.
Statistische Analyse: De studie behandelt evaluatie als een verdeling over plausibele expertbeoordelingen in plaats van een deterministisch label. Het maakt gebruik van metrieken zoals Pearson/Spearman-correlatie, Cohens $\kappa$ , Intraclass Correlation Coefficients (ICC) en de Calderon-alternatieve-annotatortest om te bepalen of het vervangen van een menselijke beoordelaar door een LLM-beoordelaar de overeenstemming met de volledige menselijke pool verslechtert.

Experimentele Opzet

Generatie: Alle systemen kregen identieke Duitstalige instructies, die de Gutachtenstil (examenstijl) scaffold weerspiegelden.
Metrieken: De evaluatie omvat automatische oppervlaktemetrieken (BLEU, ROUGE, METEOR, BERTScore, enz.) en de scores van de op rubrieken afgestemde LLM-beoordelaar.
Voorwaarden: Menselijke baselines werden getest onder "traditionele" (ongeholpen) en "co-creatie" (AI-ondersteunde) voorwaarden om de impact van AI-tools op menselijke prestaties te meten.

Belangrijkste Resultaten

1. Systeemprestaties (RQ1 & RQ2)

Dominantie van Gesloten Vlaggeschepen: Gesloten vlaggeschip-systemen (OpenAI, Anthropic, Google) leiden de leaderboard in alle drie de corpora. Op de Benchathon-subset bereiken top-tier modellen (bijv. Sonnet-4.6, Opus-4.7, GPT-5.4) ruwe scores in de lage tot midden-80 met slagingspercentages dicht bij 100%.
Kloof bij Open Weight: Sterke open-weight systemen (DeepSeek-V4-Pro, Qwen3-235B) blijven achter op de top gesloten modellen met ongeveer 9–20 ruwe punten op Benchathon, hoewel deze kloof smaller wordt op het ZJS-corpus.
Systeemniveaus: De prestatiekloof tussen vlaggeschip en open-weight systemen is significant, maar wordt kleiner op het midden-niveau. Efficiency-tier gesloten systemen en open-weight modellen vormen een overlappende middenband.

2. Validiteit van Evaluatie (RQ3)

Lexicale vs. Semantische Metrieken: In tegenstelling tot verwachtingen voor lange teksten, correleren lexicale oppervlaktemetrieken (METEOR, ROUGE, BLEU) sterker met de op rubrieken afgestemde LLM-beoordelaar dan semantische embedding-metrieken (BERTScore, Sentence-BERT). Dit wordt toegeschreven aan het sterk gestandaardiseerde karakter van juridisch schrijven in Duitsland, waarbij hoogwaardige antwoorden aanzienlijk n-grammateriaal delen met betrekking tot wetsverwijzingen en structurele scaffolding.
Beperkingen van Metrieken: Uitsluitend vertrouwen op lexicale metrieken zou systemen verkeerd rangschikken op de grens tussen vlaggeschip en midden-tier in vergelijking met de op rubrieken afgestemde beoordelaar.

3. Mens-AI Co-creatie (RQ4)

Prestatieboost: Mens-AI co-creatie presteert aanzienlijk beter dan ongehulpen menselijk werk. De gemiddelde beoordelaarscore voor co-gegenereerde oplossingen is 82,2 (ruw), vergeleken met 62,3 voor traditionele ongehulpen oplossingen – een verschil van +19,9 ruwe punten.
Benchmarking: De gemiddelde prestatie van co-gegenereerde menselijke oplossingen valt binnen het 95%-betrouwbaarheidsinterval van de gesloten vlaggeschip LLM-tier, en presteert aanzienlijk beter dan ongehulpen mensen en zwakkere open-weight modellen.

4. Betrouwbaarheid van Cijfergeven (RQ5)

Validiteit van LLM-beoordelaar: De afwijking van de LLM-beoordelaar ten opzichte van het menselijke gemiddelde is vergelijkbaar met de inter-rater variabiliteit onder menselijke beoordelaars.
- Correlatie: De beoordelaar stemt overeen met het gemiddelde van blinde menselijke beoordelaars met een Pearson $r=0,78$ .
- Calderon-test: Het vervangen van één menselijke beoordelaar in een pool door de LLM-beoordelaar verslechtert de overeenstemming met de volledige menselijke referentie niet meer dan het volledig verwijderen van die menselijke beoordelaar ( $r=0,96$ voor zowel de pool met vervanging door de beoordelaar als de pool met menselijke leave-one-out).
Stabiliteit: De LLM-beoordelaar is consistenter bij herhalingen (stdev 2,51) dan menselijke beoordelaars onderling (spreiding 23,9 ruwe punten).
Dimensie-overeenstemming: De overeenstemming is het hoogst bij gestructureerde dimensies (Resultaatcorrectheid, Probleemidentificatie) en het laagst bij presentatie-gerelateerde dimensies (Organisatie, Terminologie).

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

Een nieuwe benchmark: BenGER biedt de eerste uitgebreide benchmark voor subsumptie-gebaseerde juridische redenering in het Duitse recht, en adresseert een gat in bestaande juridische NLP-bronnen die de voorkeur geven aan common law of classificatietaken.
Empirische evaluatie: Het biedt een rigoureuze evaluatie van 12 LLM-systemen tegen menselijke baselines, en onthult dat hoewel gesloten vlaggeschip-modellen leiden, mens-AI co-creatie de hoogste prestaties oplevert, en ongehulpen menselijke experts overtreft.
Methodologische innovatie: De studie valideert een op rubrieken afgestemd LLM-as-a-Judge-kader dat rekening houdt met de inherente variabiliteit van juridisch cijfergeven. Door aan te tonen dat een LLM-beoordelaar een menselijke beoordelaar kan vervangen zonder de betrouwbaarheid van de evaluatiepool te verslechteren (volgens de Calderon-test), ondersteunt het artikel het gebruik van LLM's als schaalbare beoordelaars naast mensen, in plaats van als standalone ground truth.

De auteurs benadrukken dat de benchmark bedoeld is voor evaluatie op onderzoekschaal en nog niet gevalideerd is voor gebruik als een becijferend beoordelingsinstrument in juridisch onderwijs of voor inzet in de juridische praktijk. Het werk onderstreept de structurele eisen van Duitse juridische redenering en het potentieel van AI om menselijke juridische analyse te versterken, in plaats van te vervangen, wanneer deze wordt gebruikt in een co-creatieve capaciteit.