Technische Samenvatting: LP-Eval: Rubric en Dataset voor het Meten van de Kwaliteit van Generatie van Juridische Proposities

Probleemstelling

Generatie van juridische proposities – de taak om normatieve stellingen (regels, principes, voorwaarden en gevolgen) uit juridische teksten te extraheren – is een fundamenteel element van juridisch redeneren en doctrinaal onderzoek. Ondanks haar centraliteit voor de juridische praktijk en de organisatie van juridische kennis, blijft deze taak onderbelicht in Legal Natural Language Processing (Legal NLP). Bestaand onderzoek heeft zich grotendeels gericht op het terugvinden van jurisprudentie, het voorspellen van vonnissen of het samenvatten van zaken, waarbij juridische normen vaak impliciet en niet expliciet worden behandeld.

Een aanzienlijke barrière voor vooruitgang op dit gebied is het ontbreken van robuuste evaluatiemethodologieën. Generatie van juridische proposities is een open-ended taak waarbij meerdere geldige uitkomsten mogelijk zijn, en kleine formuleringverschillen de juridische betekenis kunnen veranderen. Bijgevolg zijn standaard n-gram-metrics zoals BLEU en ROUGE ongeschikt, aangezien zij oppervlakkige overlap meten in plaats van juridische trouw. Bovendien, hoewel Large Language Models (LLM's) veelbelovend zijn als beoordelaars ("LLM-as-a-judge"), zijn zij vatbaar voor hallucinaties en ontbreekt het hen vaak aan de nuance die nodig is om onderscheid te maken tussen hoog- en laagwaardige juridische abstracties zonder gestructureerde begeleiding.

Methodologie

De LP-Eval Rubric

Om de evaluatiekloof aan te pakken, introduceren de auteurs LP-Eval, een evaluatie-rubric in drie stappen die mede is ontworpen met juridische experts. De rubric deconstrueert de kwaliteit van een gegenereerde juridische propositie (LP) in twee hoofdcategorieën:

1. Formele Validiteit (Vereiste Componenten): Een LP wordt alleen als geldig beschouwd als deze drie specifieke structurele elementen bevat:

   • Standpunt: De normatieve positie (bijv. "legt een plicht op", "verbiedt").
   • Object: De entiteit of het recht dat wordt gereguleerd.
   • Specificatie: De voorwaarden, reikwijdte of gevolgen van de regel.
   • Opmerking: Als een component ontbreekt, wordt de propositie gemarkeerd als ONGELDIG.

2. Kwaliteitsdimensies (Scoretoekenning): Geldige proposities worden gescoord op een 1–3 Likert-schaal over vijf dimensies:

   • Brononafhankelijkheid: De mate waarin de propositie is geabstraheerd van specifieke zaakfeiten.
   • Feitonafhankelijkheid: Vergelijkbaar met brononafhankelijkheid, met focus op het verwijderen van feitelijke specificaties.
   • Bondigheid: Beknoptheid en afwezigheid van redundantie.
   • Algemeenheid: De toepasbaarheid van de regel buiten de directe zaak.
   • Trouw: Getrouwheid aan de autoritatieve brontekst.

Datasetconstructie

De auteurs hebben een dataset vrijgegeven bestaande uit 100 door LLM's gegenereerde juridische proposities, afgeleid van 50 alinea's die zijn bemonsterd uit 10 beslissingen van het Hof van Justitie van de Europese Unie (CJEU).

• Bemonsteringsstrategie: Om te testen op memorisatie van trainingsdata, bevat de dataset een mix van goed gevestigde (hoog geciteerde, oudere) zaken en recente zaken.
• Generatie: Drie modellen werden gebruikt om proposities te genereren: GPT-OSS (120B parameters), OLMo-3-7B-Instruct en Saul-7B-Instruct (gespecialiseerd in recht).
• Annotatie: Twee juridische experts (een promovendus en een student in het laatste jaar rechten) hebben de GPT-OSS- en OLMo-outputs geannoteerd met de LP-Eval-rubric. De onderlinge overeenstemming tussen annotatoren was hoog (Gwet's AC1 = 0,96), wat de duidelijkheid van de rubric valideert.

Experimenteel Ontwerp

De studie onderzoekt twee taken:

1. LLM als Generator: Het beoordelen van de kwaliteit van proposities gegenereerd door LLM's in vergelijking met expertannotaties.
2. LLM als Beoordelaar: Het beoordelen of LLM's expertoordelen kunnen repliceren. Dit werd getest in twee modi:
   • Rubric-geleid: De LLM volgt het stap-voor-stap LP-Eval-protocol (controleren van componenten, vervolgens scoren van dimensies).
   • Direct scoren: De LLM geeft alleen een totaalscore zonder tussenstappen.

Belangrijkste Resultaten

1. Kwaliteit van Generatie

• Formele Validiteit: LLM's toonden een sterke capaciteit om structureel geldige proposities te genereren. 95 van de 100 gegenereerde LP's werden beoordeeld als GELDIG. De primaire faalmodus was het weglaten van het "Object"-component (een normatieve stelling), wat ook het moeilijkste component bleek voor menselijke annotatoren om overeenstemming over te bereiken.
• Kwaliteitsscores: Experts toekenden hoge gemiddelde scores voor Trouw (2,95/3) en Feitonafhankelijkheid (2,96/3), wat aangeeft dat modellen succesvol abstractie maakten van specifieke feiten terwijl ze trouw bleven aan de tekst. Brononafhankelijkheid (2,31/3) en Bondigheid (2,48/3) kregen iets lagere scores, wat wijst op occasionele redundantie of expliciete bronverwijzingen.
• Effect van Zaakprominentie: Er werd een statistisch significant verschil gevonden tussen proposities afgeleid van goed gevestigde zaken versus recente zaken. Proposities van goed gevestigde zaken werden significant hoger beoordeeld op Bondigheid ($p=0,02$), Brononafhankelijkheid ($p<10^{-5}$) en Totale Kwaliteit ($p<0,001$). Dit suggereert dat LLM's beter presteren bij zaken met meer gevestigde, misschien meer gememoriseerde, juridische discours.

2. Evaluatieprestaties

• Rubric-uitlijning: Bij gebruik van de LP-Eval-rubric bereikte GPT-OSS een hoge overeenstemming met menselijke experts (AC1 = 0,91–0,93), vergelijkbaar met de onderlinge overeenstemming tussen experts (0,94).
• Belang van Structuur: Het verwijderen van de rubric-stappen en het vragen om een directe totaalscore verlaagde de overeenstemming naar 0,85, wat aantoont dat gestructureerde begeleiding cruciaal is voor LLM-beoordelaars.
• Sensitiviteitsgrenzen: Hoewel rubric-geleide LLM's goed overeenkwamen met experts op totaalscores, slaagden ze er niet in om de statistisch significante kwaliteitsverschillen tussen goed gevestigde en recente zaken te detecteren die menselijke experts identificeerden. Dit geeft aan dat hoewel LLM's expertscoren kunnen nabootsen, ze de sensitiviteit missen om fijnmazige kwalitatieve onderscheidingen met betrekking tot zaakprominentie waar te nemen.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen aan het veld van Legal NLP:

1. LP-Eval Rubric: Het introduceert het eerste gestructureerde, door experts ontworpen evaluatiekader specifiek voor generatie van juridische proposities, en gaat voorbij aan oppervlakkige metrics om formele validiteit en substantiële kwaliteitsdimensies te beoordelen.
2. LP-Eval Dataset: Het vrijgeven van een gecureerde dataset van 100 door experts geannoteerde juridische proposities uit CJEU-beslissingen, waardoor een benchmark wordt geboden voor toekomstig onderzoek in juridisch redeneren en generatie.
3. Empirische inzichten: De studie biedt het eerste systematische bewijs dat:
   • LLM's hoogwaardige, formeel geldige juridische proposities kunnen genereren.
   • De kwaliteit van generatie correleert met de prominentie en leeftijd van de bronzaak, waarschijnlijk door effecten van trainingsdata.
   • Rubric-geleide LLM-evaluatie een haalbaar alternatief is voor menselijke scoring voor algemene uitlijning, maar momenteel de sensitiviteit mist om nuancevariaties in juridische abstractie te detecteren die menselijke experts waarnemen.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn voor het automatiseren van generatie en evaluatie van juridische proposities, huidige modellen onvoldoende sensitief blijven voor de subtiele, hoog-risico onderscheidingen die inherent zijn aan juridisch redeneren, wat een voortdurende afhankelijkheid van menselijke expertise vereist voor fijnmazige beoordeling.