Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification

Technische Samenvatting: Validatie van Autoriteit in de Classificatie van Behandeling van Jurisprudentie

Probleemstelling
In rechtsstelsels met common law vereist het doctrine van stare decisis dat juridische practitioners bepalen of een rechterlijke beslissing nog steeds "goed recht" is, of dat haar autoriteit is verzwakt of nietig verklaard door latere zaken. Zaken kunnen op diverse genuanceerde manieren "negatief behandeld" worden, zoals door te worden overruled, bekritiseerd, onderscheiden of in twijfel getrokken. Het verkeerd classificeren van deze behandelingen brengt aanzienlijke risico's met zich mee, wat kan leiden tot ongunstige uitspraken en professionele consequenties. Hoewel commerciële citator-diensten (bijvoorbeeld Shepard's, KeyCite) menselijke redacteuren inzetten om deze behandelingen te analyseren, hebben gedocumenteerde menselijke fouten de interesse in geautomatiseerde oplossingen aangewakkerd. Eerdere onderzoek wijst echter uit dat het classificeren van citatiebehandeling intrinsiek moeilijk is voor machine learning-modellen, met name vanwege de semantische subtiliteiten van juridisch redeneren en het gebrek aan hoogwaardige, door experts geannoteerde data. Dit artikel adresseert de centrale vraag: Hoe nauwkeurig kunnen hedendaagse Large Language Models (LLM's) het verfijnde juridische redeneren nabootsen dat vereist is om de diverse manieren te classificeren waarop een juridisch precedent in een latere zaak wordt behandeld?

Methodologie
De auteurs voerden een systematische benchmarking uit van moderne LLM's op een nieuwe, door experts geannoteerde dataset afgeleid van Hellyer (2018), die oorspronkelijk commerciële citator-diensten evalueerde.

• Dataset-curatie: De auteurs digitaliseerden en structureerden een corpus van 329 citerende relaties, waarbij ze dubbelzinnige zaken filterden om een set met hoge betrouwbaarheid te creëren. Ze haalden volledige teksten van uitspraken op voor 239 citerende zaken via de CourtListener API om modellen volledige documentcontext te bieden, in plaats van geïsoleerde fragmenten.
• Constructie van de Waarheid: De grondwaarheid werd vastgesteld met behulp van een prioriteitsgebaseerde logica. Expliciete correcties door de oorspronkelijke annotator kregen voorrang. Voor items zonder expliciete correcties werden labels die als "aanvaardbaar" werden beschouwd, overgenomen. Cruciaal is dat de dataset multi-label is, wat erkent dat meerdere onderscheiden behandelingen (bijvoorbeeld "Bekritiseerd door" en "In twijfel getrokken door") gelijktijdig geldig kunnen zijn voor een enkele relatie.
• Classificatieschema's: Het onderzoek maakt gebruik van een tweeledig schema:
  1. Gedetailleerd: 16 onderscheiden categorieën (bijvoorbeeld Overruled, Onderscheiden door, Omgekeerd door).
  2. Hoog niveau: 5 conceptueel onderscheiden groepen (bijvoorbeeld ONGELDIG VERKLAARD, BEKRITISEERD OF IN TWIJFEL GETROKKEN, BEPERKT OF ONDERSCHEIDEN) ontworpen om de extreme semantische overlap van gedetailleerde labels te mitigeren.
• Experimentele Opstelling: Het onderzoek evalueerde vier modellen: Google's Gemini 2.5 Pro, Gemini 2.5 Flash, OpenAI's GPT-5-mini, en de open-source Qwen3 (30B). Experimenten werden uitgevoerd met zero-shot en few-shot prompting-strategieën. Modellen kregen de citatie van de zaadcase en de volledige tekst van de citerende case, specifiek de paragrafen die de aangehaalde case analyseren.
• Evaluatiemetrics: Naast de standaard Instance-Based Accuracy introduceerden de auteurs de Gemiddelde Ernstfout en de Mediaan Ernstfout. Deze metrics koppelen labels aan een ernstschaal (1 voor Neutraal tot 5 voor Ongeldig verklaard) om de praktische impact van misclassificaties te kwantificeren, en onderscheiden tussen kleine fouten (het verwarren van twee negatieve labels) en kritieke fouten (het verwarren van een negatieve behandeling met een neutrale).

Belangrijkste Resultaten
De experimenten onthulden een prestatiesplitsing tussen de modellen afhankelijk van de complexiteit van het schema:

• Schema op Hoog Niveau: Gemini 2.5 Flash behaalde de hoogste nauwkeurigheid (79,1% in zero-shot). Het presteerde uitzonderlijk goed op het meest frequente label, BEPERKT OF ONDERSCHEIDEN (Precisie: 0,947), maar had moeite met ondervertegenwoordigde klassen zoals NEUTRALE CITATIE (F1: 0,400).
• Gedetailleerd Schema: GPT-5-mini was de beste performer (67,7% in zero-shot), hoewel de prestaties aanzienlijk daalden voor zeldzame labels. Zeven van de vijftien gedetailleerde labels resulteerden in nul succesvolle voorspellingen (F1: 0,000), waaronder juridisch significante behandelingen zoals Omgekeerd door en In twijfel getrokken door.
• Ernstanalyse: Wat betreft de Gemiddelde Ernstfout leidde Gemini 2.5 Flash opnieuw, met de laagste foutscores (0,3933 voor hoog niveau, 0,3755 voor gedetailleerd). De Mediaan Ernstfout voor de topmodellen was 0,0, wat aangeeft dat voor meer dan de helft van de voorspellingen de modellen het perfect juiste label produceerden.
• Kwalitatieve Bevindingen: Foutanalyse onthulde dat modellen vaak moeite hebben met het "doel van de rechterlijke actie" (het verkeerd toekennen of een rechtbank een partij's argument corrigeert versus het precedent zelf) en geconfronteerd worden met inherente ambiguïteit waar onderscheiden labels (bijvoorbeeld Bekritiseerd versus Niet gevolgd) semantisch overlappend en contextafhankelijk zijn.

Belangrijkste Bijdragen

1. Nieuwe Dataset: Het artikel introduceert een publiek beschikbaar, door experts geannoteerde dataset van 239 real-world juridische citaties met volledige tekstcontext en multi-label grondwaarheid, waarmee het gebrek aan hoogwaardige data voor deze specifieke taak wordt aangepakt.
2. Robuust Evaluatiekader: De auteurs stellen de Gemiddelde Ernstfout-metric voor, met het argument dat standaardnauwkeurigheid ontoereikend is voor juridische taken waarbij de kosten van misclassificatie drastisch variëren afhankelijk van de ernst van de fout.
3. Systematische Benchmark: Dit werk vestigt een cruciale baseline voor de prestaties van moderne LLM's bij de classificatie van negatieve precedentbehandeling, en toont aan dat hoewel propriëtaire modellen significant potentieel tonen, ze beperkt blijven door klassenongelijkheid en de intrinsieke complexiteit van juridische semantiek.

Betekenis en Claims
Het artikel claimt de eerste academische studie te zijn die moderne LLM's systematisch benchmarkt op de gedetailleerde, multi-label classificatie van negatieve citatiebehandelingen. De auteurs stellen dat hun werk een noodzakelijke baseline biedt voor een "kritieke maar genuanceerde" NLP-taak waarbij misclassificatie hoge risico's met zich meebrengt. Zij concluderen dat hoewel toonaangevende propriëtaire modellen het potentieel hebben om dit aspect van juridisch onderzoek te automatiseren, de huidige prestaties beperkt worden door datatekorten en de semantische complexiteit van juridisch redeneren. Het onderzoek benadrukt dat standaardnauwkeurigheidsmetrics ontoereikend zijn voor dit domein en dat de voorgestelde op ernst gebaseerde evaluatie een realistischer beoordeling biedt van de geschiktheid van modellen voor juridische toepassingen met hoge inzet. De auteurs blijven bescheiden over het definitieve karakter van de resultaten, en merken op dat de inherente subjectiviteit van juridische interpretatie een plafond suggereert voor haalbare nauwkeurigheid en dat de resultaten moeten worden gezien als een verkenning van huidige mogelijkheden in plaats van een definitief oordeel over juridisch redeneren.