Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
Deze studie evalueert het vermogen van een top-tier LLM om juridisch betekenisvolle redeneringen uit te voeren op zaken van het Europees Hof voor de Rechten van de Mens, waarbij wordt vastgesteld dat hoewel het model structureel volledige maar inhoudelijk oppervlakkige analyses produceert, geautomatiseerde evaluatoren er niet in slagen overeen te stemmen met menselijk oordeel, en dat expert-prompting de diepgang van de redenering verbetert zonder de voorspellende nauwkeurigheid te verhogen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van de rechtspraak is een beslissing van een rechter nooit zomaar een gok; het is het resultaat van een zorgvuldig, stapsgewijs proces van redeneren. Een rechter moet de feiten van een zaak bekijken, controleren of de wet is nageleefd, beslissen of de overheid een goede reden had voor haar handelen, en tot slot wegen of die handelingen noodzakelijk waren in een vrije samenleving. Dit proces is wat aan juridische uitspraken hun autoriteit geeft en mensen in staat stelt te begrijpen waarom een beslissing is genomen. Vandaag de dag kunnen krachtige computerprogramma's, bekend als large language models, enorme hoeveelheden tekst lezen en complexe vragen beantwoorden, wat veel mensen doet afvragen of deze machines ook dit soort diepgaand juridisch redeneren kunnen uitvoeren. De vraag is niet alleen of een computer de uitkomst van een rechtszaak kan voorspellen, maar of hij zijn denken kan uitleggen op een manier die een menselijke advocaat als solide en betekenisvol zou herkennen.
Een team van onderzoekers zette zich sch de opdracht om dit idee te testen met behulp van het Europees Hof voor de Rechten van de Mens, een echte rechtbank die zaken behandelt over de vraag of landen de rechten van hun burgers hebben geschonden. Ze concentreerden zich op een specifieke groep zaken betreffende de vrijheid van meningsuiting, waarbij de rechtbank moet beslissen of een beperking van de vrije meningsuiting door een overheid gerechtvaardigd was. De onderzoekers namen dertig recente zaken uit de officiële registers van de rechtbank en vroegen een topmodel van een computer om als rechter op te treden. Ze gaven het model de feiten van elke zaak en vroegen het om een juridische beoordeling te produceren, waarbij het zijn redenering stap voor stap uitlegt voordat het de uiteindelijke uitspraak voorspelt. Om te zien hoe goed het model presteerde, vergeleken ze de verklaringen met de werkelijke redenering die door de echte menselijke rechters in die zaken werd gebruikt. Ze testten het model ook onder verschillende omstandigheden: één keer zonder speciale instructies, één keer met een gedetailleerde gids geschreven door een juridisch expert, en één keer met de officiële handleiding voor die specifieke wet, waarbij de computer werd gevraagd de redeneerstappen zelfstandig te ontdekken.
De resultaten onthulden een aanzienlijke kloof tussen wat de computer kon doen en wat vereist is voor echt juridisch redeneren. Het model was verrassend goed in het volgen van de basisstructuur van een juridisch argument. In bijna elk geval produceerde het een antwoord dat leek op een juridisch vonnis, met duidelijke paragrafen voor elke stap van de analyse. Het identificeerde correct dat er een beperking van de meningsuiting had plaatsgevonden, controleerde of er een wet achter zat, en overwoog of de overheid een geldig doel had. Echter, wanneer de onderzoekers dieper keken naar de kwaliteit van het denken, ontdekten ze dat de redenering van het model vaak oppervlakkig was. Hoewel de structuur aanwezig was, ontbrak de inhoud. Het model kwam vaak met vage conclusies in plaats van stevige beslissingen, leunde te zwaar op bevindingen van lagere rechtbanken die waren vernietigd, en slaagde er niet in de subtiele, praktische afwegingen te begrijpen die echte rechters maken. Zo miste het model in één zaak die betrekking had op het recht van een gevangene om post te ontvangen, het nuanceverschil dat de echte rechtbank begreep: dat het controleren van duizenden fotokopieën op veiligheidsrisico's een onredelijke last voor het gevangenispersoneel vormde.
Misschien wel de meest verrassende bevinding was dat de kwaliteit van de redenering van het model bijna niets te maken had met de vraag of het de juiste uitkomst raadde. Het model voorspelde het juiste antwoord in ongeveer tachtig procent van de gevallen, maar deze nauwkeurigheid kwam grotendeels doordat het simpelweg gokte dat er een schending had plaatsgevonden, wat toevallig het meest voorkomende resultaat was in de zaken die zij bestudeerden. Wanneer het model het antwoord goed had, was de redenering vaak even oppervlakkig als wanneer het het antwoord fout had. Dit suggereert dat het model niet echt door de juridische problemen heen "denkt"; het herkent patronen en raadt het meest waarschijnlijke resultaat op basis van de meerderheid van eerdere zaken. Zelfs toen de onderzoekers het model een gedetailleerde, door experts geschreven gids gaven over hoe te redeneren, produceerde het model uitgebreidere verklaringen, maar dit maakte de voorspellingen niet nauwkeuriger.
De studie onderzocht ook hoe de kwaliteit van deze door computers gegenereerde juridische argumenten gemeten kon worden. De onderzoekers lieten menselijke rechtenstudenten en andere computermodellen als rechters optreden om de redenering te beoordelen. Ze ontdekten dat hoewel de computerrechters consistent met elkaar waren, ze niet goed overeenkwamen met de menselijke experts. De computerrechters neigden milder te zijn en misten de diepere gebreken in de redenering die de mensen wel opmerkten. Dit geeft aan dat het gebruiken van een ander computerprogramma om het werk van een eerste computerprogramma te beoordelen, geen betrouwbare manier is om kwaliteit te waarborgen. De menselijke experts vonden dat de redenering van het model, hoewel structureel compleet, de diepgang en zekerheid van een echt juridisch vonnis miste. Het model zou vaak de zaken laten zweven of er niet in slagen tot een duidelijke conclusie te komen, terwijl een echte rechter besluitvaardig moet zijn.
Uiteindelijk suggereert het onderzoek dat hoewel deze geavanceerde computermodellen de uiterlijke verschijning van juridisch redeneren kunnen nabootsen, ze nog niet in staat zijn om op een juridisch betekenisvolle manier te redeneren. Ze kunnen tekst produceren die lijkt op een gerechtelijk oordeel, maar de logica daarin is vaak oppervlakkig en losgekoppeld van de complexe realiteiten van het recht. De studie waarschuwt dat het vertrouwen op deze modellen voor juridische beslissingen, of het vertrouwen op geautomatiseerde systemen om hun eigen werk te evalueren, gevaarlijk is. De nauwkeurigheid van een voorspelling mag niet worden verward met de kwaliteit van de redenering erachter. Totdat deze systemen een werkelijk begrip van juridische principes kunnen demonstreren in plaats van alleen patroonherkenning, moeten ze instrumenten blijven om menselijke juristen te ondersteunen, en niet de menselijke oordeelsvorming vervangen die essentieel is voor het rechtssysteem.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.