PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar vingerafdrukken te zoeken, ben je op zoek naar de specifieke wetten die van toepassing zijn op een verhaal. In de wereld van het recht, vooral in landen als India, is elke misdaad of elk geschil gekoppeld aan een specifieke set geschreven regels, genaamd "statuten". Zie deze statuten als het regelboek van een gigantisch, complex spel. Als iemand een regel overtreedt, moet je de exacte pagina in het regelboek vinden die hun fout beschrijft. Dit wordt "Statute Prediction" genoemd. Jarenlang zijn computers steeds beter geworden in het lezen van deze verhalen en het raden van de juiste pagina in het regelboek, een beetje zoals een supersnelle bibliothecaris. Maar er is een addertje onder het gras: alleen de juiste pagina raden is niet genoeg. In een echte rechtszaal moet een rechter of advocaat weten waarom die regel van toepassing is. Ze hebben de redenering nodig, de "omdat", niet alleen het "wat". Het is als een GPS die je vertelt dat je links moet afslaan, maar weigert uit te leggen dat er een enorm gat in de weg zit. Dit artikel duikt in dat ontbrekende stuk, met de vraag: Kunnen we computers niet alleen leren om de wet te raden, maar ook om hun logica uit te leggen op een manier die voor mensen zinvol is?

De onderzoekers achter deze studie, geleid door een team van Indiase universiteiten, realiseerden zich dat hoewel computers goed werden in het raden, ze er vreselijk in waren om uit te leggen waarom ze wat ze raadden. Om dit op te lossen, bouwden ze iets genaamd PROSLEX. Zie PROSLEX als een enorme, supergeorganiseerde trainingskamp voor computerbreinen. Ze namen 1.623 echte juridische zaken van het Indiase Hooggerechtshof en lieten echte juridische experts (de menselijke coaches) deze doorlopen. Deze experts labelden de zaken niet alleen; ze highlightten de exacte zinnen in het verhaal die bewezen welke wet van toepassing was en schreven de redenering erachter op. In totaal creëerden ze 7.450 gedetailleerde verklaringen. Het is alsof je een meesterkok niet alleen een afgewerkte taart laat zien, maar ook elke stap van het recept annoteert en uitlegt waarom je hem precies op 350 graden moet bakken.

Met dit nieuwe "trainingskamp" gereed, zetten het team verschillende soorten computerbreinen op de proef. Ze vroegen deze computers om een juridisch verhaal te lezen en twee dingen te doen: de juiste wet raden en een uitleg schrijven voor hun gok. Ze probeerden verschillende onderwijsmethoden, zoals het eerst laten zien van een paar voorbeelden (few-shot), het vragen om stap voor stap na te denken (Chain-of-Thought), of zelfs het vragen om meerdere paden van redenering te verkennen zoals een boom die vertakt (Tree-of-Thoughts).

Dit is wat ze vonden. Ten eerste waren de computers die specifiek getraind waren op juridische teksten (zoals InLegalBERT) het beste in het simpelweg raden van de juiste wet, waarbij ze er ongeveer 82% van de tijd naast zaten. Echter, wanneer het kwam op het schrijven van de uitleg, begonnen de grote, algemene AI-modellen (zo zoals GPT-4) te schitteren. Wanneer deze modellen werden gevraagd om stap voor stap na te denken, werden ze veel beter in het voorspellen van de wet en het schrijven van een reden die klonk als een echte advocaat. Sterker nog, GPT-4 was de beste presteerder en scoorde het hoogst op expertbeoordelingen voor zijn verklaringen.

Maar het artikel vond ook enkele lastige punten. Wanneer de computers probeerden de "Tree-of-Thoughts"-methode te gebruiken (het vertakken in vele verschillende ideeën), werden ze eigenlijk slechter in het raden van de juiste wet. Het lijkt erop dat het proberen te verkennen van te veel paden tegelijkertijd hen in de war bracht. Ook ontdekten de onderzoekers een verraderlijk probleem: soms raadde een computer de juiste wet, maar gaf hij een volkomen verkeerde reden voor die keuze. Het is als een student die het juiste antwoord geeft op een wiskundetoets, maar de verkeerde berekening laat zien. Het artikel toonde aan dat zelfs wanneer de computer de "statute" goed had, de redenering ervan af en toe niet klopte, wat benadrukt dat we het antwoord van de computer niet blind kunnen vertrouwen zonder de logica te controlen.

Uiteindelijk suggereren de auteurs dat hoewel we dichterbij komen, we er nog niet zijn. De beste resultaten kwamen voort uit het combineren van de snelheid van de computer met menselijke redeneerstappen, maar het systeem heeft nog steeds een menselijke expert nodig om het werk te dubbelchecken. Het artikel beweert het mysterie van juridische AI niet voor altijd opgelost te hebben; in plaats daarvan biedt het een nieuwe, hoogwaardige kaart (de PROSLEX-dataset) die andere onderzoekers kunnen gebruiken om betere, meer uitlegbare juridische tools te bouwen. Het is een belangrijke stap voorwaarts, die bewijst dat als we computers de juiste soort trainingsdata geven — compleet met menselijke verklaringen — ze kunnen beginnen niet alleen de regels van het spel te begrijpen, maar ook de geest die erachter zit.