AIL: Integrating LLM Capacity Awareness, Legal Intuition, and Lexis Understanding into Legal Information Extraction

In de wereld van het recht is een rechterlijke uitspraak meer dan alleen een definitieve beslissing; het is een complex verhaal van feiten, argumenten en redeneringen dat uitlegt waarom een specifieke uitkomst is bereikt. Decennialang hebben computers moeite gehad met het lezen van deze documenten, waarbij ze vaak verdwaalden in de dichte, gespecialiseerde taal die advocaten en rechters gebruiken. Hoewel kunstmatige intelligentie erg goed is geworden in het lezen van gewone tekst, vormt juridisch schrijven een unieke uitdaging. Het leunt op eeuwenoude tradities, specifieke termen die in een rechtszaal iets heel anders betekenen dan in het dagelijs gebruik, en een logica die van zaak naar zaak verschilt. Om nuttige hulpmiddelen te bouwen die advocaten kunnen helpen bij het zoeken naar precedenten of het voorspellen van uitkomsten, moeten onderzoekers deze ongestructureerde verhalen omzetten in georganiseerde, door machines leesbare gegevens. De vraag is altijd geweest hoe dit te doen zonder de nuance te verliezen die de essentie van het recht vormt.

Een team van onderzoekers heeft dit probleem aangepakt door een nieuwe manier te ontwikkelen om met kunstmatige intelligentie te werken, een methode waarbij menselijke juridische experts niet louter als toezichthouders worden beschouwd, maar als essentiële partners in het proces. In plaats van te proberen een computer alles alleen te laten doen, creëerden ze een systeem waarin menselijke intuïtie en diepgaande kennis van juridische taal de machine bij elke stap begeleiden. Ze testten deze aanpak op de rechterlijke uitspraken van Macao, een regio met een uniek rechtssysteem dat Chinese en Portugese tradities combineert, wat resulteert in documenten die berucht moeilijk te verwerken zijn. Het resultaat is een zeer nauwkeurige methode om rommelige rechtbankverslagen om te zetten in schone, gestructureerde informatie, wat bewijst dat de beste manier om een computer het recht te leren, is door een menselijke advocaat de weg te wijzen.

De onderzoekers begonnen met het erkennen van een fundamentele beperking in de huidige kunstmatige intelligentie. Hoewel grote taalmodellen enorme hoeveelheden tekst kunnen lezen, missen ze vaak de subtiele, verborgen betekenissen die een menselijke jurist onmiddellijk zou opmerken. Een computer ziet misschien een lijst met feiten, maar heeft moeite om te begrijpen welke feiten er werkelijk toe doen voor het uiteindelijke vonnis of hoe de redenering van een rechter verbonden is met een specifieke wet. Het team betoogde dat het automatiseren van het volledige extractieproces, waarbij de computer zelf moet raden wat hij uit een document moet halen, tot fouten leidt. In plaats daarvan stelden zij een raamwerk voor genaamd AIL, wat staat voor Awareness of LLM capacity (bewustzijn van de capaciteit van LLM's), Legal intuition (juridische intuïtie) en Legal lexis understanding (begrip van juridische woordenschat). Deze aanpak erkent dat computers beperkingen hebben, dat menselijke ervaring nodig is om te zien wat belangrijk is, en dat de gespecialiseerde woordenschat van het recht duidelijk aan de machine moet worden uitgelegd.

Om dit idee in de praktijk te brengen, richtte het team zich op de rechterlijke uitspraken van Macao. Deze documenten zijn een perfecte testcase omdat ze lang zijn, vaak geen standaardformaat hebben en een mix van talen en juridische concepten gebruiken die uniek zijn voor de regio. Sommige vonnissen beslaan meer dan duizend pagina's en de schrijfstijl kan per rechter enorm variëren. De onderzoekers verzamelden duizenden van deze openbare documenten en zetten zich het doel om een systeem te bouwen dat deze kon lezen en specifieke details kon extraheren, zoals de datum van de zaak, de aanklachten, de argumenten van beide partijen en de uiteindelijke uitspraak. Ze hebben de documenten niet simpelweg aan een computer gevoerd en gehoopt op het beste. In plaats daarvan ontwierpen ze een stapsgewijze workflow waarbij menselijke experts en de computer samenwerkten in een cyclus van testen en verfijnen.

In de eerste fase definieerden de menselijke experts welke informatie geëxtraheerd moest worden, waarbij ze een lijst van vijftien specifieke velden opstelden die voor elke zaak ingevuld moesten worden. Vervolgens schreven ze instructies, ook wel 'prompts' genoemd, om de computer te vertellen hoe hij deze informatie kon vinden. Omdat ze wisten dat de computer fouten zou maken, bouwden ze echter een rigoureus controleproces in. Een groep juridische experts, waaronder rechters en officieren van justitie, beoordeelde de eerste pogingen van de computer. Ze zochten naar fouten, zoals ontbrekende details, verzonnen feiten of informatie die uit het verkeerde deel van de tekst was gehaald. Wanneer de computer faalde, gaven de mensen de machine niet de schuld; in plaats daarvan pasten ze de instructies aan. Ze legden de verwarrende juridische termen duidelijker uit, gaven de computer voorbeelden van waar hij naar moest zoeken en vertelden hem precies waar in het document hij moest zoeken. Deze cyclus van testen, fouten vinden en instructies verfijnen vond herhaaldelijk plaats totdat de prestaties van de computer drastisch verbeterden.

De resultaten van deze samenwerking waren opmerkelijk. Na het verfijnen van het systeem via dit door mensen geleide proces, bereikten de onderzoekers een algehele nauwkeurigheid van 98,6 procent bij het extraheren van informatie uit de Macao-uitspraken. Dit betekent dat de computer in bijna elk geval de belangrijkste details correct identificeerde die de mensen zochten. Zelfs voor de moeilijkste velden, zoals het identificeren van de specifieke procedurele maatregelen tijdens een proces of het samenvatten van de complexe feiten van een zaak, bleef de nauwkeurigheid ruim boven de 90 procent. Het team ontdekte ook dat de gecreëerde gestructureerde gegevens onmiddellijk bruikbaar waren. Ze gebruikten de nieuwe dataset om andere modellen voor kunstmatige intelligentie te trainen om de uitkomst van toekomstige zaken te voorspellen en om het type juridisch geschil te classificeren. Deze vervolgtaken toonden aan dat de geëxtraheerde informatie niet alleen accuraat was, maar ook rijk genoeg om geavanceerde juridische analyse te ondersteunen.

De studie onthulde ook dat de gespecialiseerde juridische modellen, die vaak getraind zijn op gegevens uit het vasteland van China, niet zo goed presteerden als algemene modellen wanneer ze werden toegepast op het unieke juridische systeem van Macao. Dit suggere-ert dat een model dat getraind is op één juridische cultuur, niet automatisch een andere begrijpt, zelfs niet als ze dezelfde taal delen. Het succes van het project kwam voort uit de menselijke experts die de specifieke eigenaardigheden van de wetten van Macao begrepen en de computer konden leren hoe hij daarin moest navigeren. Door de snelheid en het vermogen van de computer om grote hoeveelheden tekst te verwerken te combineren met het diepe begrip van de menselijke expert voor juridische logica en taal, creëerden de onderzoekers een systeem dat zowel efficiënt als betrouwbaar is.

Dit werk biedt een nieuwe weg voorwaarts voor juridische technologie. Het suggereert dat de toekomst van juridische kunstmatige intelligentie niet ligt in het proberen te bouwen van een machine die alles zelfstandig weet, maar in het bouwen van systemen waarin mensen en machines samenwerken. De mens biedt de intuïtie en de gespecialiseerde kennis, terwijl de machine het zware werk afhandelt van het lezen en organiseren van de gegevens. Door dit collaboratieve proces te volgen, kunnen onderzoekers hoogwaardige datasets creëren voor elk juridisch systeem, ongeacht hoe complex of uniek het ook is. De studie toont aan dat wanneer we de grenzen van kunstmatige intelligentie respecteren en menselijke expertise in de loop betrekken, we de enorme, onbenutte informatie die verborgen ligt in rechterlijke uitspraken kunnen ontsluiten, waardoor het recht toegankelijker en begrijpelijker wordt voor iedereen.