ArguGenCourt: Courtroom Argument Generation using Judicial Multi-agent Large Language Models

In de hooggespannen wereld van de rechtspraak is de beslissing van een rechter zelden een solitaire handeling van het lezen van een dossier. Het is de culminatie van een dynamische, vaak gespannen conversatie. Een zaak begint met feiten, maar wordt gevormd door de wisselwerking tussen een rechter, die streeft naar helderheid, en twee tegenstanders: de verzoeker, die de zaak instelt, en de verweerder, die zich ertegen verdedigt. Decennialang hebben onderzoekers geprobeerd computers te leren de uitkomst van deze juridische strijd te voorspellen. Ze hebben machines gevoed met enorme bibliotheken van eerdere zaken, in de hoop dat de algoritmen de patronen zouden kunnen herkennen die leiden tot een specifiek vonnis. Toch hebben de meeste van deze pogingen het recht behandeld als een statische puzzel, waarbij de nadruk alleen lag op de geschreven feiten van een zaak, terwijl de levende, ademende discussie die in de rechtszaal plaatsvindt, werd genegeerd. Ze hebben grotendeels voorbijgegaan aan het feit dat de uiteindelijke beslissing vaak afhangt van hoe goed een advocaat een punt kan verdedigen in real-time, door te reageren op vragen van een rechter en de claims van een tegenstander te weerleggen.

Deze kloof in begrip is wat een team van onderzoekers van instituten in India en de Universiteit van Glasgow probeerde te overbruggen. Ze stelden een eenvoudige maar diepzinnige vraag: Kan kunstmatige intelligentie niet alleen een zaak lezen, maar ook de conversatie van een rechtszaal simuleren? Om dit te ontdekken, bouwden ze een digitale omgeving waarin computerprogramma's, die verschillende juridische rollen vervullen, met elkaar konden praten. Ze wilden niet alleen dat de computer de winnaar raadde; ze wilden zien of de computer de soort argumenten kon genereren die een echte advocaat zou maken, compleet met de nuance, strategie en responsiviteit die vereist zijn in een echt proces. Hun doel was om een systeem te creëren dat advocaten kon helpen zich voor te bereiden op onverwachte vragen of studenten rechten kon helpen oefenen in een veilige, realistische setting, terwijl tegelijkertijd werd getest of deze digitale gesprekken de nauwkeurigheid van het voorspellen van juridische uitkomsten daadwerkelijk konden verbeteren.

De onderzoekers creëerden een systeem dat ze ArguGenCourt noemden, dat functioneert als een virtuele rechtszaal bevolkt door drie kunstmatige intelligentie-agenten. Eén agent speelt de rechter, een ander speelt de verzoeker, en de derde speelt de verweerder. In tegen tegenstelling tot eerdere pogingen die vertrouwden op één enkel computerprogramma om alles te doen, dwingt deze opzet de agenten om met elkaar te interageren. De rechter stelt vragen op basis van de details van de zaak, en de verzoeker en de verweerder moeten antwoorden formuleren die hun posities verdedigen of de andere zijde uitdagen. Het systeem is ontworpen om de stroom van de conversatie te onthouden, zodat wanneer de rechter een vervolgvraag stelt, de antwoorden van de advocaten consistent zijn met wat ze eerder hebben gezegd. Dit bootst de continuïteit van een echt proces na, waarbij een advocaat niet simpelweg een punt kan herhalen zonder de specifieke zorgen van de rechter te adresseren.

Om deze digitale advocaten effectief te maken, moesten de onderzoekers hen leren hoe ze moeten argumenteren. Ze experimenteerden met verschillende manieren om de AI voorbeelden van goede argumenten te geven. Eén methode was om de AI simpelweg de feiten van de zaak te geven en te vragen om te spreken, een techniek die bekend staat als zero-shot learning. Een andere aanpak was het tonen van voorbeelden uit eerdere zaken die vergelijkbaar waren met de zaak die zij op dat moment behandelden. De onderzoekers ontdekten dat de meest succesvolle strategie een methode was die ze local precedent retrieval noemden. In deze aanpak scant het systeem een database van 1.428 eerdere zaken van het Hooggerechtelijk Hof om de specifieke zaken te vinden die het meest lijken op de huidige zaak. Vervolgens haalt het systeem de werkelijke woorden die door advocaten in die vergelijkbare eerdere processen zijn uitgesproken en gebruikt deze als gids voor de huidige conversatie. Dit is vergelijkbaar met een advocaat die een rechtszaal binnenloopt met een notitieblok vol aantekeningen van zaken die precies zoals de hare verliepen, waarbij hij die real-world voorbeelden gebruikt om zijn eigen argumenten vorm te geven.

De resultaten van deze simulatie waren opmerkelijk. Wanneer de onderzoekers de door hun multi-agent systeem gegenereerde argumenten vergeleken met echte transcripten uit werkelijke rechtszalen, ontdekten ze dat het systeem dat gebruikmaakte van local precedent retrieval aanzienlijk betere argumenten produceerde dan de argumenten gegenereerd door simpelere methoden. De kwaliteit van de argumenten verbeterde met ongeveer 12 procent vergeleken met de basisbenadering waarbij de AI geen voorbeelden kreeg. Het systeem produceerde niet alleen tekst die leek op juridische taal; het produceerde argumenten die semantisch in lijn waren met echte juridische redenering. Om dit te meten, ontwikkelde het team een nieuwe evaluatietool genaamd ArguEval. Deze tool telt niet alleen overeenkomstige woorden, wat misleidend kan zijn in het recht, maar analyseert of de betekenis en intentie van het argument van de computer overeenkomen met de intentie van het argument van een echte menselijke advocaat. De evaluatie toonde aan dat het multi-agent systeem, waarbij de rechter, de verzoeker en de verweerder met elkaar praten, consequent beter presteerde dan systemen waarbij een enkele agent probeerde alles alleen te doen.

De echte test voor dit systeem was echter niet alleen hoe goed het klonk, maar of het daadwerkelijk kon helpen bij het oplossen van juridische problemen. De onderzoekers namen de door hun AI-rechtszaal gegenereerde argumenten en gebruikten deze als input voor een taak die de uiteindelijke uitspraak van een zaak voorspelt. Ze wilden zien of het voeden van een voorspellingsmodel met deze rijke, gesimuleerde conversaties het beter zou maken in het raden van de uitkomst dan wanneer het alleen de ruwe feiten zou krijgen. De resultaten bevestigden hun hypothese. Wanneer het voorspellingsmodel werd geleid door de via hun multi-agent simulatie gegenereerde argumenten, verbeterde de nauwkeurigheid in het voorspellen van het vonnis met 14 procent ten opzichte van de baseline-methode. Dit suggereert dat de kwaliteit van het argument diepgaand van belang is. Een computer die de wisselwerking van een proces begrijpt, in plaats van alleen de statische feiten, kan veel nauwkeuriger voorspellingen doen over hoe een rechter zal oordelen.

De studie benadrukte ook het belang van de specifieke rollen binnen de simulatie. De onderzoekers ontdekten dat wanneer de agenten de mogelijkheid kregen om samen te werken en op elkaar te reageren, het systeem de complexiteit van juridische redenering veel beter vastlegde dan wanneer zij in isolatie werkten. De rechter-agent was bijvoorbeeld in staat om verhelderende vragen te stellen die de verzoeker en de verweerder dwongen hun punten te verfijnen, wat leidde tot een robuustere set argumenten. Deze dynamische interactie was cruciaal. Het toonde aan dat de weg naar een juridische beslissing geen rechte lijn is van feit naar vonnis, maar een kronkelend pad van onderzoek en reactie. Door dit pad te simuleren, lieten de onderzoekers zien dat kunstmatige intelligentie verder kan gaan dan eenvoudige patroonherkenning en een vorm van redeneren kan aangaan die de menselijke juridische praktijk weerspiegelt.

Hoewel het systeem veelbelovend was, merkten de onderzoekers voorzichtig op dat er beperkingen zijn. De simulatie werd uitgevoerd met gegevens van het Amerikaanse Hooggerecht Hof, en de argumenten werden gegenereerd door grote taalmodellen die, hoewel krachtig, nog steeds simulaties zijn van menselijk denken. De studie beweerde niet dat deze AI-agenten menselijke advocaten of rechters zouden kunnen vervangen. In plaats daarvan positioneerden ze het systeem als een hulpmiddel voor voorbereiding en educatie. Het vermogen om realistische tegenargumenten te genereren kan praktiserende advocaten helpen te anticiperen op de vragen die een rechter zou kunnen stellen of de punten die een tegenstander zou kunnen aanvoeren. Voor rechtenstudenten biedt het een manier om te oefenen in een realistische omgeving zonder de druk van een echte rechtszaal. De onderzoekers zien een toekomst voor zich waarin dergelijke instrumenten worden uitgebreid naar meer rechtsgebieden en worden geïntegreerd met diepere juridische kennisbronnen, om potentieel de kloof tussen de theoretische studie van het recht en de praktische toepassing ervan te overbruggen.

Uiteindelijk vertegenwoordigt dit werk een verschuiving in hoe we denken over kunstmatige intelligentie in het juridische veld. Het verlegt de focus van het simpelweg voorspellen van de uitkomst van een zaak naar het begrijpen van het proces dat tot die uitkomst leidt. Door een systeem te bouien dat de conversatie van een rechtszaal simuleert, hebben de onderzoekers aangetoond dat de kwaliteit van het argument even belangrijk is als de feiten zelf. De bevindingen suggereren dat machines, om het recht werkelijk te begrijpen, moeten leren argumenteren, niet alleen lezen. Naarmate de technologie evolueert, zouden deze digitale rechtszalen onschatbare partners kunnen worden in het streven naar gerechtigheid, waarbij ze een nieuwe manier bieden om de complexiteit van juridische redenering te verkennen en de volgende generatie juridische geesten voor te bereiden op de realiteit van de rechtszaal.