Legal interpretation and AI: from expert systems to argumentation and LLMs

Dit artikel schetst de evolutie van AI-onderzoek in de rechtsgeleerdheid, dat is uitgegroeid van expertsystemen voor kennisoverdracht en argumentatiekaders voor dialectische analyse naar moderne taalmodellen die interpretatieve suggesties genereren.

De kern

🏛️ De Rechter, de Robot en het Park: Hoe AI de Wet probeert te begrijpen

Stel je voor dat de wet een enorme, soms wat verwarrende instructiehandleiding is voor de samenleving. De vraag is: wie leest deze handleiding het beste? De menselijke jurist, of een computer? Dit artikel van Janeček en Sartor vertelt het verhaal van hoe computers (AI) door de jaren heen hebben geprobeerd om de betekenis van wetten te "ontcijferen".

Het verhaal verloopt in drie hoofdstukken, net als drie verschillende generaties robots.

1. De Eerste Generatie: De Strikte Architect (Expert Systemen)

De jaren '70 tot '90

In het begin dachten wetenschappers dat ze een slimme computer konden bouwen door de wetten letterlijk in te voeren, alsof je een recept voor een taart in een computer typt.

• De Analogie: Stel je voor dat je een robot bouwt die een park bewaakt. De regel is: "Geen voertuigen in het park."
• Het Probleem: De robot vraagt zich af: "Is een fiets een voertuig? En wat als het een kinderfiets is?"
• De Oplossing: De menselijke "architect" (de programmeur) moest vooraf beslissen. Hij moest de robot een extra regel geven: "Een fiets is een voertuig."
• De Valstrik: Als de architect beslist dat alle fietsen verboden zijn, kan de robot niet meer flexibel zijn. Als er een klein jongetje met een tritje binnenrijdt, ziet de robot alleen de regel "fiets = verboden" en geeft hij een boete. De robot kan niet begrijpen dat het in dit specifieke geval misschien wel mag. De menselijke interpretatie is hier "vastgezet" in de code.

2. De Tweede Generatie: De Debatterende Filosoof (Argumentatie)

De jaren '90 tot 2020

Mensen merkten dat de strikte architecten-robots te dom waren voor de nuance van het recht. Ze ontwikkelden een nieuwe aanpak: Argumentatie.

• De Analogie: In plaats van één vaste regel, laten we de robot nu een debat voeren.
• Het Scenario: De parkwachter (de robot) zegt: "Fietsen zijn voertuigen, dus Tom mag niet binnen."
• Het Tegenargument: Tom (of een andere robot) zegt: "Wacht even! De bedoeling van de regel is om lawaai en gevaar te voorkomen. Een kinderfiets maakt geen lawaai en is niet gevaarlijk. Dus, volgens de 'doelstelling' van de wet, mag Tom wel."
• De Oplossing: De computer bouwt nu een "argumenten-netwerk". Het kijkt welke argumenten het sterkst zijn. Als het argument over "de bedoeling van de wet" sterker is dan het argument over "wat een woord letterlijk betekent", wint Tom.
• Het Resultaat: De robot kan nu net als een mens redeneren: "Ik begrijp dat het woord 'voertuig' fietsen omvat, maar in dit specifieke geval wint de geest van de wet."

3. De Derde Generatie: De Talented, maar Dromerige Schrijver (LLMs)

Vandaag de dag (Generatieve AI)

Nu hebben we de grote taalmodellen (zoals ChatGPT). Dit zijn geen robots die regels volgen of debatten voeren; dit zijn super-schrijvers die alles hebben gelezen wat er op internet staat.

• De Analogie: Stel je voor dat je een schrijver hebt die miljoenen boeken, kranten en wetten heeft gelezen. Als je vraagt: "Wat betekent 'voertuig' in een park?", schrijft hij direct een prachtig, overtuigend antwoord.
• De Sterkte: Deze schrijver is briljant. Hij kan snel uitleggen dat een e-scooter misschien wel een voertuig is, maar een kinderfiets misschien niet, afhankelijk van de context. Hij voelt de "sfeer" van de taal.
• Het Grote Gevaar (Hallucinaties): Maar deze schrijver is ook een dromer. Hij weet niet wat waar is; hij weet alleen wat klinkt alsof het waar is.
  • Als je hem vraagt naar een heel nieuwe wet die gisteren is gemaakt, kan hij een regel uitvinden die er niet is, omdat hij denkt dat dat logisch klinkt. Dit noemen ze "hallucineren".
  • Hij begrijpt de wet niet echt; hij speelt een spelletje met woordenpatronen.
• De Rol van de Mens: De schrijver is een fantastische assistent, maar geen rechter.
  • Je kunt hem vragen: "Geef me 5 manieren om dit te interpreteren."
  • Maar jij (de menselijke jurist) moet de feiten controleren. Jij moet zeggen: "Bedankt voor de suggesties, maar die ene wet die je noemde bestaat niet, en die andere interpretatie is onjuist."

🎯 De Grote Conclusie

Het artikel komt tot een duidelijk advies:

1. Geen "Orakel": Laat AI nooit de eindbeslissing nemen over wat de wet betekent. Een robot kan niet verantwoordelijk zijn voor een boete of een gevangenisstraf.
2. Geen "Vervanging": AI vervangt de jurist niet. Het is meer zoals een super-snel naslagwerk dat ook nog eens kan brainstormen.
3. De Mens blijft de Baas: De menselijke jurist moet de "stuurman" blijven. De AI kan de kaart tonen en verschillende routes voorstellen, maar de mens moet beslissen welke route veilig en legaal is.

Kortom: AI is een geweldig hulpmiddel om de "No vehicles in the park"-regel te analyseren, maar als Little Tom met zijn fietsje wordt gestopt door een robot die alleen maar naar woorden kijkt en niet naar de bedoeling, dan is de mens nog steeds nodig om te zeggen: "Wacht, laat hem maar binnen, hij doet niemand kwaad."

Technische samenvatting

Titel: Juridische interpretatie en AI: van expertsystemen tot argumentatie en Large Language Models (LLMs)

1. Het Probleem

Juridische interpretatie is een fundamenteel aspect van de rechtspraak en juridische praktijk, waarbij de betekenis van wettelijke teksten wordt bepaald om deze toe te passen op specifieke situaties. Dit proces is vaak complex vanwege:

• Tweespraak en vaagheid: Wetsteksten kunnen syntactisch dubbelzinnig zijn of contextuele twijfels oproepen (bijv. valt een fiets onder "voertuig" in een parkverbod?).
• De rol van de mens: Traditioneel vereist interpretatie menselijke oordeelsvorming, dialectische redenering en het afwegen van tegenstrijdige argumenten (zoals letterlijke betekenis vs. doel van de wet).
• De uitdaging voor AI: De kernvraag is hoe kunstmatige intelligentie (AI) deze interpretatieve taken kan ondersteunen of uitvoeren zonder de juridische zekerheid, legitimiteit en menselijke verantwoordelijkheid te ondermijnen. De paper onderzoekt de evolutie van AI-benaderingen om dit probleem aan te pakken, van strikt logische systemen naar generatieve modellen.

2. Methodologie

De auteurs hanteren een historisch-comparatieve en conceptuele analyse van drie opeenvolgende paradigma's binnen het onderzoeksveld "AI and Law":

1. Symbolische AI (Expertsystemen): Analyse van kennisgebaseerde systemen (1970-1990) waarbij menselijke kennis wordt omgezet in formele regels. De focus ligt op het modelleren van interpretatiekeuzes ex ante door kennis-ingenieurs.
2. Formele Argumentatie: Onderzoek naar systemen die conflicterende interpretaties kunnen hanteren via dialectische structuren. Hier wordt interpretatie gemodelleerd als een strijd tussen argumenten gebaseerd op interpretatiecanons (bijv. letterlijke betekenis, doel, precedent).
3. Machine Learning & Generatieve AI (LLMs): Analyse van moderne Large Language Models die tekst genereren op basis van statistische patronen in grote datasets. De auteurs evalueren de capaciteiten en beperkingen van LLMs in juridische contexten, inclusief technieken zoals Retrieval Augmented Generation (RAG) en Chain-of-Thought (CoT).

De methode omvat het gebruik van theoretische voorbeelden (zoals het klassieke "No vehicles in the park"-scenario) en een analyse van recente experimenten met chatbots (bijv. ChatGPT) om de bruikbaarheid en risico's te illustreren.

3. Belangrijkste Bijdragen

• Evolutie van Interpretatie-modellen:

  • Expertsystemen: Toont aan dat interpretatie in deze systemen vaak wordt "uitbesteed" aan de kennis-ingenieur die de regels vooraf definieert. Dit leidt tot een verlies van flexibiliteit voor specifieke casuïstiek (bijv. een kennis-ingenieur die beslist dat alle fietsen verboden zijn, waardoor uitzonderingen voor kinderfietsen moeilijk te maken zijn).
  • Argumentatie: Introduceert een model waarin interpretatie niet als een statische waarheid, maar als een dialectisch proces wordt gezien. Argumenten kunnen elkaar aanvallen en verdedigen op basis van hiërarchieën van interpretatiecanons (bijv. teleologische argumenten kunnen zwaarder wegen dan letterlijke betekenis).
  • LLMs: Identificeert dat LLMs een fundamentele verschuiving vertegenwoordigen: ze zijn linguïstisch en discursief competent, maar niet kennis- of regelgebaseerd. Ze simuleren interpretatie door statistische waarschijnlijkheid, niet door logisch redeneren.

• Concept "Generative Interpretation":
  De auteurs introduceren en analyseren het concept van generative interpretation (gebaseerd op werk van Hoffman en Arbel). Dit suggereert dat LLMs kunnen worden gebruikt om de "gewone betekenis" van contracten of wetten te kwantificeren door grote hoeveelheden contextuele data te analyseren, wat een empirische draai geeft aan de jurisprudentie.

• Kritische Evaluatie van LLMs:
  De paper biedt een genuanceerd overzicht van de beperkingen van LLMs in de juridische sfeer:

  • Hallucinaties: LLMs kunnen feitelijke onwaarheden of niet-bestaande jurisprudentie genereren.
  • Gebrek aan waarheidszin: Ze hebben geen intrinsiek begrip van waarheid, moraal of sociale context.
  • Inconsistentie: Dezelfde prompt kan tot verschillende antwoorden leiden, wat voorspelbaarheid in het recht ondermijnt.
  • Epistemische kloof: Het is niet duidelijk of LLMs werkelijk "interpreteren" zoals mensen dat doen, of dat ze alleen patronen in data nabootsen.

4. Resultaten en Bevindingen

• Expertsystemen zijn beperkt tot deductieve redenering en kunnen geen conflicterende interpretaties binnen één kennisbasis hanteren zonder menselijke tussenkomst.
• Argumentatie-systemen slagen erin interpretatieve onzekerheid te modelleren en kunnen laten zien welke interpretatie "wint" op basis van de sterkte van de argumenten (bijv. het doel van de wet wint vaak van de letterlijke tekst).
• LLMs tonen een opmerkelijke vaardigheid in het genereren van plausibele juridische argumenten en het identificeren van ambiguïteiten. Echter, hun output is niet betrouwbaar genoeg om als autoriteit te dienen.
  • Technische oplossing: Het gebruik van RAG (Retrieval Augmented Generation) kan hallucinaties verminderen door de LLM te koppelen aan een externe, gevalideerde kennisbank, maar dit lost het probleem van inconsistentie en het gebrek aan diep begrip niet volledig op.
  • Praktische conclusie: LLMs moeten worden gezien als ondersteunende tools ("companions") voor juristen, niet als autonome beslissers. Ze kunnen dienen als brainstormhulpmiddel om interpretatiemogelijkheden te verkennen, maar de definitieve interpretatie en verantwoordelijkheid moeten bij de menselijke jurist blijven.

5. Significantie en Toekomstperspectief

De paper is van groot belang voor zowel de academische wereld als de juridische praktijk:

• Theoretische bijdrage: Het schetst een helder beeld van de verschuiving van symbolische, regelgebaseerde AI naar probabilistische, generatieve AI in de rechtsdomein, en benadrukt dat de aard van "interpretatie" in deze systemen fundamenteel verandert.
• Praktische richtlijnen: Het pleit voor een mens-in-the-loop benadering. Juristen moeten LLM-outputs kritisch verifiëren en niet blindelings vertrouwen. De paper waarschuwt tegen "ontkwalificatie" (deskilling) van juristen die te afhankelijk worden van AI.
• Toekomstig onderzoek: De auteurs identificeren veelbelovende richtingen, zoals:
  • Het integreren van logische en argumentatie-systemen met LLMs (hybride systemen).
  • Het trainen van LLMs om specifiek juridische interpretatiecanons toe te passen.
  • Het ontwikkelen van robuuste workflows en verificatiemechanismen (zoals automatische citatiecontrole) om de risico's van hallucinaties te mitigeren.

Conclusie: Hoewel AI (met name LLMs) de efficiëntie en de breedte van juridische analyse kan vergroten, mist het momenteel de cognitieve vaardigheden en de normatieve legitimiteit om juridische interpretatie autonoom uit te voeren. De toekomst ligt in een symbiose waarbij AI dient als krachtig instrument voor informatie-extractie en argumentatiegeneratie, terwijl de menselijke jurist de eindverantwoordelijkheid en het kritische oordeel behoudt.