Why Avoid Generative Legal AI Systems? Hallucination, Overreliance, and their Impact on Explainability
Dit artikel pleit voor strenge terughoudendheid bij de inzet van generatieve juridische AI-systemen, omdat hun neiging tot hallucinaties en het risico op oververtrouwen het principe van verklaarbaarheid ondermijnen en een bedreiging vormen voor de onafhankelijkheid van de rechtspraak en fundamentele rechten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar een beetje dromerige assistent hebt. Deze assistent kan prachtige zinnen schrijven, juridische termen gebruiken en zelfs hele contracten opstellen. Hij klinkt zo overtuigend dat je bijna vergeet dat hij eigenlijk geen mens is, maar een computerprogramma dat is getraind om woorden te voorspellen, niet om de waarheid te vinden.
Dit is de kern van het artikel van Gizem Gultekin-Várkonyi over Generatieve Juridische AI (GLAI). Het artikel waarschuwt dat we heel voorzichtig moeten zijn met het gebruik van deze technologie in de rechtbank en bij advocaten.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. De "Dromerige Schrijver" (Hallucinaties)
Het grootste probleem met deze AI-systemen is dat ze hallucineren.
- De analogie: Stel je voor dat je een schrijver hebt die zo graag een goed verhaal wil vertellen, dat hij feiten verzonnen als hij ze even niet kan vinden. Hij zegt niet: "Ik weet het niet." Nee, hij zegt: "Natuurlijk was die rechter die uitspraak in 1998 gedaan! Hier is de tekst ervan."
- In de praktijk: De AI is getraind op miljarden teksten van internet. Hij leert hoe zinnen klinken, niet of ze waar zijn. Als je hem vraagt om een juridisch advies, kan hij zomaar een rechtszaak uitvinden die nooit heeft bestaan, met een naam van een rechter die er niet is.
- Het gevaar: Voor een advocaat of rechter is dit dodelijk. Als je een vonnis baseert op een verzonnen zaak, is je hele beslissing waardeloos. Het is alsof je een brug bouwt op een fundament van wolken.
2. De "Te Leuke Vriend" (Overbetrouwbaarheid)
Het tweede probleem is dat mensen te snel gaan vertrouwen op de AI.
- De analogie: Stel je voor dat je een vriend hebt die altijd zo zelfverzekerd praat, met een glimlach en een perfecte toon, dat je denkt: "Hij moet het wel weten!" Je stopt met zelf nadenken en doet gewoon wat hij zegt.
- In de praktijk: Omdat de AI zo goed klinkt (hij gebruikt moeilijke woorden en klinkt heel professioneel), denken advocaten en rechters: "De computer heeft het vast goed berekend." Ze stoppen met kritisch nadenken. Dit noemen we overbetrouwbaarheid.
- Het gevaar: Mensen geven hun verantwoordelijkheid uit handen. Ze denken dat de AI onfeilbaar is, terwijl we net zagen dat hij vaak liegt (hallucineert). Het is alsof je blindelings in een auto stapt die bestuurd wordt door iemand die de weg niet kent, alleen omdat hij een mooi uniform draagt.
3. Het "Onzichtbare Doosje" (Geen uitleg)
In het recht is het heel belangrijk dat je kunt uitleggen waarom je een beslissing neemt.
- De analogie: Stel je voor dat een rechter een vonnis schrijft, maar in plaats van te zeggen "Ik heb dit gedaan omdat wet X zegt...", zegt hij: "De computer heeft het gezegd." En als je vraagt "Waarom?", zegt de computer: "Ik weet het niet, ik heb gewoon de woorden die het beste bij elkaar passen."
- In de praktijk: De AI werkt als een zwarte doos. We zien de ingang (je vraag) en de uitgang (het antwoord), maar we zien niet hoe hij daar komt. Omdat de AI soms feiten verzonnen, kun je het antwoord ook niet controleren.
- Het gevaar: In Europa (volgens de GDPR en de nieuwe AI-wet) hebben mensen het recht om een uitleg te krijgen als een computer een beslissing over hen neemt. Als de AI feiten verzonnen, is er geen echte uitleg mogelijk. Je kunt niet uitleggen waarom je een beslissing nam op basis van iets dat niet bestaat.
Wat zegt het artikel als oplossing?
De auteur stelt dat we deze systemen niet zomaar moeten gebruiken in de rechtbank of bij juridisch advies, tenzij het probleem van het verzonnen en het te grote vertrouwen volledig opgelost is.
- De conclusie: Het is alsof je een nieuwe, snelle auto hebt, maar de remmen werken niet goed en de bestuurder is een beetje dromerig. Je kunt hem misschien gebruiken om naar de supermarkt te rijden (voor simpele taken), maar je zou hem nooit gebruiken om een vliegtuig te besturen of een levensbelangrijke beslissing te nemen.
Kortom: De AI is een slimme "schrijftool", maar geen "denker". Als we hem laten beslissen over mensenlevens of vrijheid, zonder dat we zelf blijven nadenken en controleren, riskeren we onrechtvaardige vonnissen en het verlies van vertrouwen in het rechtssysteem.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.