Verifiable Provenance for AI Judicial Decision Support Using Transparency Logs and Citation Entailment
Het artikel introduceert VADP, een auditeerbare architectuur voor juridische besluitvormingsondersteuning door AI die Zero-Trust toegangscontrole, natuurlijke taalinferentie en transparantielogboeken integreert om verifieerbare contracten te creëren die bewijsvoeringscustodie en verklaarbaarheid waarborgen, terwijl het empirisch hoge verdedigingspercentages tegen prompt injection en manipulatie aantoont naast significante maar jurisdictieafhankelijke prestatiewinsten en erkende beperkingen met betrekking tot grensoverschrijdende generalisatie en niet-geverifieerde cryptografische betrouwbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestane wereld van de rechtspraak rust de beslissing van een rechter op een fundament van feiten, precedenten en wetten. Wanneer kunstmatige intelligentie dit terrein betreedt om rechtszaken te onderzoeken of samenvattingen op te stellen, ontstaat er een nieuw probleem: hoe kan een mens er zeker van zijn dat de machine de waarheid spreekt? In tegenstelling tot een rekenmachine die simpelweg getallen verwerkt, kan moderne AI soms feiten verzinnen of wetten aanhalen die niet bestaan, een fenomeen dat bekend staat als "hallucinatie". In een rechtszaal zijn dergelijke fouten niet slechts vergissingen; ze kunnen de rechtvaardigheid ondermijnen. De uitdaging is daarom niet alleen om een slimmere AI te bouwen, maar om een AI te bouwen die voor elke bewering een duidelijk, onveranderlijk spoor van bewijs achterlaat, zodat een mens precies kan verifiëren waar de informatie vandaan kwam en of deze geautoriseerd was om gebruikt te worden.
Onderzoekers Aditya Mandloi en Anushka Yadav hebben een systeem voorgesteld genaamd VADP, ontworpen om dit probleem op te lossen door elke door AI gegenereerde juridische aanbeveling te omhullen met een digitaal "verificatiecontract". Denk bij dit contract aan een verzegelde envelop die niet alleen het antwoord van de AI bevat, maar ook het bewijs van hoe dat antwoord is bereikt. Het systeem werkt eerst door te controleren of de persoon die de vraag stelt het recht heeft om de informatie te zien, vergelijkbaar met een beveiliger die een legitimatiebewijs controleert. Vervolgens haalt het relevante juridische documenten op uit een beveiligde database en gebruikt het een tweede, gespecialiseerde AI om dubbel te controleren of de opgehaalde documenten de beweringen van de eerste AI daadwerkelijk ondersteunen. Als de documenten de beweringen niet ondersteunen, signaleert het systeem de fout onmiddellijk. Ten slotte wordt het hele proces — van de identiteit van de gebruiker tot de specifieke juridische tekst die is gebruikt — vastgelegd in een digitaal record dat niet kan worden gewijzigd zonder een zichtbare markering achter te laten, vergelijkbaar met hoe een lakzegel op een brief bewijst dat deze niet is geopend.
De onderzoekers testten dit systeem met behulp van een benchmark van 1.500 juridische vragen gebaseerd op echte zaken van het Indiase Hooggerechtshof. De resultaten toonden aan dat het systeem zeer effectief was in het vinden van de juiste juridische precedenten, waarbij het in meer dan 93% van de gevallen het meest relevante document als eerste rangschikte. Belangrijker nog, het systeem slaagde erin bijna alle gevallen te ontdekken waarin de AI probeerde een citatie te verzinnen of het bronmateriaal te tegenspreken, waarbij het ongeveer 94% van de ongefundeerde claims en 98% van de directe tegenstrijdigheden onderschepte. De digitale "envelop" bleek ook ongelooflijk robuust; in tests waarbij onderzoekers probeerden de records te manipuleren door een enkele bit aan data te wijzigen of een tijdstempel aan te passen, detecteerde het systeem de wijziging 100% van de tijd, wat bewees dat het record intact bleef.
De onderzoekers zijn echter voorzichtig met het onderscheid tussen wat hun systeem wel en niet kan bewijzen. Hoewel het systeem garandeert dat het bewijs correct is opgehaald en dat het record niet is gemanipuleerd, garandeert het niet dat de uiteindelijke juridische redenering van de AI perfect is of dat de rechter het eens zal zijn met de uitkomst. Het systeem fungeert als een rigoureuze auditor van het proces, niet als vervanging voor menselijk oordeel. Sterker nog, de studie toonde aan dat het systeem onder de huidige instellingen nog steeds een menselijke rechter zou vereisen om ongeveer 68% van de zaken te beoordelen om de veiligheid te waarborgen, waardoor slechts de resterende 32% zonder tussenkomst kan voortgaan. Deze hoge mate van menselijke controle is opzettelijk, ontworpen om het risico op het missen van een cruciale fout onder de 5% te houden.
De studie onderzocht ook hoe goed deze aanpak zou werken in verschillende rechtssystemen, zoals die in de Verenigde Staten of Europa. Wanneer het systeem op deze buitenlandse juridische datasets werd getest zonder specifieke hertraining, daalde de prestatie aanzienlijk; het identificeerde het juiste precedent in minder dan de helft van de gevallen. Dit suggereert dat hoewel de onderliggende technologie voor het verifiëren van bewijs universeel is, de specifieke instrumenten die nodig zijn om de juiste wetten te vinden, moeten worden afgestemd op de specifieke wetgeving van het land. De onderzoekers merkten ook op dat hun huidige tests werden uitgevoerd op een enkele computer, en hoewel het systeem daar perfect werkte, is het nog niet getest in een live, multi-court omgeving waar veel gebruikers het systeem gelijktijdig vanuit verschillende locaties benaderen.
Uiteindelijk biedt dit werk een nieuwe manier om na te denken over vertrouwen in kunstmatige intelligentie. In plaats van een rechtbank te vragen te vertrouwen op de belofte van een leverancier dat hun software veilig is, biedt VADP een tastbaar, controleerbaar artefact voor elke beslissing. Het verschuift de last van blind vertrouwen naar onafhankelijke verificatie, waarbij wordt gegarandeerd dat als een juridische citatie wordt gebruikt, deze daadwerkelijk uit een beveiligde bron is opgehaald, en dat als een record wordt gewijzigd, de wijziging onmiddellijk zichtbaar is. Hoewel het systeem nog geen afgewerkt product is dat klaar is voor elke rechtszaal, demonstreert het dat het mogelijk is om AI-tools te bouwen die niet alleen krachtig zijn, maar ook transparant en verantwoordelijk, waardoor rechters en advocaten de instrumenten krijgen die ze nodig hebben om de waarheid te verifiëren voordat ze levensveranderende beslissingen nemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.