When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
Dit artikel introduceert een benchmark voor de bepaling van het tijdelijk toepasbare recht en onthult dat grote taalmodellen een sterke bias vertonen naar het toepassen van de meest recente wetgeving vanwege door reinforcement learning geïnduceerde redeneerconvergentie, wat leidt tot een contra-intuïtieve inverse relatie waarbij modellen met sterkere algemene redeneervaardigheden slechter presteren op temporeel gegronde juridische taken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het recht is geen statisch monument; het is een levend landschap dat door de tijd heen verandert. Nieuwe regels worden geschreven, oude worden herschreven, en de specifieke versie van een wet die van toepassing is op een situatie hangt volledig af van wanneer die situatie plaatsvond. Een contract dat vandaag wordt getekend, kan onder een andere set regels vallen dan een vergelijkbaar contract dat vijf jaar geleden werd getekend. Dit principe, bekend als non-retroactiviteit, is een hoeksteen van juridische rechtvaardigheid: mensen moeten worden beoordeeld volgens de wetten die bestonden op het moment dat zij handelden, niet volgens wetten die later zijn gemaakt. Om kunstmatige intelligentie nuttig te laten zijn in de juridische wereld, moet deze de tijdlijn begrijpen. Het kan niet simpelweg weten wat de wet zegt; het moet weten welke versie van de wet van kracht was op het exacte moment dat een juridische gebeurtenis plaatsvond. Als een computersysteem de timing verkeerd krijgt, past het de verkeerde regels toe, wat leidt tot fundamenteel onjuiste conclusies, ongeacht hoe slim de analyse van de feiten ook mag zijn.
Onderzoekers hopen al lang dat grote taalmodellen, de krachtige AI-systemen die in staat zijn complexe vragen te beantwoorden en teksten te schrijven, delen van deze juridische redenering kunnen automatiseren. Deze modellen hebben veelbelovende resultaten laten zien bij het voorspellen van rechterlijke uitspraken en het analyseren van contracten. Er bleef echter een cruciale vraag onbeantwoord: kunnen deze modellen betrouwbaar vaststellen welke versie van een wet van toepassing is op een specifieke zaak? Een nieuwe studie door een team van onderzoekers van instellingen uit Japan en China onderzoekt precies dit probleem. Zij bouwden een gespecialiseerde test om te zien of deze geavanceerde AI-systemen correct de juiste versie van een wet konden identificeren op basis van de data van de gebeurtenissen in een zaak. De resultaten onthulden een verrassende en systematische fout. De meest geavanceerde modellen, ondanks hun vermogen om door complexe problemen te redeneren, faalden consequent wanneer het juiste antwoord een oudere versie van de wet was. In plaats daarvan kozen ze overweldigend voor de nieuwste, meest recent ingevoerde versie, zelfs wanneer de feiten van de zaak duidelijk naar het verleden wezen.
Om de diepgang van dit probleem te begrijpen, construeerden de onderzoekers een benchmark met behulp van duizenden echte civiele rechtbankuitspraken uit China. Zij selecteerden zaken waarbij de relevante gebeurtenissen plaatsvonden vóór een belangrijke juridische update, specifiek vóór de implementatie van het Burgerwetboek in 2021. In deze zaken vereiste het juiste juridische antwoord het aanhalen van de oudere, zelfstandige wetten die op dat moment van kracht waren, zoals de oude Vermogenswet of Contractwet. Het team vroeg vervolgens aan diverse state-of-the-art AI-modellen om de juiste versie van de wet voor elke zaak te identificeren. De resultaten waren scherp uiteenlopend. Wanneer de zaak de huidige wet betrof, presteerden de modellen vrij goed en hadden ze vaak in meer dan 70 procent van de gevallen het juiste antwoord. Maar wanneer de zaak vereiste dat een oudere wet werd toegepast, stortte hun prestatie in. Bij deze oudere zaken scoorden de meeste modellen minder dan 15 procent, waarbij sommigen bijna naar nul zakten. De modellen gokten niet willekeurig; ze maakten consequent dezelfde specifieke fout. Ze identificeerden het juiste type wet, maar pasten de verkeerde versie toe, waarbij ze altijd naar de meest recente grepen.
De onderzoekers gingen vervolgens op zoek naar de oorzaak van dit fenomeen. Ze overwoogden eerst of de modellen simpelweg niet over de nodige kennis beschikten. Misschien had de AI de oude wetten nooit "gelezen" of begreep het de regels over hoe wetten in de loop van de tijd veranderen. Om dit te testen, vroegen ze de modellen de tekst van de oude wetten op te zeggen en meerkeuzevragen te beantwoorden over de regels van juridische timing. De modellen presteerden uitzonderlijk goed op deze tests, wat bewees dat ze de feiten en de regels bezaten. Ze wisten dat de oude wetten bestonden en begrepen de principes van non-retroactiviteit. Het falen was niet te wijten aan een gebrek aan geheugen of een gat in de kennis. Het probleem lag in de manier waarop de modellen die kennis gebruikten wanneer ze met een echte zaak werden geconfronteerd.
Verder onderzoek onthulde dat het probleem verbonden was aan de manier waarop deze modellen worden getraind om te redeneren. Moderne AI-systemen worden vaak verfijnd via een proces dat hen aanmoedigt om stapsgewijs door problemen te denken en een keten van redeneringen te produceren voordat ze een antwoord geven. Deze training is ontworpen om de modellen beter te maken in het oplossen van moeilijke logische puzzels en wiskundeproblemen. De onderzoekers ontdekten echter dat deze kracht in de juridische context juist een zwakte werd. De modellen met de sterkste algemene redeneergaven waren juist degenen die het slechtst presteerden op de timingtaak. Het trainingsproces leek de modellen in hun denken te hebben vernauwd, waardoor ze convergeerden naar één enkel, dominant pad: het toepassen van de huidige wet. Het was alsof de modellen hadden geleerd dat de meest recente informatie de belangrijkste is, en ze werden zo gefocust op dit patroon dat ze stopten met het verkennen van andere mogelijkheden, zelfs wanneer de feiten van de zaak daarom vroegen.
De studie suggereert dat de modellen niet faalden omdat ze te dom waren om de tijdlijn te begrijpen, maar omdat ze te efficiënt waren in het volgen van een specifieke, aangeleerde gewoonte. Toen de onderzoekers de modellen een eenvoudige hint gaven die hen eraan herinnerde om de datum van de gebeurtenis en de specifieke regels van juridische timing te overwegen, verbeterde de prestatie drastisch. Dit gaf aan dat de modellen de capaciteit hadden om het goed te doen, maar dat hun standaardmodus van opereren niet in lijn was met de specifieke vereisten van juridische redenering. Zonder een duwtje om naar de tijdlijn te kijken, zouden hun krachtige redeneermachines simpelweg de bias naar de nieuwste wet versterken.
Deze ontdekking benadrukt een subtiele maar gevaarlijke beperking van de huidige kunstmatige intelligentie. Het laat zien dat het slimmer maken van een model in algemeen redeneren niet automatisch betekent dat het beter wordt in elke taak. Sterker nog, voor taken die nauwgezette aandacht vereisen voor specifieke beperkingen, zoals de timing van een wet, kunnen de mechanismen die deze modellen juist krachtig maken, ervoor zorgen dat ze cruciale details negeren. De onderzoekers ontdekten dat wanneer de modellen werden gedwongen om verschillende redeneerpaden te verkennen in plaats van vast te houden aan hun standaardgewoonte, ze erin slaagden de juiste, oudere versie van de wet te identificeren. De studie concludeert dat voor AI om werkelijk betrouwbaar te zijn in het juridische veld, het niet alleen getraind moet worden om goed te redeneren, maar ook om de specifieke, vaak contra-intuïtieve regels van het domein te respecteren, zoals het feit dat de nieuwste wet niet altijd de juiste is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.