LexKairos: Benchmarking Legal Temporal Capabilities in LLMs
Dit artikel introduceert LexKairos, een uitgebreide benchmark die is ontworpen om de temporele capaciteiten van grote taalmodellen in de Chinese juridische context te evalueren op het gebied van statutaire kennis, casusmodellering en redeneren, waarbij wordt onthuld dat zelfs de best presterende modellen nog steeds moeite hebben met precieze tijdsgevoelige juridische taken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin de wet niet alleen een enorme bibliotheek vol regels is, maar een levende, ademende machine die alleen werkt als je op het juiste moment de juiste knoppen draait. In deze wereld kan een wet vandaag een krachtig instrument zijn, maar gisteren was het een kapot speelgoedje, en morgen kan het een compleet andere machine zijn. Dit is het domein van Juridische Temporele Capaciteiten. Hoewel computers erg goed zijn geworden in het lezen van wetten en het begrijpen van wat ze zeggen (het "wat"), worstelen ze nog steeds met het begrijpen van wanneer ze van toepassing zijn (het "wanneer"). Denk aan een GPS die elke straatnaam kent, maar in de war raakt door verkeerslichten en wegwerkzaamheden die elk uur veranderen. Als een computer het verschil niet kan zien tussen een regel die nu actief is en een regel die vorig jaar is verlopen, kan het geen juridisch advies geven zonder een enorme puinhoop te veroorzaken. Dit is waarom onderzoekers er een race van hebben gemaakt om kunstmatige intelligentie te leren hoe ze de tijd perfect bij moet houden met de wet.
Maak kennis met LexKairos, een nieuwe "tijdreis-test" ontworpen door onderzoekers van Oxford, Sun Yat-Sen University en Tsinghua University om te zien hoe goed moderne AI-hersenen kunnen omgaan met de tikkende klok van het Chinese rechtssysteem. Ze vroegen de AI niet alleen om te gokken; ze bouwden een rigoureuze hindernisbaan met negen verschillende uitdagingen, variërend van eenvoudige geheugenquizzen over wanneer wetten van kracht werden, tot complexe puzzels waarbij de AI feiten uit een rechtszaak moet combineren met strikte deadlines uit het regelboek. Ze lieten acht verschillende AI-modellen deze beproeving doorstaan, waarbij sommige stilzwijgend nadachten voordat ze antwoordden en andere gewoon een onmiddellijke gok gaven.
De resultaten? Het is een beetje een gemengde boel, zoals een race waarbij de hardlopers wel snel zijn, maar steeds over hun eigen veters struikelen. De top presteerders, zoals Gemini-3-Flash en GPT-5.4, slaagden erin om rond de 84,57% en 82,75% te scoren respectievelijk wanneer ze de ruimte kregen voor hun "denkmodus". Dat klinkt indrukwekkend, maar de onderzoekers ontdekten dat zelfs de slimste modellen zwaar struikelen wanneer ze gevraagd worden specifieke details te herinneren over welke versie van een wet op een specifieke dag van kracht was. Het blijkt dat terwijl AI geweldig is in het begrijpen van de volgorde van gebeurtenissen in een verhaal (zoals wie wat eerst deed in een rechtszaak), het verrassend slecht is in het onthouden van de exacte "geboortedatums" en "vervaldata" van de wetten zelf.
Een van de meest interessante ontdekkingen was hoe deze AI-modellen falen. Wanneer ze werden gevraagd de juiste versie van een wet te identificeren, maakten de modellen niet zomaar willekeurige fouten; ze hadden duidelijke persoonlijkheden in hun fouten. Eén model, GPT-5.4, was als een verlegen student die bang was om te gokken, en liet vaak het antwoord leeg of miste de versie-aanduiding volledig (een "missing tag"-fout). Een ander model, LegalOne-8B, was als een overmoedige student die feiten verzon, door versienummers te verzinnen die niet bestonden (een "hallucinated tag"-fout). Wanneer de onderzoekers de "denkmodus" inschakelden — waardoor de modellen pauzeerden en reden over het probleem — begon de verlegen versie meer te gokken (het verminderen van de ontbrekende tags), maar begon de overmoedige versie meer nepversies te verzinnen, terwijl de overmoedige versie voorzichtiger werd maar juist vaker tags miste. Het is alsof het geven van meer tijd om na te denken hun geheugen niet oploste, maar slechts één type fout in een ander type fout veranderde.
Bovendien suggereert de studie dat het simpelweg laten "nadenken" van een AI niet altijd de magische oplossing is. Voor sommige modellen was het denkproces zo lang en kronkelig dat ze geen ruimte meer hadden om hun antwoord af te maken, waardoor ze net voor de oplossing werden afgebroken. De onderzoekers ontdekten dat door de AI een specifieke, gestructureerde checklist van juridische stappen te geven (een "taakspecifieke prompt"), ze bijna even goede resultaten konden krijgen, maar met antwoorden die tot wel 3,4 keer korter waren. Dit suggereert dat voor juridische tijdreizen een begeleide rondleiding beter is dan de AI doelloos te laten dwalen.
Uiteindelijk suggereert LexKairos dat hoewel AI beter wordt in juridische redenering, het "wanneer"-gedeelte van de wet een hardnekkige uitdaging blijft. Zelfs de beste modellen zijn nog steeds vatbaar voor fouten wanneer de inzet bestaat uit precieze datums en procedurele deadlines. Het artikel beweert niet dat dit probleem is opgelost; het benadrukt eerder dat we AI moeten bouwen die niet alleen slim is, maar ook ongelooflijk precies is met de tijd, omdat in de juridische wereld een dag te laat zijn het verschil kan betekenen tussen rechtvaardigheid en een verloren zaak.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.