Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents
Dit artikel stelt een hybride benadering voor die temporele afhankelijkheden uit juridische documenten extraheert naar een graaf voor code-gebaseerde deadlineberekening, waarbij wordt aangetoond dat deze pijplijn de nauwkeurigheid en verifieerbaarheid van directe taalmodel-antwoorden aanzienlijk overtreft, met name door rekenfouten te vermijden, terwijl wordt benadrukt dat extractie nog steeds de primaire bron van falen is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van het recht is tijd niet louter een achtergrond; het is een structureel element dat het lot van een vordering kan bepalen. Een juridische procedure moet vaak vóór een specifieke deadline worden ingediend, berekend vanaf een startgebeurtenis zoals een beëindiging van het dienstverband of een discriminerend incident. Deze berekeningen zijn zelden eenvoudige rekenkunde. Ze omvatten het tellen van dagen volgens strikte wettelijke regels, rekening houdend met pauzes waarbij de klok stilstaat om verplichte bemiddeling toe te staan, en het aanpassen aan de grillen van de kalender, zoals maanden van verschillende lengtes of schrikkeljaren. Als een vordering zelfs maar één dag te laat wordt ingediend, is deze vaak voor altijd uitgesloten, ongeacht hoe sterk de zaak ook mag zijn. Dit creëert een omgeving met hoge inzet waar het verschil tussen succes en falen wordt gemeten in uren, terwijl de documenten die de noodzakelijke data bevatten vaak begraven liggen in complexe, geneste juridische proza.
Onderzoekers aan de Universiteit Leiden zetten zich in om een fundamentele vraag op te lossen over hoe computers dit probleem zouden moeten aanpakken. Ze vroegen zich af of een groot taalmodel, het type kunstmatige intelligentie dat tekst kan lezen en samenvatten, erop vertrouwd zou moeten worden om deze deadlines direct te berekenen. Of zou het veiliger zijn om de computer eerst de specifieke data en hun relaties uit de tekst te laten extraheren, een gestructureerde kaart van die feiten te laten opbouwen, en vervolgens een aparte, rigide rekenmachine te laten gebruiken om de wiskunde uit te voeren? Het team bouwde een systeem dat tijd behandelt als een netwerk van verbonden feiten, waarbij elke datum een knooppunt is en de regels die hen verbinden de verbindingen (edges) vormen. Ze testten deze aanpak tegen de directe antwoordmethode met behulp van echte Britse uitspraken van arbeidsrechtelijke tribunalen en een enorme set gesimuleerde zaken waarbij het juiste antwoord bij ontwerp bekend was.
De studie toonde aan dat hoewel moderne taalmodellen verrassend goed zijn in het lezen van juridische teksten, ze aanzienlijk moeite hebben wanneer ze gevraagd worden om de vereiste precieze rekenkunde voor juridische deadlines uit te voeren. Wanneer de onderzoekers een krachtig taalmodel vroegen een zaak te lezen en in één keer een deadline te produceren, gaf het model vaak het uiteindelijke oordeel fout, zelfs wanneer de interne redeneerstappen correct waren. In een opmerkelijke bevinding berekende het model soms het juiste aantal dagen, maar spreekt het zichzelf vervolgens tegen in de laatste zin door een te late vordering als tijdig te verklaren. Dit gebeurde in zes van de eenentwintig pogingen met de sterkste geteste modellen. De fout zat niet in de wiskunde zelf, maar in het onvermogen van het model om de uiteindelijke conclusie consistent af te stemmen op het werk dat het zojuist had verricht.
Om de alternatieve aanpak te testen, bouwden de onderzoekers een pijplijn die eerst de relevante data en hun afhankelijkheden extraheert in een graaf, een visuele structuur waar de computer kan zien hoe de ene datum tot de andere leidt. Een aparte, deterministische engine past vervolgens de strikte juridische regels toe op deze graaf. Deze engine raadt niet; hij volgt een vaste set instructies voor het tellen van maanden, het afhandelen van schrikkeljaren en het toepassen van de verplichte pauzes voor schikking. Toen dit gestructureerde systeem werd getest op dezelfde echte zaken, reproduceerde het de data van de rechters perfect en kwam het overeen met de uitspraken van het tribunaal in zes van de zeven gevallen. Het systeem was zo betrouwbaar dat wanneer het geen duidelijk startpunt in de tekst kon vinden, het simpelweg weigerde te antwoorden en uitleg gaf waarom, in plaats van te gokken.
De onderzoekers gingen vervolgens een stap verder door 427 nieuwe zaken te creëren. Ze namen echte uitspraken en verschoven systematisch de startdata met enkele dagen, waarbij ze precies de grens overstaken waar een vordering zou veranderen van tijdig naar te laat. Dit creëerde een scenario waarin het juiste antwoord met absolute zekerheid bekend was, omdat het door de engine zelf werd berekend, en niet door menselijke annotatie. In deze rigoureuze test was het gestructureerde systeem in 90,2% van de zaken die het probeerde correct, terwijl de directe taalmodellen slechts 61,2% correct waren. De kracht van het gestructureerde systeem lag in het vermogen om de keten van afhankelijkheden te beheren; naarmate de keten van gebeurtenissen langer werd, raakten de directe modellen steeds meer in de war, terwijl het graafgebaseerde systeem nauwkeurig bleef.
De studie identificeerde echter ook waar deze nieuwe methode haar grenzen bereikt. De fouten in het gestructureerde systeem zaten bijna nooit in de rekenkunde of de berekening van de deadline. In plaats daarvan traden de fouten op bij de allereerste stap: het kiezen van welk evenement in de tekst het juiste startpunt was. In complexe juridische documenten kunnen meerdere gebeurtenissen eruitzien als potentiële startpunten, en het systeem koos soms het verkeerde. Dit is een probleem van het begrijpen van de juridische context, niet van het doen van de wiskunde. De onderzoekers ontdekten dat zelfs de beste taalmodellen, wanneer ze werden gevraagd deze feiten te extraheren, vaak faalden in het koppelen van het juiste evenement aan de juiste regel, wat suggereert dat het moeilijkste deel van de taak niet de berekening is, maar de initiële interpretatie van welke feiten van belang zijn.
Uiteindelijk demonstreert het artikel dat voor taken die een strikte naleving van regels en precieze berekening vereisen, een hybride aanpak het beste werkt. Door het lezen van de tekst te scheiden van de uitvoering van de wiskunde, wint het systeem een laag betrouwbaarheid die pure taalmodellen missen. Het taalmodel fungeert als een vertaler, die rommelige juridische proza omzet in een heldere set feiten, terwijl de engine fungeert als een rechter, die de wet toepast zonder aarzeling of tegenstrijdigheid. Deze taakverdeling stelt het systeem in staat om toe te geven wanneer het onzeker is, door een duidelijke reden voor de aarzeling te geven in plaats van een zelfverzekerd maar foutief antwoord. De resultaten suggereren dat voor juridische deadlines, waarbij één dag alles kan veranderen, het meest effectieve instrument niet een model is dat probeert alles tegelijk te doen, maar een systeem dat het probleem opdeelt, zijn werk controleert en weet wanneer het moet stoppen en om hulp moet vragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.