ANNOTARES: A Dataset for Extracting Logical Structures from German Statutory Texts
Dit artikel introduceert ANNOTARES, een nieuwe Duitse dataset van wettelijke teksten met annotaties op span-niveau voor het identificeren van juridische voorwaarden en gevolgen, en toont aan dat Transformer-gebaseerde modellen andere benaderingen overtreffen bij het extraheren van deze logische structuren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van computers voor die probeert menselijke taal te begrijpen. Lange tijd was dit alsof je een robot leerde een verhalenboek te lezen door simpelweg te tellen hoe vaak het woord "hond" voorkomt. Maar echte taal is rommelig; het zit vol verborgen regels, lastige zinnen en logica die niet alleen aan de oppervlakte ligt. Dit vakgebied, genaamd Natural Language Processing (NLP), is waar wetenschappers computers leren om echt te begrijpen wat we bedoelen, en niet alleen wat we zeggen. Onlangs is er een speciale tak van dit vakgebied ontstaan: LegalNLP. Denk hierbij aan een vertaler die probeert om eeuwenoude, supercomplexe juridische rollen te veranderen in iets wat een computer daadwerkelijk kan gebruiken om problemen op te lossen. Waarom geeft iemand daar om? Omdat wetten het regelboek zijn voor hoe de samenleving functioneert, maar ze zijn geschreven in een dichte, geneste stijl die zelfs voor mensen moeilijk te ontleden is. Als we computers kunnen leren om de "als dit gebeurt"-delen en de "dan gebeurt dit"-delen van een wet te herkennen, zouden we tools kunnen bouwen die mensen helpen hun rechten te begrijpen, advocaten helpen sneller te werken, of zelfs computers kunnen laten controleren of een nieuwe regel zinvol is voordat deze wordt aangenomen.
Ontmoet een team van onderzoekers van de Karlsruhe University of Applied Sciences die besloten een zeer specifieke, lastige puzzel in het Duitse recht aan te pakken. Ze noemen hun project ANNOTARES. Om te begrijpen wat ze hebben gedaan, moet je je een Duitse wet voorstellen als een enorme, warrige bal wol. Binnen die wol zitten twee verschillende soorten draden: de Tatbestand (de "voorwaarden" of het "als"-gedeelte) en de Rechtsfolge (de "gevolgen" of het "dan"-gedeelte). Neem bijvoorbeeld een zin als: "Als u hier zonder vergunning parkeert, krijgt u een boete." Het "als u hier zonder vergunning parkeert" is de voorwaarde, en "krijgt u een boete" is het gevolg. De uitdaging is dat Duitse juridische teksten beroemd zijn om hun extreme complexiteit, met zinnen die draaien en kronkelen, waarbij de "dan" soms vóór de "als" wordt geplaatst, of waarbij de regels verborgen liggen in lagen van andere woorden.
De onderzoekers creëerden een gloednieuwe dataset, wat in feite een enorme collectie Duitse juridische zinnen is die zorgvuldig door mensen zijn gelabeld. Ze namen meer dan 400 zinnen uit een gegevensbeschermingswet en voegden daar elk 50 zinnen toe uit een onderwijswet en een bouwvoorschrift. Ze besteedden tijd aan het markeren van elk afzonderlijk woord in deze zinnen om te zeggen: "Dit woord maakt deel uit van de voorwaarde," "Dit woord maakt deel uit van het gevolg," of "Dit woord is slechts achtergrondruis." Ze lieten zelfs zes verschillende mensen dezelfde zinnen labelen om te controlere of ze allemaal op één lijn zaten, en de overeenstemming tussen hen was erg hoog, zoals een groep vrienden die het allemaal eens is over de afloop van een film.
Zodra ze deze "gouden standaard"-dataset hadden, gebruikten ze deze als een trainingsgym voor verschillende soorten computerbreinen. Ze testten zes verschillende benaderingen, variërend van eenvoudige regelvolgende robots (zoals een recept dat zegt: "als je het woord 'als' ziet, markeer het") tot complexe, moderne AI-modellen gebaseerd op Transformers (die als superintelligente lezers zijn die bijna het hele internet hebben gelezen). Ze wilden zien welk computerbrein het beste de draad van de wol kon ontwarren en het "als" van het "dan" kon scheiden.
De resultaten waren een mix van verrassingen en bevestigingen. De eenvoudige regelvolgende robots deden het verschrikkelijk; ze raakten verdwaald in de complexe zinnen en gokten meestal dat alles "achtergrondruis" was. De oudere, simpelere AI-modellen (zoals BiLSTMs) hadden ook moeite; ze slaagden er vaak niet in om de grenzen van de juridische regels correct te vinden. Echter, de moderne Transformer-modellen, vooral één genaamd mBERT, presteerden als kampioenen. Ze waren in staat de complexe structuur van de juridische taal te begrijpen en de voorwaarden en gevolgen meestal correct te identificeren. Interessant genoeg waren de nieuwste, enorme AI-modellen (Large Language Models of LLM's) ook erg goed, maar ze hadden een grappige eigenschap: hoewel ze niet perfect waren in het correct labelen van elk afzonderlijk woord, waren ze verrassend goed in het vinden van de exacte begin- en eindpunten van de juridische regels, zelfs als ze een woord of ander lieten liggen.
Een van de belangrijkste zaken die het paper vond, is dat deze computerbreinen echt hulp nodig hadden bij de "grammatica" van de zin. Wanneer de onderzoekers de modellen extra aanwijzingen gaven over de zinsstructuur (zoals weten welk woord het onderwerp en welk woord het werkwoord is), werden de modellen veel beter. Het is alsof je een detective een kaart van de plaats delict geeft; zonder de kaart vindt de detective misschien de juiste verdachte, maar met de kaart kan hij precies aanwijzen waar het misging. Het paper suggereert dat hoewel deze moderne AI-modellen krachtig zijn, ze nog steeds vertrouwen op het begrijpen van de specifieke grammaticale structuren van juridische taal om hun beste werk te leveren.
Uiteindelijk bouwden de auteurs niet alleen een dataset; ze bouwden een benchmark. Ze lieten zien dat hoewel het extraheren van logische structuren uit wetten moeilijk is, moderne AI eindelijk in staat is om de taak te volbrengen, mits het de juiste data en een beetje hulp met grammatica heeft. Ze hebben hun dataset publiekelijk vrijgegeven, in de hoop dat het andere onderzoekers zal helpen bij het bouwen van nog betere tools voor geautomatiseerd juridisch redeneren. Ze beweerden niet het volledige mysterie van het recht te hebben opgelost, maar ze bewezen wel dat we computers nu kunnen leren om het "als" en het "dan" in Duitse wetten met een hoge mate van nauwkeurigheid te herkennen, wat de deur opent naar een toekomst waarin juridische technologie minder als magie is en meer als een betrouwbare assistent.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.