NormDef-FR: an annotated corpus of normative definitions for the automatic processing of French legal codes

De wet wordt vaak voorgesteld als een enorme bibliotheek vol regels, maar voor een computer is het een chaotische zee van tekst. In Frankrijk is het rechtssysteem gebouwd op codices—massale collecties wetten waar elk woord een specifieke lading heeft. Binnen deze duizenden pagina's pauzeren wetgevers regelmatig om hun eigen termen te definiëren. Ze kunnen schrijven: "Met persoonsgegevens bedoelen wij alle informatie die betrekking heeft op een geïdentificeerd persoon," of "Voor het doel van dit artikel omvat een voertuig een fiets." Dit zijn niet slechts behulpzame verklaringen; het is de juridische motor die bepaalt hoe rechten en verplichtingen functioneren. Zonder deze precieze definities kan de rest van de wet niet correct functioneren. Het vinden van deze definities is echter moeilijk omdat ze verspreid liggen over meer dan 161.000 actieve artikelen, begraven in verschillende codes variërend van gezondheid tot belastingheffing, zonder een georganiseerde kaart om een zoekopdracht te begeleiden.

Dit gebrek aan structuur creëert een aanzienlijk probleem voor technologie. Als een advocaat of een digitaal systeem precies wil weten wat een specifieke term in de ogen van de wet betekent, moeten zij vaak handmatig door ontelbare pagina's bladeren, zonder de garantie dat zij elke instantie hebben gevonden. Natural language processing, het vakgebied van de informatica dat machines leert menselijke taal te begrijpen, heeft grote vooruitgang geboekt in het analyseren van juridische teksten, maar heeft moeite gehad met deze specifieke taak. De meeste bestaande tools zijn ontworpen voor het Engels of voor algemene definities die in woordenboeken te vinden zijn, niet voor de strikte, bindende definities die in de Franse wetgeving staan. Om deze kloof te overbruggen, hebben onderzoekers een nieuwe bron ontwikkeld genaamd NormDef-FR, een zorgvuldig samengestelde collectie van deze juridische definities, ontworpen om computers te leren hoe ze deze automatisch kunnen vinden en begrijpen.

De onderzoekers, werkzaam aan de Abdelmalek Essaadi Universiteit in Maroklo, benaderden het probleem door een brug te slaan tussen menselijke expertise en machineautomatisering. Ze begonnen met het verzamelen van de huidige, actieve wetten uit de officiële Franse juridische database. In plaats van te proberen een computer de hele bibliotheek in één keer te laten lezen, gebruikten ze eerst eenvoudige, op regels gebaseerde patronen om waarschijnlijke kandidaten op te sporen. Ze zochten naar specifieke zinsneden die het Franse recht gebruikt om definities in te leiden, zoals "wordt gedefinieerd als" of "wordt beschouwd als", of het gebruik van een dubbele punt om een term van de betekenis te scheiden. Deze eerste ronde genereerde een lijst van potentiële definities, maar het was verre van perfect. Veel van deze kandidaten waren vals alarm, waarbij zinnen werden gevangen die op definities leken maar eigenlijk iets anders waren, zoals een lijst met in te dienen documenten of een beschrijving van een juridisch effect.

Om deze ruwe lijst te veranderen in een betrouwbaar trainingsinstrument, brachten de onderzoekers menselijke experts in. Ze beoordeelden handmatig duizenden van deze kandidaten, waarbij ze beslisten welke wel en welke niet bruikbare juridische definities waren en welke weggegooid moesten worden. Ze corrigeerden ook de grenzen van de tekst, om er zeker van te zijn dat de "term" die gedefinieerd werd en de "definitie" zelf exact werden uitgeknipt. Dit proces was rigoureus. De onderzoekers lieten twee onafhankelijke experts een steekproef van de data labelen om te controleren of zij het eens waren over wat een definitie vormde. Het resultaat was een hoog niveau van overeenstemming, wat bevestigde dat de regels voor het identificeren van deze definities duidelijk en consistent waren. Het eindproduct, versie 1.0.0 van NormDef-FR, bevat 693 geverifieerde definities geëxtraheerd uit 363 verschillende artikelen over 50 verschillende juridische codes. Elke vermelding koppelt de gedefinieerde term aan de betekenis, bevat metadata over de herkomst en vermeldt het specifieke type definitie.

Met deze gouden standaard collectie in handen, testten de onderzoekers hoe goed computers ervan konden leren. Ze stelden drie verschillende uitdagingen op om te zien waar de machines slaagden en waar ze struikelden. De eerste taak was eenvoudige extractie: kon een systeem de definitie opsporen en de term en de betekenis eruit halen? De tweede taak was breder: kon een systeem een heel artikel bekijken en beslissen of het een definitie bevatte of niet? De derde taak was de moeilijkste: kon een systeem een door een computer gegenereerde kandidaat-definitie nemen en beslissen of deze goed genoeg was om te houden, of dat het een fout was die weggegooid moest worden?

De resultaten toonden een duidelijke hiërarchie van moeilijkheidsgraad aan. De machines waren verrassend goed in de tweede taak. Wanneer hen werd gevraagd welke artikelen definities bevatten, presteerden de modellen met bijna perfecte nauwkeurigheid, vooral wanneer ze getraind waren op een set van "ware negatieven"—artikelen die handmatig waren gecontroleerd om er zeker van te zijn dat ze geen definities bevatten. Dit inzicht was cruciaal, omdat het aantoonde dat de eerdere methode van aannemen dat elk artikel dat niet in de definitielijst stond een "negatief" was, gebrekkig was; veel van die artikelen bevatten in werkelijkheid verborgen definities. Zodra de onderzoekers de negatieve voorbeelden opschoonde, konden de computers gemakkelijk het verschil zien tussen een definitie-rijk artikel en een regulier artikel.

De derde taak bleek echter de echte flessenhals te zijn. Wanneer de computers specifieke term-definitie paren moesten valideren, daalde hun prestatie aanzienlijk. Hoewel ze gemakkelijk de algemene plek konden vinden waar een definitie zich zou kunnen bevinden, hadden ze moeite om te bepalen of het specifieke paar dat ze eruit hadden gehaald juridisch geldig was. Ze vergavenen vaak een lijst met vereisten of een procedurele instructie voor een definitie. De beste modellen slaagden erin om ongeveer 71 procent van deze moeilijke beslissingen correct uit te voeren, wat een groot verschil is met de bijna perfecte scores bij de taak van artikeldetectie. Dit suggereert dat hoewel computers de juiste buurt kunnen vinden, ze nog steeds menselijke hulp nodig hebben om het exacte huis te verifiëren.

De studie benadrukte ook een verrassende beperking van geavanceerde kunstmatige intelligentie in deze specifieke context. De onderzoekers testten een geavanceerd taalmodel, vergelijkbaar met die gebruikt voor algemene gesprekken, tegen een simpelere, meer traditionele methode gebaseerd op woordpatronen. Voor de moeilijke taak van het valideren van kandidaten, presteerde het complexe model niet beter dan de simpelere methode. Sterker nog, de simpelere methode was stabieler en betrouwbaarder. Dit geeft aan dat voor zeer gespecialiseerde juridische teksten, waar de regels rigide zijn en de patronen specifiek, een rechttoe-rechtan aanpak die vertrouwt op duidelijke linguïstische markers effectiever kan zijn dan een complex systeem dat probeert de tekst in algemene zin te "begrijpen".

De creatie van NormDef-FR is meer dan alleen een dataset; het is een demonstratie van hoe men betrouwbare middelen voor juridische technologie kan bouwen. De onderzoekers lieten zien dat het simpelweg aannemen van de afwezigheid van gegevens niet genoeg is; men moet actief verifiëren wat er niet is. Door de negatieve voorbeelden handmatig te controleren, voorkamen ze dat het systeem de verkeerde lessen leerde. Deze aanpak zorgt ervoor dat de bron robuust en betrouwbaar is voor toekomstige ontwikkelaars. De dataset is nu publiekelijk beschikbaar, compleet met documentatie en scripts die anderen in staat stellen het werk te reproduceren. Het dient als een fundament voor het bouwen van betere tools voor juridisch onderzoek, waarbij het de saaie arbeid van het zoeken naar definities automatiseert, zodat juristen en systemen zich kunnen concentreren op het interpreteren van de wet in plaats van op het zoeken naar de betekenis ervan. Hoewel het werk nog niet voltooid is—toekomstige versies zullen meer soorten wetten moeten dekken en moeten bijhouden hoe definities in de loop van de tijd veranderen—biedt het een solide startpunt om helderheid te brengen in de complexe wereld van de Franse juridische codes.