An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph

Deze studie toont aan hoe kunstmatige intelligentie en grote taalmodellen kunnen worden ingezet om Senegalese wetteksten, met name de Grond- en Openbaar Domeincode, gestructureerd te maken in een kennisgrafiek, waardoor de toegang tot juridische informatie voor burgers en professionals wordt verbeterd.

De kern

Stel je voor dat de Senegalese wetgeving een gigantische, oude bibliotheek is. Deze bibliotheek zit vol met duizenden boeken (wetten, decreten, regelingen), maar ze liggen in een enorme chaos. De boeken zijn in het Frans geschreven, vol met verwijzingen naar andere boeken, en sommige pagina's zijn zelfs verbleekt of in de vorm van oude foto's. Voor een gewone burger of zelfs een advocaat is het bijna onmogelijk om te vinden wat je precies moet doen als je een stuk land wilt kopen of een vergunning nodig hebt.

Dit onderzoek is als het bouwen van een super-intelligente bibliothecaris die deze hele chaos oplost. Hier is hoe ze dat gedaan hebben, vertaald naar alledaags taal:

1. Het Grote Schraapwerk (De Data)

Eerst moesten ze alle tekst uit de boeken halen. De onderzoekers hebben een slim computerprogramma geschreven dat als een digitale stofzuiger door 20 verschillende wetboeken is gegaan. Ze hebben 7.967 artikelen (de kleine regels binnen de wetten) eruit gehaald.

• De analogie: Het is alsof je een hele berg losse puzzelstukjes verzamelt. De meeste stukjes kwamen uit het "Land- en Openbaar Domein" boek, omdat dat zo'n ingewikkeld onderwerp is.

2. De Digitale Spinnenweb (De Kennisgrafiek)

Gewone databases zijn als lijsten in een Excel-blad: rijen en kolommen. Maar wetten zijn geen lijsten; ze zijn een web van verbindingen. Een wet verwijst naar een decreet, dat weer verwijst naar een artikel, dat weer verwijst naar een ministerieel besluit.

Om dit te visualiseren, bouwden ze een digitale spinnenweb (een zogenaamde "Knowledge Graph" in Neo4j).

• De analogie: Denk aan een gigantisch stadsplan. In plaats van alleen straten te hebben, zie je ook de gebouwen, de bussen die er rijden, en wie de eigenaar is.
• Ze hebben 2.872 knooppunten (zoals "Wet", "Decreet", "Persoon") en 10.774 lijnen (de verbindingen tussen ze) gemaakt.
• Nu kun je zien: "Als ik dit artikel lees, welke andere regels raken hieraan?" Het is alsof je een Google Maps hebt voor de wet, waar je kunt zien hoe alles met elkaar verbonden is.

3. De Slimme Vertalers (De AI en LLM's)

Nu hadden ze de tekst en de kaart, maar ze moesten de betekenis van de zinnen begrijpen. Hiervoor gebruikten ze Grote Taalmodellen (LLM's), zoals de slimme AI's GPT-4o en Mistral-Large.

• De analogie: Stel je voor dat je een groep zeer intelligente studenten (de AI's) voorlegt: "Lees dit moeilijke juridische stuk en vertel me in drie simpele zinnen wie wat doet."
• Ze noemen dit het extraheren van "kennis-drievoud" (triplets): Onderwerp - Werkwoord - Object. Bijvoorbeeld: "Artikel 5" - "verwijst naar" - "Decreet 2020".
• Ze testten verschillende AI's om te zien wie de beste "student" was. De winnaar? GPT-4o. Deze kon de verborgen verbanden het snelst en nauwkeurigst vinden, net als een detective die de kleine details ziet die anderen missen.

4. Waarom is dit belangrijk?

Vroeger moest je als burger door de bossen van de wetten lopen en hopen dat je niet verdwaalde. Met dit nieuwe systeem:

• Transparantie: Iedereen kan zien hoe de regels met elkaar verbonden zijn.
• Toegang: Mensen kunnen hun rechten en plichten sneller begrijpen.
• Toekomst: Het is de basis voor een slimme juridische assistent. Stel je een app voor waar je kunt vragen: "Mag ik mijn huis verhuren?" en de app, gebaseerd op dit web van wetten, je direct het juiste antwoord geeft, zonder dat je zelf door de wetboeken hoeft te bladeren.

Samenvattend

De onderzoekers hebben een digitale schatkaart gemaakt van de Senegalese wetten. Ze hebben duizenden regels opgehaald, ze in een slim netwerk gezet en de slimste AI's gebruikt om de verborgen verbanden te ontrafelen. Het doel is simpel: zorgen dat de wet niet langer een gesloten club is voor experts, maar iets waar iedereen toegang toe heeft en dat begrijpelijk is. Het is een stap in de richting van een eerlijker en transparantere rechtstaat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph", geschreven in het Nederlands.

Technische Samenvatting: Structurering van Senegalese Juridische Teksten met een door LLM's verrijkte Kennisgraf

1. Probleemstelling

De Senegalese justitiële sector kampt met aanzienlijke uitdagingen bij de toegang tot en het beheer van juridische informatie. De belangrijkste problemen zijn:

• Complexiteit en Fragmentatie: Juridische documenten (wetten, decreten, verordeningen) zijn vaak onderling verbonden, tegenstrijdig of moeilijk te navigeren.
• Gebrek aan Structuur: Documenten zijn vaak ongestructureerd of beschikbaar in gescande formaten, wat het extraheren van data bemoeilijkt.
• Beperkte Toegankelijkheid: Burgers en juridische professionals hebben moeite om hun rechten en plichten te begrijpen door de moeilijkheid om relevante artikelen en hun onderlinge relaties snel te vinden.
• Ontbrekende Jurisprudentie: Er is een gebrek aan gedigitaliseerde toegang tot recente uitspraken en updates in de wetgeving.

Het doel van dit onderzoek is het creëren van een robuust raamwerk om deze teksten te structureren, zodat ze beter toegankelijk en begrijpelijk worden via kunstmatige intelligentie (AI).

2. Methodologie

De auteurs hanteren een hybride aanpak die traditionele algoritmen combineert met Large Language Models (LLM's) om een LLM-augmented Knowledge Graph te bouwen. De methode omvat drie hoofdfasen:

A. Extractie van Juridische Teksten (Rule-based)

• Een aangepast algoritme is ontwikkeld om artikelen en metadata uit DOCX-bestanden te extraheren, conform de Senegalese wetgevingsrichtlijnen.
• Het algoritme identificeert hiërarchische structuren (delen, boeken, titels) en specifieke secties (zoals huurprijzen in de Grond- en Openbaar Domeincode).
• Het proces heeft een tijdscomplexiteit van O(n), wat efficiënte verwerking van grote datasets mogelijk maakt.
• Er zijn 7.967 artikelen geëxtraheerd uit 20 verschillende juridische documenten.

B. Ontwikkeling van de Grafdatabase (Neo4j)

• Een grafdatabase is opgezet met Neo4j om de relaties tussen juridische entiteiten te visualiseren.
• Entiteiten (Nodes): Omvatten domeinen, wetten, decreten, artikelen, officiële publicaties, ministeriële besluiten, verklaringen en personen.
• Relaties: Omvatten relaties zoals publish (publiceren), possess (bezitten), is associated with (geassocieerd met), modify (wijzigen), repeal (intrekken) en based on (gebaseerd op).
• De database bevat 2.872 nodes en 10.774 relaties, specifiek gefocust op de Grond- en Openbaar Domeincode.

C. Extractie van Kennistriples met LLM's

• Geavanceerde Few-Shot Chain-of-Thought (Few-Shot-CoT) promptingtechnieken worden gebruikt om kennis-triples (onderwerp, predikaat, object) uit de juridische tekst te halen.
• De LLM's krijgen contextuele instructies en voorbeelden om relaties tussen artikelen en andere juridische entiteiten te identificeren.
• Verschillende modellen werden getest, waaronder GPT-4o, GPT-4, GPT-3.5-Turbo, Mistral-Large, Pixtral-Large en Mistral-Nemo.
• De prestaties werden geëvalueerd met ROUGE-metrics (R-1, R-2, R-L, R-Lsum) door de gegenereerde triples te vergelijken met "ground truth" data.

3. Belangrijkste Bijdragen

• Gedigitaliseerde Dataset: De eerste systematische extractie en structurering van 7.967 artikelen uit diverse Senegalese wetboeken, met een zwaartepunt op de Grond- en Openbaar Domeincode.
• LLM-Augmented Knowledge Graph: Een nieuwe architectuur die traditionele regelgebaseerde extractie combineert met de semantische kracht van LLM's om complexe juridische relaties te onthullen.
• Grafische Visualisatie: Een volledig functionele Neo4j-database die de onderlinge verbindingen tussen wetten, decreten en artikelen in kaart brengt, wat essentieel is voor juridische analyse.
• Benchmarking van LLM's: Een uitgebreide vergelijking van de prestaties van verschillende state-of-the-art modellen in de context van juridische triple-extractie in het Frans.

4. Resultaten

• Data-extractie: Het succesvol extraheren van een grote hoeveelheid gestructureerde data (7.967 artikelen) uit diverse bronnen.
• Grafdatabase: De opzet van een database met 2.872 nodes en 10.774 relaties, wat een solide basis vormt voor juridische zoekopdrachten en visualisatie.
• Modelprestaties (ROUGE-scores):
  • GPT-4o presteerde het beste op alle ROUGE-metrics (R-1: 86,00; R-2: 83,96; R-L: 84,78), gevolgd door GPT-4 en Mistral-Large.
  • Alle drie de topmodellen behaalden scores boven de 80%, terwijl kleinere modellen (zoals GPT-3.5-Turbo en Mistral-Nemo) vaak onder de 75% bleven.
  • Efficiëntie: Hoewel GPT-4o de beste resultaten leverde, was Mistral-Large het meest efficiënt qua inferentie-tijd (2m 23s voor 24 artikelen), terwijl GPT-4 meer dan 13 minuten nodig had.
• Kwaliteit van Extractie: De grotere modellen (GPT-4o, GPT-4, Mistral-Large) toonden een sterk vermogen om complexe artikelnummers, reeksen (met ellipses) en contextuele relaties correct te identificeren en te formatteren. Kleinere modellen vertoonden vaker fouten in het formatteren van reeksen of het identificeren van de juiste wetgeving.

5. Betekenis en Toekomstperspectief

• Toegang tot Recht: Dit project legt de basis voor een intelligente juridische assistent die Senegalese burgers en professionals helpt hun rechten en plichten te begrijpen, waardoor de transparantie van het rechtssysteem toeneemt.
• Schaalbaarheid: De methode is schaalbaar naar andere juridische domeinen en kan worden uitgebreid met Retrieval-Augmented Generation (RAG) en Reasoning and Acting (ReAct) technieken voor geavanceerde vraag-antwoordsystemen.
• Samenwerking: Het benadrukt de noodzaak van samenwerking tussen juridische experts en datawetenschappers om de database dynamisch bij te houden en de AI-modellen te verfijnen met betere voorbeelden (prompts).
• Technologische Impact: Het demonstreert dat LLM's, wanneer correct geprompt en geëvalueerd, effectief kunnen worden ingezet om complexe, niet-gestructureerde juridische data om te zetten in gestructureerde kennisgrafieken, zelfs in contexten met beperkte digitale infrastructuur.

Concluderend biedt dit onderzoek een bewezen raamwerk voor het moderniseren van de juridische informatieinfrastructuur in Senegal, met potentieel voor wereldwijde toepassing in andere rechtsstelsels met vergelijkbare uitdagingen.