Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

Dit paper introduceert een efficiënte aanpak voor het aanbevelen van wetsartikelen in het Chinese strafrecht door een Case-Enhanced Law Article Knowledge Graph te combineren met een Large Language Model, wat de nauwkeurigheid aanzienlijk verbetert en de gerechtelijke efficiëntie verhoogt.

De kern

🧠 De Digitale Rechter: Hoe AI en een "Digitale Bibliotheek" de Wet helpen vinden

Stel je voor dat een rechter of advocaat een zware tas vol met duizenden boeken moet dragen. Elke keer als er een nieuw misdrijf wordt gepleegd, moet deze persoon snel het juiste hoofdstuk uit de wet vinden dat bij die specifieke situatie past. In de echte wereld is dit een enorme klus. Er zijn te veel zaken, te weinig tijd en de wetboeken zijn ingewikkeld. Soms maakt de mens een foutje door vermoeidheid of door een artikel te verwarren met een ander.

De auteurs van dit artikel hebben een slimme oplossing bedacht: een digitale assistent die twee superkrachten combineert.

1. De Twee Superhelden

Deze digitale assistent bestaat uit twee delen die samenwerken:

• De "Super-Geleerde" (De Grootste Taalmodel): Denk aan een AI die alles heeft gelezen wat er ooit op internet staat. Hij is slim, kan praten en redeneren. Maar hij heeft een groot nadeel: hij is soms een beetje een dromer. Hij kan zomaar een wet verzinnen die er niet bestaat, of een artikel noemen dat wel bestaat maar niet bij de zaak past. Dit noemen we "hallucineren". Het is alsof hij een verhaal verzint dat klinkt als waarheid, maar niet klopt.
• De "Digitale Bibliotheek" (Het Kennisnetwerk): Dit is de andere helft. In plaats van dat de AI uit zijn hoofd moet raden, hebben de onderzoekers een enorme, gestructureerde database gebouwd. Dit is geen gewoon lijstje, maar een web van connecties.
  • Ze hebben de wetten (de artikelen) gekoppeld aan echte, oude rechtszaken.
  • Ze hebben de belangrijkste woorden uit die zaken (zoals "bestek", "diefstal", "misbruik van macht") eruit gehaald en met elkaar verbonden.
  • Stel je dit voor als een gigantisch spinnenweb. Als je aan één draadje trekt (een nieuw misdrijf), zie je direct welke andere draden (wetten en oude zaken) erdoorheen lopen.

2. Hoe werkt het samen? (De "Gesloten Lus")

Het geheim van deze methode is dat ze de "dromer" (de AI) dwingen om eerst naar de "bibliotheek" te kijken voordat hij antwoord geeft.

1. De Vraag: Een gebruiker voert de feiten van een nieuwe zaak in (bijvoorbeeld: "Iemand heeft 72.500 euro aangenomen om een vergunning te versnellen").
2. De Zoektocht: Het systeem kijkt in zijn digitale web (het Kennisnetwerk) naar vergelijkbare draden. Het vindt oude zaken die lijken op deze nieuwe zaak en de wetten die toen werden gebruikt.
3. De Check: De AI krijgt deze gevonden stukken als "bewijsmateriaal" aangereikt. De AI mag niet uit zijn hoofd verzinnen. Hij moet zeggen: "Op basis van dit bewijsmateriaal uit de bibliotheek, lijkt artikel 385 het meest geschikt."
4. De Menselijke Hand: Als de AI een fout maakt, kan een menselijke expert (een echte jurist) het corrigeren. Die correctie wordt direct weer in het digitale web gezet. Zo wordt de bibliotheek elke dag slimmer en nauwkeuriger. Het is een gesloten cirkel: de machine leert van de mens, en de mens leert van de machine.

3. Waarom is dit zo goed? (De Vergelijking)

De onderzoekers hebben hun systeem getest tegen andere methoden:

• De Oude Methode (Gewone Software): Dit is alsof je een woordenboek doorzoekt op exacte woorden. Als iemand "geld aannemen" zegt in plaats van "omkoperij", vindt de oude software het niet. Ze scoorde slecht (ongeveer 29% tot 49% goed).
• De Gewone AI (Zonder Bibliotheek): Als je de AI alleen laat werken, doet hij het beter (ongeveer 55% goed), maar hij verzint soms nog steeds wetten die niet bestaan.
• De Nieuwe Methode (AI + Bibliotheek): Door de AI te koppelen aan het digitale web, steeg de score naar 69%. Dat is een enorme sprong! Het systeem maakt veel minder fouten en vindt de juiste wetten sneller, zelfs als de taal van de zaak net iets anders klinkt dan de tekst in de wet.

4. Het Grote Doel

Het doel is niet om de menselijke rechter te vervangen, maar om hem een superbril te geven.

• Het helpt bij het vinden van de juiste wet in een zee van informatie.
• Het voorkomt dat er per ongeluk verkeerde wetten worden aangehaald.
• Het maakt het rechtssysteem sneller en eerlijker, zodat er minder achterstanden ontstaan bij de rechtbanken.

Kort samengevat:
Stel je voor dat je een detective bent die een moord moet oplossen. In plaats van alleen maar te raden wie de dader is, krijg je een slimme assistent die je direct naar de juiste dossiermap in het archief brengt, je de oude vergelijkbare zaken laat zien en je waarschuwt als je een foutje maakt. Dat is precies wat deze "CLAKG" doet voor de Chinese strafwet: het maakt de zoektocht naar gerechtigheid slimmer, sneller en veiliger.

Technische samenvatting

Probleemstelling

De gerechtelijke efficiëntie is cruciaal voor sociale stabiliteit, maar rechtbanken wereldwijd kampen met enorme achterstanden in zaken. De beslissingen zijn vaak nog sterk afhankelijk van de cognitieve inspanning van rechters, terwijl er onvoldoende intelligente hulpmiddelen zijn om dit proces te versnellen.
Specifiek voor de taak van advies over wetsartikelen (het voorspellen welke wetsartikelen van toepassing zijn op een zaak op basis van feitelijke beschrijvingen) bestaan er twee hoofdproblemen:

1. Beperkingen van traditionele modellen: Klassieke methoden (zoals LSTM, CNN, BERT) behandelen de taak als een tekstclassificatieprobleem. Ze negeren vaak de semantische informatie binnen de wetsartikelen zelf en zijn zeer gevoelig voor onvoldoende data en onbalans in labels (sommige artikelen komen veel voor, andere nauwelijks).
2. Hallucinaties in Large Language Models (LLM's): Hoewel LLM's potentie hebben om juridische redeneringen te genereren, neigen ze ertoe om "hallucinaties" te produceren, zoals het verzinnen van niet-bestaande wetsartikelen of onjuiste citaten. Directe toepassing van LLM's zonder externe verificatie is in juridische contexten onaanvaardbaar.

Methodologie

De auteurs stellen een gesloten kringloop (closed-loop) raamwerk voor dat een Case-Enhanced Law Article Knowledge Graph (CLAKG) combineert met een Large Language Model (LLM) binnen een Retrieval-Augmented Generation (RAG) architectuur.

1. Constructie van de CLAKG

De kern van de methode is de bouw van een gestructureerde kennisgrafiek die twee componenten integreert:

• Law Article Knowledge Graph (LAKG): Bevat de originele wetsartikelen, hun ID's en "sleutelinformatie" (key information) die door een LLM wordt geëxtraheerd en door experts wordt gevalideerd.
• Adjudicated Cases Knowledge Graph (ACKG): Bevat historische zaken, inclusief namen, tijdstippen, aanklachten en feitelijke beschrijvingen.
• Integratie: De LLM koppelt historische zaken aan relevante wetsartikelen en selecteert tot vijf meest relevante "sleutelinformatie"-knooppunten per zaak. Menselijke experts valideren en corrigeren deze koppelingen, wat zorgt voor een schema dat consistent blijft en geen valse concepten introduceert.

2. Aanbevelingsraamwerk (LLM + CLAKG)

Het aanbevelingsproces verloopt in vier stappen:

1. Invoer: De gebruiker voert de feitelijke beschrijving van een nieuwe zaak in.
2. Sleutelwoorden Matching: Een LLM matcht de nieuwe zaak met bestaande "sleutelinformatie"-knooppunten in de CLAKG.
3. Retrieval (RGCN): Een Relational Graph Convolutional Network (RGCN) wordt gebruikt om vector-embeddings van de grafiek te genereren. Op basis van cosine-相似heid (cosine similarity) tussen de embeddings van de nieuwe zaak en de grafiek worden kandidaat-wetsartikelen en historische referentiezaken opgehaald.
4. Generatie met Beperkingen: De opgehaalde informatie (kandidaat-artikelen en historische zaken) wordt als context in een prompt aan de LLM gegeven. De prompt bevat strikte instructies:
   • De LLM moet alleen kiezen uit de opgehaalde kandidaatset.
   • Het mag geen nieuwe, niet-bestaande artikelen uitvinden.
   • Als geen enkel kandidaat-artikel past, moet dit expliciet worden gemeld.

3. Gesloten Kringloop Mens-Machine

Na het genereren van een aanbeveling door het systeem, beoordelen juridische experts het resultaat.

• Als de aanbeveling correct is, wordt de nieuwe zaak toegevoegd aan de CLAKG met de bevestigde koppelingen.
• Als er fouten zijn, corrigeren experts de koppelingen.
• Deze feedback wordt direct gebruikt om de CLAKG te updaten, waardoor het systeem voor toekomstige queries nauwkeuriger wordt.

Belangrijkste Bijdragen

1. CLAKG Ontwerp: Een nieuwe, taakgerichte kennisgrafiek die wetsartikelen en geadjudiceerde zaken unificeert, aangevuld met een geautomatiseerde bouwpipeline gedreven door LLM's.
2. Hybride Raamwerk: Een gesloten kringloop-systeem dat grafische embedding (voor retrieval) combineert met LLM-resoning (voor interpretatie), waarbij hallucinaties worden geminimaliseerd door de LLM te "gronden" in de CLAKG.
3. Empirische Validatie: De bouw van een specifiek dataset voor Chinees strafrecht (gebaseerd op Amendement XI) en uitgebreide experimenten die aantonen dat de methode superieur is aan bestaande baselines.

Resultaten

De experimenten zijn uitgevoerd op een dataset van 1.170 strafzaken (997 trainingsset, 173 testset) afkomstig van China Judgments Online. De resultaten tonen een significante verbetering:

• Vergelijking met Klassieke Modellen: De voorgestelde methode (LLM + CLAKG met case-informatie) bereikte een nauwkeurigheid van 0,694. Dit is een grote sprong ten opzichte van klassieke modellen zoals BERT (0,289), GRU (0,427) en DPCNN (0,495), die vaak vastlopen op de onbalans in de labels.
• Vergelijking met RAG-baselines: De methode presteerde beter dan:
  • Pure LLM (zonder externe data): 0,549
  • TFIDF-RAG: 0,597
  • Light-RAG: 0,636
  • Graph-RAG (generiek): 0,179 (presteerde slecht vanwege het gebrek aan specifieke juridische structuur).
• Ablatie-studie: De toevoeging van case-informatie en CLAKG verbeterde de prestaties van zowel proprietaire modellen (GPT-4: van 0,549 naar 0,694) als open-source modellen (Llama-3.1-405B: van 0,619 naar 0,786), wat de robuustheid van de aanpak bevestigt.

Betekenis en Toekomstperspectief

Dit paper demonstreert dat de combinatie van gestructureerde kennis (Knowledge Graphs) met de redeneercapaciteiten van LLM's een effectieve oplossing biedt voor de uitdagingen van juridische AI, met name hallucinaties en data-schaarste.

• Betrouwbaarheid: Door de LLM te beperken tot verifieerbare bronnen binnen de grafiek, wordt de betrouwbaarheid van juridisch advies aanzienlijk verhoogd.
• Schaalbaarheid: Het mens-machine feedback-lus zorgt ervoor dat het systeem continu leert en verbetert naarmate er nieuwe zaken worden toegevoegd.
• Toepasbaarheid: Hoewel de studie zich richt op Chinees strafrecht (een civielrechtelijk systeem), biedt het raamwerk een blauwdruk voor toepassing in andere rechtsstelsels, mits het schema wordt aangepast aan lokale wetgeving en precedenten.

De broncode en datasets zijn openbaar beschikbaar gesteld op GitHub, wat reproduceerbaarheid en verdere onderzoeksmogelijkheden bevordert.