Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

Diese Studie stellt einen hocheffizienten Ansatz zur Empfehlung von Rechtsartikeln im chinesischen Strafrecht vor, der ein fallbasiertes Wissensgraphen-Modell mit einem Large Language Model kombiniert und durch Experimente eine signifikante Steigerung der Empfehlungsgenauigkeit von 0,549 auf 0,694 nachweist.

Das Wesentliche

Das große Problem: Der überlastete Richter

Stellen Sie sich vor, ein Richter ist wie ein Koch in einem extrem überfüllten Restaurant. Jeden Tag kommen hunderte neue Bestellungen (Fälle) herein. Der Koch muss für jede Bestellung das perfekte Rezept (das richtige Gesetz) finden.

Das Problem ist: Das Kochbuch (das Gesetz) ist riesig, und der Koch muss sich aus dem Gedächtnis oder aus alten Notizen erinnern, welches Rezept zu welcher Bestellung passt. Oft ist er müde, hat zu viel Stress und greift versehentlich zum falschen Rezept oder erfindet Zutaten, die gar nicht existieren. Das nennt man im Fachjargon „Halluzinationen" – der KI-Modell-Koch erfindet Gesetze, die es gar nicht gibt.

Die Lösung: Ein super-intelligenter Assistent mit einem digitalen Gedächtnis

Die Autoren dieses Papiers haben eine Lösung entwickelt, die wie ein zweigleisiges System funktioniert: Ein riesiges, strukturiertes digitales Archiv (der Wissensgraph) und ein sehr schlauer, aber manchmal etwas träumerischer Assistent (die große KI).

Hier ist, wie sie das zusammengebracht haben:

1. Das digitale Archiv: Der „CLAKG" (Die Bibliothek mit dem roten Faden)

Stellen Sie sich eine normale Bibliothek vor, in der Bücher einfach nur nebeneinander stehen. Wenn Sie nach „Diebstahl" suchen, müssen Sie durch tausende Bücher blättern.

Die Forscher haben etwas Besseres gebaut: Eine Bibliothek, die wie ein riesiges, vernetztes Spinnennetz aussieht.

• Die Knoten: Das sind die Gesetze, aber auch echte Fälle aus der Vergangenheit und die wichtigsten Stichworte (z. B. „Bestechung", „Öffentliche Ordnung").
• Die Fäden: Diese verbinden alles miteinander. Ein Fall ist nicht nur ein Text, sondern ein Knoten, der direkt mit dem passenden Gesetz und den relevanten Stichworten verbunden ist.

Dieses Netz nennen sie CLAKG. Es ist wie ein GPS für das Gesetz. Es weiß nicht nur, wo das Gesetz steht, sondern auch, welche Fälle in der Vergangenheit genau zu diesem Gesetz geführt haben.

2. Der Assistent: Die große KI (LLM)

Die große KI (wie ChatGPT) ist wie ein genialer Jurastudent, der alles gelesen hat. Er kann Texte verstehen und erklären. Aber er hat ein Problem: Wenn er unter Druck steht, erfindet er manchmal Dinge, nur um eine Antwort zu geben (Halluzinationen). Er könnte sagen: „Ah, das ist Paragraph 999!", obwohl es diesen Paragraphen gar nicht gibt.

3. Die Zusammenarbeit: Der „geschlossene Kreislauf"

Das Geniale an dieser Arbeit ist, wie sie die beiden zusammenbringen. Es ist wie ein Koch und ein strenger Küchenchef:

1. Der Koch (KI) macht den ersten Entwurf: Der Richter gibt den Fall ein. Die KI schaut in ihr riesiges Gedächtnis.
2. Der Küchenchef (Das Archiv) greift ein: Bevor die KI ihre Antwort gibt, schaut sie nicht in die Luft, sondern in das CLAKG-Archiv. Das Archiv sagt: „Hey, warte! Hier sind die 5 Gesetze, die wir in ähnlichen Fällen schon benutzt haben. Und hier sind die echten Fälle von damals."
3. Die KI wird diszipliniert: Die KI darf jetzt nur noch aus diesen 5 vorgegebenen Gesetzen wählen. Sie darf sich keine neuen erfinden. Sie muss ihre Antwort auf Basis der echten Beweise aus dem Archiv formulieren.
4. Der menschliche Check: Am Ende schaut ein echter Jurist (der Küchenchef) noch einmal drüber. Wenn die KI recht hat, wird der Fall in das Archiv aufgenommen und das Spinnennetz wird noch dichter. Wenn sie falsch lag, wird es korrigiert.

Warum ist das so erfolgreich?

Die Forscher haben das an echten chinesischen Strafverfahren getestet. Das Ergebnis war beeindruckend:

• Ohne Hilfe: Wenn man nur die KI benutzt, liegt die Trefferquote bei etwa 55 %. Sie rät oft.
• Mit dem Archiv (CLAKG): Wenn die KI das Archiv nutzt, steigt die Trefferquote auf 69 %.

Das ist ein riesiger Sprung! Stellen Sie sich vor, ein Navigationssystem, das früher Sie nur 5 von 10 Mal ans Ziel gebracht hat, bringt Sie jetzt fast 7 von 10 Mal perfekt hin.

Die wichtigsten Vorteile im Überblick

• Kein Erfinden von Gesetzen: Weil die KI an das Archiv gebunden ist, erfindet sie keine Paragraphen, die nicht existieren.
• Besseres Verständnis: Die KI versteht nicht nur die Wörter, sondern die Bedeutung hinter den Fällen, weil sie durch das Spinnennetz (den Graphen) sieht, wie alles zusammenhängt.
• Lernen aus der Vergangenheit: Das System wird mit jedem neuen Fall, den ein Richter überprüft, klüger. Das Archiv wächst und wird genauer.

Fazit

Stellen Sie sich vor, Sie haben einen unermüdlichen, super-intelligenten Assistenten, der aber manchmal träumt. Die Forscher haben ihm einen strengen, wachen Bibliothekar (das Wissensgraph-System) zur Seite gestellt, der ihm die richtigen Bücher holt und ihm sagt: „Nur das, was hier steht, ist wahr."

So wird aus einem chaotischen, fehleranfälligen Prozess ein präzises, zuverlässiges Werkzeug, das Richter entlastet und dafür sorgt, dass das Recht schneller und fairer angewendet wird.

Technische Zusammenfassung

1. Problemstellung

Die Justizsysteme weltweit, insbesondere auf lokaler Ebene, stehen vor massiven Herausforderungen durch hohe Fallzahlen und Rückstände. Die Effizienz der Urteilsfindung hängt stark von der kognitiven Leistungsfähigkeit der Richter ab, da intelligente Werkzeuge zur Unterstützung oft fehlen.

Das spezifische Problem der Rechtstextempfehlung (Law Article Recommendation) besteht darin, basierend auf der faktischen Beschreibung eines Falls die zutreffenden Gesetzestexte vorherzusagen.

• Herausforderungen bei klassischen Methoden: Traditionelle Machine-Learning-Ansätze (wie LSTM, CNN, BERT) behandeln dies als reine Textklassifizierung. Sie ignorieren oft die semantische Struktur der Gesetze, sind anfällig für unzureichende Datenmengen und leiden stark unter unausgewogenen Datensätzen (Label-Imbalance), was zu einer Tendenz führt, nur die häufigsten Gesetze vorherzusagen.
• Herausforderungen bei Large Language Models (LLMs): Obwohl LLMs mächtige Sprachmodelle sind, neigen sie im juristischen Kontext zu Halluzinationen (Erfinden nicht existierender Gesetze oder falscher Zitate). Eine direkte Nutzung ohne externe Wissensbasis ist für hochriskante juristische Anwendungen unzureichend.
• Limitationen bestehender RAG-Ansätze: Retrieval-Augmented Generation (RAG) wird oft mit rein textbasierten Suchmethoden (TF-IDF, BM25) kombiniert, die nur auf lexikalischer Ähnlichkeit basieren und die komplexen semantischen und strukturellen Zusammenhänge im Rechtssystem nicht ausreichend erfassen.

2. Methodik: Der CLAKG-Ansatz

Die Autoren schlagen einen hybriden Ansatz vor, der ein Case-Enhanced Law Article Knowledge Graph (CLAKG) mit einem Large Language Model (LLM) in einem geschlossenen Kreislauf kombiniert.

A. Konstruktion des CLAKG

Das CLAKG ist ein spezialisiertes Wissensgraph-Modell, das zwei Hauptkomponenten vereint:

1. Law Article Knowledge Graph (LAKG): Enthält die Gesetzestexte, ihre IDs und extrahierte „Schlüsselinformationen" (Key Information).
2. Adjudicated Cases Knowledge Graph (ACKG): Enthält historische Urteile, einschließlich Fallnamen, Zeitpunkten, Anklagegründen und detaillierten Sachverhalten.

Automatisierte Erstellung:

• Ein LLM extrahiert Schlüsselinformationen aus den Gesetzestexten und Sachverhalte aus den Urteilen.
• Ein menschlicher Experte validiert und korrigiert diese Extraktionen (Human-in-the-Loop).
• Das LLM verknüpft dann Fallknoten mit den relevanten Schlüsselinformationen und Gesetzestexten.
• Schema: Das Graph-Schema ist strikt definiert (z. B. Relationen wie „Applicable Law", „Agree With", „Key"), um Inkonsistenzen zu vermeiden.

B. Graph-Embedding (RGCN)

Um semantische Ähnlichkeiten im Graphen zu erfassen, wird ein Relational Graph Convolutional Network (RGCN) verwendet.

• Das Modell lernt Vektordarstellungen (Embeddings) für alle Knoten (Gesetze, Fälle, Schlüsselwörter).
• Das Trainingsziel ist die Link-Prediction, um die Wahrscheinlichkeit von Verbindungen zwischen Fällen und Gesetzen zu bewerten.
• Dies ermöglicht eine semantische Suche, die über reine Wortüberlappung hinausgeht.

C. Empfehlungssystem (Closed-Loop RAG)

Der Empfehlungsprozess läuft in drei Schritten ab:

1. Keyword-Matching: Der Nutzer gibt einen neuen Fall ein. Das LLM identifiziert relevante Schlüsselinformationen aus dem CLAKG (basierend auf dem Falltext).
2. Retrieval: Basierend auf den Embeddings der Schlüsselinformationen werden Kandidaten-Gesetzestexte und historische Fälle aus dem CLAKG abgerufen (unter Verwendung von Kosinus-Ähnlichkeit).
3. LLM-Generierung mit Constraints: Das LLM erhält einen Prompt, der den neuen Fall, die abgerufenen Kandidatengesetze und historische Referenzfälle enthält.
   • Wichtig: Das LLM wird durch strikte Prompts angewiesen, nur aus dem bereitgestellten Kandidatensatz zu wählen und keine neuen Gesetze zu erfinden.
   • Dies reduziert Halluzinationen erheblich.

D. Geschlossener Kreislauf (Human-Machine Collaboration)

Nach der Empfehlung durch das System prüfen Juristen die Ergebnisse.

• Bei Korrektur oder Bestätigung werden die neuen Daten (Fall + validiertes Gesetz) direkt in den CLAKG zurückgespeist.
• Dies aktualisiert den Graphen kontinuierlich, verbessert die zukünftigen Retrieval-Ergebnisse und schärft die Empfehlungen.

3. Wichtige Beiträge

1. CLAKG-Architektur: Entwicklung eines neuartigen, aufgabenorientierten Wissensgraphen, der Gesetzestexte und historische Urteile integriert, sowie eine automatisierte, LLM-gestützte Methode zu dessen Konstruktion.
2. Hybrides Framework: Ein geschlossener Empfehlungsrahmen, der Graph-Embeddings für das Retrieval und LLMs für das Reasoning kombiniert, um Halluzinationen durch „Grounding" (Verankerung) im Wissensgraphen zu minimieren.
3. Datensatz und Evaluation: Erstellung eines umfassenden Datensatzes für das chinesische Strafrecht (basierend auf dem Amendment XI) und umfangreiche Experimente, die die Überlegenheit des Ansatzes belegen.

4. Ergebnisse

Die Studie wurde auf einem Datensatz von 1.170 strafrechtlichen Urteilen aus China durchgeführt (997 zum Training, 173 zum Testen).

• Genauigkeit (Accuracy):
  • Basis-LLM (ohne CLAKG): 0,549
  • Klassische Modelle (BERT, GRU, DPCNN): 0,289 – 0,495 (oft kollabieren sie auf die Mehrheitsklasse).
  • RAG-Baselines (TFIDF-RAG, Light-RAG, Graph-RAG): 0,179 – 0,636.
  • Vorgeschlagene Methode (LLM + CLAKG mit Fallinformationen): 0,694.
• Vergleich: Die Methode übertrifft sowohl klassische Textklassifizierer als auch moderne RAG-Ansätze signifikant.
• Ablationsstudie: Die Einbeziehung von Fallinformationen (Case Information) in den CLAKG steigerte die Genauigkeit von 0,549 auf 0,694. Auch bei Verwendung verschiedener LLM-Backbones (GPT-4 und Llama-3.1-405B) zeigte sich eine konsistente Verbesserung durch den CLAKG.

5. Bedeutung und Ausblick

• Reduktion von Halluzinationen: Durch die Verankerung der LLM-Antworten in einem verifizierten Wissensgraphen und die Einschränkung auf abgerufene Kandidaten wird die Zuverlässigkeit juristischer Empfehlungen drastisch erhöht.
• Umgang mit Datenknappheit: Der Ansatz ist robuster gegenüber unausgewogenen Datensätzen als reine Klassifikationsmodelle, da er strukturelles Wissen nutzt.
• Skalierbarkeit: Der geschlossene Kreislauf ermöglicht es dem System, sich mit neuen Urteilen kontinuierlich zu verbessern.
• Übertragbarkeit: Obwohl der Fokus auf dem chinesischen Strafrecht liegt (ein kodifiziertes Rechtssystem), ist die Architektur (Schema-basierte KG-Erstellung, Graph-Embedding-Retrieval, KG-grounded Reasoning) als Blaupause für andere Rechtssysteme (auch Common Law) konzipiert, erfordert jedoch Anpassungen des Schemas.

Das Paper demonstriert, dass die Kombination aus strukturiertem juristischem Wissen (Knowledge Graph) und der generativen Kraft von LLMs ein vielversprechender Weg ist, um die Effizienz und Genauigkeit in der juristischen Entscheidungsfindung zu steigern. Der gesamte Code und die Daten sind auf GitHub verfügbar.