From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Technische Zusammenfassung: Von Urteilen zu Rechtsfragen: Strukturierte Extraktion rechtlicher Begründungen mit Kontrolle von Zitathalluzinationen

Problemstellung
Moderne Justizsysteme, insbesondere in Italien, generieren Gerichtsurteile in einem Ausmaß, das die Kapazität juristischer Fachkräfte übersteigt, diese einzeln zu lesen. Allein die Datenbank der italienischen Steuergerichte enthält fast eine Million Urteile, die jährlich um Hunderttausende wachsen. Während dieses Volumen einen erheblichen Wert für Sekundäranwendungen darstellt – wie etwa die Suche nach Präzedenzfällen, die Analyse von Zitationsnetzwerken und das Training rechtlicher NLP-Systeme –, behindert die unstrukturierte Natur der Original-PDFs diese Anwendungen. Bestehende Extraktionsmethoden behandeln das gesamte Urteil oft als eine einzige Einheit, was Rauschen durch prozedurale Floskeln einführt und daran scheitert, spezifische Rechtsfragen zu isolieren. Large Language Models (LLMs) neigen zudem dazu, rechtliche Zitate zu „halluzinieren“, indem sie plausible, aber nicht existierende Verweise auf Gesetzgebung und Rechtsprechung erfinden, was die Zuverlässigkeit automatisierter Pipelines für rechtliche Argumentation untergräbt.

Methodik
Die Autoren schlagen eine automatisierte Pipeline vor, die darauf ausgelegt ist, italienische Steuergerichtsurteile in einzelne Rechtsfragen zu zerlegen und für jede eine strukturierte XML-Repräsentation zu extrahieren. Die Methodik basiert auf drei Kernkomponenten:

1. Problembasierte Dekomposition und Schema-Design:
   Anstatt Urteile als monolithische Blöcke zu verarbeiten, behandelt die Pipeline die Rechtsfrage (questione giuridica) als die Analyseeinheit. Dies steht im Einklang mit Theorien der gerichtlichen Begründung (z. B. MacCormick, 1994), wonach die Entscheidung als die Lösung spezifischer Rechtsfragen betrachtet wird. Die extrahierte Struktur ist im IRAC-Framework (Issue, Rule, Application, Conclusion) und dem juristischen Syllogismus verwurzelt. Jede Frage wird in XML mit spezifischen Feldern kodiert:

   • <text>: Eine „Ob + Klausel“-Formulierung der Rechtsfrage.
   • <issue_outcome>: Die Entscheidung, klassifiziert nach dem Begünstigten (Steuerzahler, Steuerbehörde, Sonstige).
   • <factual_premises>: Relevante Fakten und Ereignisse.
   • <legal_references>: Eine Liste von Zitaten (Gesetzgebung, Rechtsprechung, Prinzipien, Verwaltungspraxis) mit Typen.
   • <citation_reason>: Erklärungen dafür, warum bestimmte Referenzen zitiert wurden.
   • <judge_reasoning>: Die Anwendung des Rechts auf die Fakten.
   • <summary>: Eine abstrakte Zusammenfassung der Rechtsfrage.

2. Extraktions-Pipeline und Modellwahl:
   Die Pipeline verarbeitet einen Korpus von etwa 330.000 Urteilen der ersten und zweiten Instanz der italienischen Steuergerichte. Um Leistungsfähigkeit mit den Kosten für die Verarbeitung hunderttausender Dokumente in Einklang zu bringen, wählten die Autoren DeepSeek V3, ein Allzweckmodell, das ein günstiges Preis-Leistungs-Verhältnis bietet (ca. 0,0035 $ pro Urteil). Die Extraktion nutzt eine zweistufige Prompting-Strategie für längere Urteile:

   • Schritt 1: Identifizierung der Rechtsfragen und Extraktion von <text>, <summary> und <issue_outcome>.
   • Schritt 2: Extraktion der detaillierten Begründung, der Fakten und der Zitate für jede identifizierte Rechtsfrage.
     Ein Korrekturschritt nach der Extraktion nutzt Few-Shot-Prompting, um sicherzustellen, dass das Feld <text> strikt dem „Ob + Klausel“-Format entspricht.

3. Halluzinationskontrolle via Linkoln:
   Um die Unzuverlässigkeit von LLM-Zitaten zu adressieren, integriert die Pipeline eine Verifizierungsebene unter Verwendung der Linkoln-Bibliothek (Bacci et al., 2019). Dieser Schritt:

   • Parsiert die rechtlichen Referenzen sowohl im Originalurteil als auch im LLM-Output.
   • Normalisiert diese zu Standard-Identifikatoren (URN-NIR, ECLI, CELEX).
   • Vergleicht die beiden Sätze. Jede Referenz, die im LLM-Output vorhanden, aber nicht im Quelltext zu finden ist, wird als Halluzination markiert und entfernt.
   • Für Rechtsprinzipien (die keine Standard-Identifikatoren besitzen) wird eine von Experten abgeleitete Whitelist von 182 kanonischen Prinzipien verwendet, um Übereinstimmungen zu validieren.

Wesentliche Beiträge
Das Paper leistet drei primäre Beiträge:

1. Strukturiertes Schema: Ein neuartiges, auf Ebene der Rechtsfragen basierendes XML-Schema, das in IRAC und dem juristischen Syllogismus verwurzelt ist und darauf ausgelegt ist, maschinenlesbar, für die menschliche Konsultation nützlich und zuverlässig durch Mittelklasse-LLMs extrahierbar zu sein.
2. Kosteneffiziente Pipeline mit Halluzinationskontrolle: Eine skalierbare Pipeline, die DeepSeek V3 mit einem automatischen, Parser-basierten Halluzinationsfilter kombiniert, der Zitate gegen den Quelltext normalisiert und validiert.
3. Expertenvalidierte Evaluierung: Ein strenges Validierungsprotokoll an 50 Urteilen, die von zwei Steuerrechtsexperten auf PhD-Niveau annotiert wurden, wobei die Inter-Annotator-Agreement (IAA), die LLM-gegen-Experten-Übereinstimmung und die Leistung des Halluzinationsfilters berichtet werden.

Ergebnisse
Die Evaluierung an der 50-Urteile-Stichprobe liefert folgende Ergebnisse:

• Extraktion der Rechtsfragen: Das LLM zeigt eine hohe Präzision (93–94 %), aber einen moderaten Recall (70–82 %) im Vergleich zu menschlichen Experten. Der dominante Fehlermodus ist die Unterextraktion (fehlende Fragen) statt Halluzination. Nur 4 von 78 extrahierten Fragen wurden von Experten als abwesend markiert.
• Zitations-Extraktion: Das LLM erreicht einen F1-Score von etwa 74 % gegenüber den Experten-Annotationen. Während das Modell eine ähnliche Anzahl an Referenzen wie die Experten extrahiert, enthält es manchmal Referenzen, die für die spezifische Rechtsfrage als nicht relevant erachtet wurden.
• Leistung des Halluzinationsfilters: Der Filter ist hochwirksam. Vor der Filterung lag die Halluzinationsrate bei 11,7 %. Nach der Filterung sank sie auf 0,9 %. Der Filter entfernte 29 von 31 halluzinierten Referenzen, während er nur 7 gültige Zitate fälschlicherweise entfernte (Rate der falsch-positiven Ergebnisse von 3,0 %). Der Filter war am wenigsten effektiv bei „Rechtsprinzipien“, die vor der Filterung eine Halluzinationsrate von 69 % aufwiesen.
• Qualitative Bewertungen: Freitextfelder (Begründung, Zusammenfassung, Ergebnis) erhielten hohe Durchschnittswerte (4,6–4,9/5) von den Experten. Die Inter-Annotator-Agreement für diese qualitativen Dimensionen war sehr hoch (Gwet's AC2 > 0,93).
• Stochastik: Die Autoren stellen fest, dass das LLM selbst bei festen Seeds nicht-deterministisch ist. Die Übereinstimmung zwischen den Durchläufen (F1 ~78 % für Fragen, ~73 % für Zitate) ist niedriger als die Inter-Annotator-Agreement, aber vergleichbar mit der LLM-gegen-Mensch-Übereinstimmung, was darauf hindeutet, dass die Modellstochastik einen erheblichen Teil der Leistungsdifferenz ausmacht.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit die erste auf Ebene der Rechtsfragen basierende, expertenvalidierte strukturierte Extraktions-Pipeline mit Halluzinationskontrolle speziell für italienische Steuergerichtsentscheidungen darstellt. Sie positionieren die Pipeline als konkreten Ausgangspunkt für nachgelagerte Anwendungen, einschließlich:

• Retrieval auf Ebene der Rechtsfragen: Isolierung einzelner Rechtsfragen zur Verbesserung der Suchpräzision.
• Zitationsnetzwerk-Analyse: Konstruktion von Graphen, in denen Kanten tatsächliche verwendete Referenzen widerspiegeln, anstatt lediglich zufällige Erwähnungen.
• Datensatzkonstruktion: Erstellung großer, strukturierter Datensätze rechtlicher Begründungen für das Training und Benchmarking von legalen NLP-Systemen.

Das Paper wahrt einen bescheidenen Ton und räumt Einschränkungen ein, wie etwa die kleine Validierungsstichprobe (50 Urteile), die Abhängigkeit von einem einzelnen Modell und einer einzelnen Jurisdiktion sowie die inhärente Subjektivität bei der Segmentierung von Urteilen in Rechtsfragen. Die Autoren betonen, dass das vorgeschlagene Format als methodische Vorlage für die strukturierte Extraktion dient, die unabhängig von spezifischen Jurisdiktionen oder Modellen ist, und zeigen, dass aktuelle LLMs in der Lage sind, komplexe Strukturen rechtlicher Begründung zuverlässig zu instanziieren, wenn sie mit geeigneten Verifizierungsschichten kombiniert werden.