From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Technische Samenvatting: Van Vonnissen naar Juridische Kwesties: Gestructureerde Extractie van Juridische Redenering met Controle op Citatie-Hallucinaties

Probleemstelling
Moderne rechtssystemen, met name in Italië, genereren gerechtelijke uitspraken op een schaal die de capaciteit van juridische professionals om deze individueel te lezen overstijgt. De Italiaanse belastingrechtbank-database bevat alleen al bijna één miljoen vonnissen, die jaarlijks met honderdduizenden toenemen. Hoewel dit volume een aanzienlijke waarde heeft voor secundair gebruik — zoals zoekopdrachten naar precedenten, citatie-netwerkanalyse en het trainen van juridische NLP-systemen — belemmert de ongestructureerde aard van de originele PDF's deze toepassingen. Bestaande extractiemethoden behandelen het gehele vonnis vaak als een enkele eenheid, waardoor ruis van procedurele standaardteksten (boilerplate) ontstaat en ze er niet in slagen specifieke juridische vragen te isoleren. Bovendien zijn Large Language Models (LLM's) gevoelig voor "hallucinaties" van juridische citaties, waarbij zij plausibele maar niet-bestaande verwijzingen naar wetgeving en jurisprudentie verzinnen, wat de betrouwbaarheid van geautomatiseerde juridische redeneringspipelines ondermijnt.

Methodologie
De auteurs stellen een geautomatiseerde pipeline voor die is ontworpen om Italiaanse belastingrechtelijke vonnissen te deconstrueren in individuele juridische kwesties en een gestructureerde XML-representatie voor elk onderdeel te extraheren. De methodologie is gebouwd op drie kerncomponenten:

1. Issue-gebaseerde Decompositie en Schema-ontwerp:
   In plaats van vonnissen als monolithische blokken te verwerken, behandelt de pipeline de juridische kwestie (questione giuridica) als de eenheid van analyse. Dit sluit aan bij theorieën over de rechtspraak (bijv. MacCormick, 1994), waarbij rechtspraak wordt gezien als de oplossing van specifieke juridische vragen. De geëxtraheerde structuur is geworteld in het IRAC-framework (Issue, Rule, Application, Conclusion) en de juridische syllogisme. Elke kwestie wordt gecodeerd in XML met specifieke velden:

   • <text>: Een "Whether + clausule" formulering van de juridische vraag.
   • <issue_outcome>: De beslissing, geclassificeerd per begunstigde (belastingbetaler, belastingautoriteit, overig).
   • <factual_premises>: Relevante feiten en gebeurtenissen.
   • <legal_references>: Een lijst van citaties (wetgeving, jurisprudentie, principes, administratieve praktijk) met typen.
   • <citation_reason>: Uitleg waarom specifieke verwijzingen worden geciteerd.
   • <judge_reasoning>: De toepassing van het recht op de feiten.
   • <summary>: Een abstractieve samenvatting van de kwestie.

2. Extractie-pipeline en Modelselectie:
   De pipeline verwerkt een corpus van ongeveer 330.000 vonnissen uit eerste en tweede aanleg van de Italiaanse belastingrechtbank. Om een balans te vinden tussen capaciteit en de kosten voor het verwerken van honderdduizenden documenten, hebben de auteurs gekozen voor DeepSeek V3, een algemeen doelmodel dat een gunstige prijs-prestatieverhouding biedt (ongeveer $0,0035 per vonnis). De extractie maakt gebruik van een tweestaps-promptingstrategie voor langere vonnissen:

   • Stap 1: Identificeer kwesties en extraheer de <text>, <summary> en <issue_outcome>.
   • Stap 2: Extraheer voor elke geïdentificeerde kwestie de gedetailleerde redenering, feiten en citaties.
     Een correctiestap na extractie gebruikt few-shot prompting om ervoor te zorgen dat het <text> veld strikt voldoet aan de "Whether + clausule" format.

3. Hallucinatiecontrole via Linkoln:
   Om de onbetrouwbaarheid van LLM-citaties aan te pakken, integreert de pipeline een verificatielaag met behulp van de Linkoln library (Bacci et al., 2019). Deze stap:

   • Parseert juridische verwijzingen in zowel de originele vonnistekst als de LLM-output.
   • Normaliseert deze naar standaardidentificatoren (URN-NIR, ECLI, CELEX).
   • Vergelijkt de twee sets. Elke verwijzing die wel in de LLM-output aanwezig is maar niet in de brontekst wordt gevonden, wordt gemarkeerd als een hallucinatie en verwijderd.
   • Voor rechtsprincipes (die geen standaardidentificatoren hebben), wordt een whitelist van 182 door experts afgeleide canonieke principes gebruikt om matches te valideren.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Gestructureerd Schema: Een nieuw, op issue-niveau gebaseerd XML-schema geworteld in IRAC en de juridische syllogisme, ontworpen om machineleesbaar te zijn, nuttig voor menselijke consultatie en betrouwbaar extraheerbaar door mid-range LLM's.
2. Kostenefficiënte Pipeline met Hallucinatiecontrole: Een schaalbare pipeline die gebruikmaakt van DeepSeek V3 in combinatie met een automatische, parser-gebaseerde hallucinatiefilter die citaties normaliseert en valideert tegen de brontekst.
3. Door Experts gevalideerde Evaluatie: Een rigoureus validatieprotocol op 50 vonnissen die zijn geannoteerd door twee belastingrecht-experts op PhD-niveau, waarbij de inter-annotator overeenstemming (IAA), de overeenstemming tussen LLM en expert, en de prestaties van de hallucinatiefilter worden gerapporteerd.

Resultaten
De evaluatie op de steekproef van 50 vonnissen levert de volgende bevindingen op:

• Issue Extractie: De LLM vertoont een hoge precisie (93–94%) maar een matige recall (70–82%) vergeleken met menselijke experts. De dominante foutmodus is onder-extractie (gemiste kwesties) in plaats van hallucinatie. Slechts 4 van de 78 geëxtraheerde kwesties werden door experts als afwezig gemarkeerd.
• Citatie Extractie: De LLM bereikt een F1-score van ongeveer 74% ten opzichte van de expert-annotaties. Hoewel het model een vergelijkbaar aantal verwijzingen extraheert als de experts, bevat het soms verwijzingen die niet als relevant voor de specifieke kwestie worden beschouwd.
• Prestaties van de Hallucinatiefilter: De filter is zeer effectief. Vóór de filtering was het hallucinatiepercentage 11,7%. Na filtering daalde dit naar 0,9%. De filter verwijderde 29 van de 31 gehallucineerde referenties, terwijl het slechts 7 geldige citaties onterecht verwijderde (een fout-positief percentage van 3,0%). De filter was het minst effectief op "rechtsprincipes", die een hallucinatiepercentage van 69% hadden vóór de filtering.
• Kwalitatieve Scores: Vrije tekstvelden (redenering, samenvatting, uitkomst) ontvingen hoge gemiddelde scores (4,6–4,9/5) van experts. De inter-annotator overeenstemming op deze kwalitatieve dimensies was zeer hoog (Gwet's AC2 > 0,93).
• Stochastiek: De auteurs merken op dat de LLM, zelfs met vaste seeds, niet-deterministisch is. De overeenstemming tussen opeenvolgende runs (F1 ~78% voor kwesties, ~73% voor citaties) is lager dan de inter-annotator overeenstemming maar vergelijkbaar met de LLM-versus-mens overeenstemming, wat suggereert dat de stochastiek van het model een aanzienlijk deel van het prestatieverschil verklaart.

Betekenis en Claims
De auteurs beweren dat dit werk de eerste issue-niveau, door experts gevalideerde gestructureerde extractie-pipeline met hallucinatiecontrole specif으로 voor Italiaanse belastingrechtelijke vonnissen is. Zij positioneren de pipeline als een concreet startpunt voor downstream toepassingen, waaronder:

• Issue-level retrieval: Het isoleren van individuele juridische vragen om de zoekprecisie te verbeteren.
• Citatie-netwerkanalyse: Het construeren van grafen waarbij de randen (edges) verwijzingen reflecteren die daadwerkelijk zijn gebruikt om geschillen te beslechten, in plaats van incidentele vermeldingen.
• Dataset constructie: Het creëren van grootschalige, gestructureerde datasets van juridische redenering voor het trainen en benchmarken van juridische NLP-systemen.

Het artikel behoudt een bescheiden toon en erkent beperkingen zoals de kleine validatiesample (50 vonnissen), de afhankelijkheid van een enkel model en jurisdictie, en de inherente subjectiviteit bij het segmenteren van vonnissen in kwesties. De auteurs benadrukken dat het voorgestelde formaat dient als een methodologisch sjabloon voor gestructureerde extractie dat onafhankelijk is van specifieke jurisdicties of modellen, waarmee wordt aangetoond dat huidige LLM's betrouwbaar complexe juridische redeneringsstructuren kunnen instantiëren wanneer ze worden gekoppeld aan passende verificatielagen.