💬 NLP

LLM-Assisted Causal Structure Disambiguation and Factor Extraction for Legal Judgment Prediction

Deze paper presenteert een verbeterd raamwerk voor het voorspellen van juridische uitspraken dat Large Language Models combineert met causale inferentie om onnauwkeurige factorextractie en structurele onzekerheid op te lossen, waardoor de nauwkeurigheid en robuustheid van modellen aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Yuzhi Liang, Lixiang Ma, Xinrong Zhu

Gepubliceerd 2026-03-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuzhi Liang, Lixiang Ma, Xinrong Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent in een groot, druk rechtsgebouw. Je krijgt elke dag duizenden dossiers binnen, vol met verhalen over wat er is gebeurd. Je taak is om te beslissen: is deze persoon schuldig aan diefstal, aan oplichting, of misschien aan iets heel anders?

De oude manier om dit te doen met computers (kunstmatige intelligentie) was als een slimme, maar oppervlakkige student. Deze student keek naar de tekst en zei: "Oh, het woord 'auto' komt vaak voor bij 'diefstal', en 'snel' komt vaak voor bij 'snelheidsovertreding'. Dus als ik 'auto' en 'snel' zie, is het waarschijnlijk snelheidsovertreding."

Het probleem? Die student leert vaak toevalsrelaties in plaats van echte logica. Als de tekst een beetje anders wordt geschreven (bijvoorbeeld met een ander leesteken), kan de student in paniek raken en een totaal verkeerd vonnis vellen. Hij begrijpt niet waarom iets strafbaar is, hij ziet alleen patronen.

Deze paper introduceert een nieuwe, slimmere aanpak: LLM-Knowledge-GCI. Laten we dit uitleggen met een paar creatieve metaforen.

1. De "Ruwe Diamant" vs. De "Slijper" (Het Uittrekken van Feiten)

In een rechtszaak zitten veel details. Sommige zijn cruciaal (de feitelijke daden), en andere zijn ruis (de naam van de getuige, de datum van de geboorte, de kleur van de auto).

De oude methode: Een computer telt gewoon hoe vaak woorden voorkomen. Het is alsof je een diamant zoekt in een hoop zand door gewoon te kijken naar welke steentjes het vaakst terugkomen. Je vindt veel zand, maar mist de diamant.
De nieuwe methode: De auteurs gebruiken een tweestapsproces.
1. De Ruwe Scherf: Eerst gebruiken ze een snelle, statistische scanner (YAKE) om alle mogelijke belangrijke woorden te verzamelen. Het is alsof je een grote net gooit in de zee om alles op te vissen.
2. De Expert-Slijper: Dan komt er een LLM (een zeer slimme AI die is getraind op wetten) aan het werk. Deze AI fungeert als een juridische expert. Hij kijkt naar de gevangen woorden en zegt: "Wacht even, 'Jan Jansen' is een naam, dat is geen juridisch element. Maar 'stelen' en 'geen toestemming' zijn wel cruciaal." Hij verwijdert de ruis en houdt alleen de echte juridische "diamanten" over.

2. Het Oplossen van de "Waarom"-Vraag (Causale Structuur)

Stel je voor dat je een detective bent. Je ziet dat er een brand is en dat er brandweerlieden zijn.

De oude AI: Zou denken: "Brandweerlieden komen altijd bij branden voor. Dus als ik brandweerlieden zie, is er brand." (Dit is een correlatie, maar het is fout: de brandweer komt na de brand, ze veroorzaken hem niet).
De nieuwe AI: Wil weten wat de oorzaak is. "De brand veroorzaakte de brandweer, niet andersom."

Het probleem is dat in juridische teksten vaak onduidelijk is wat oorzaak en gevolg is (dit noemen ze "Markov-equivalentie"). Het is alsof je een kaart hebt met lijnen, maar de pijltjes ontbreken. Je weet niet welke richting de stroom op gaat.

De oplossing: De auteurs gebruiken de LLM als een "juridische waarheidsmachine".
Ze vragen de AI: "Als dit feit (A) gebeurt, is het dan logisch dat dit gevolg (B) daaruit voortkomt, volgens de wet?"
De AI gebruikt zijn kennis van de wet om de pijltjes op de kaart te tekenen. Het is alsof je een juridisch raadgever naast je zet die zegt: "Nee, die richting klopt niet, de wet zegt dat X altijd voor Y moet komen." Zo maken ze een causale kaart die logisch klopt, in plaats van een willekeurige gok.

3. De "Aandachtspijl" (Het Vonnis Vellen)

Uiteindelijk moet de computer het vonnis vellen.

De oude methode: Kijkt naar de hele tekst en probeert een antwoord te raden.
De nieuwe methode: Gebruikt de causale kaart die ze net hebben gemaakt. De computer krijgt een instructie: "Kijk niet naar alles, maar richt je aandacht (je 'pijl') specifiek op de feiten die volgens de kaart de oorzaak zijn van de straf."

Het is alsof je een versterker hebt die alleen het geluid van de echte bewijzen harder zet en het geluid van de ruis (zoals namen of datums) dempt. Hierdoor maakt de computer minder fouten, zelfs als de tekst een beetje anders is geschreven.

Waarom is dit zo belangrijk?

De auteurs hebben dit getest op enorme verzamelingen van echte juridische dossiers (in het Chinees en Engels). Het resultaat?

Minder fouten: De nieuwe methode is veel accurater, vooral bij moeilijke gevallen waar twee misdrijven erg op elkaar lijken (zoals oplichting vs. diefstal).
Robuuster: Als je de tekst een beetje verandert (bijvoorbeeld een komma toevoegt), blijft de nieuwe AI rustig en geeft het nog steeds het juiste antwoord. De oude AI zou in paniek raken.
Minder data nodig: De nieuwe methode werkt zelfs goed als je maar heel weinig voorbeelden hebt om te leren, omdat de "juridische expert" (de LLM) al veel voorkennis heeft.

Kortom:
In plaats van een computer te laten gissen op basis van woorden die vaak samen voorkomen, geven ze de computer een juridisch brein (de LLM) dat de feiten filtert, de oorzaak-gevolgrelaties begrijpt, en de computer leert om alleen te kijken naar wat er echt toe doet voor een eerlijk vonnis. Het is de overstap van "statistisch raden" naar "juridisch redeneren".

Probleemstelling

Bestaande methoden voor het voorspellen van juridische uitspraken (Legal Judgment Prediction - LJP) vertrouwen overwegend op Pre-trained Language Models (PLMs) zoals BERT. Deze modellen leren voornamelijk statistische correlaties tussen feitelijke beschrijvingen van zaken en de uiteindelijke vonnissen. Dit paradigma kent twee fundamentele tekortkomingen:

Gebrek aan causaal redeneren: Ze modelleren geen expliciete juridische elementen of onderliggende causale logica, waardoor ze vatbaar zijn voor het leren van schijnrelaties (spurious correlations). Dit leidt tot een gebrek aan robuustheid; kleine veranderingen in leestekens kunnen de voorspelling drastisch veranderen zonder de betekenis te wijzigen.
Uitdagingen bij causale ontdekking: Bestaande causale LJP-methoden worstelen in de praktijk met twee bottlenecks:
- Onnauwkeurige factorextractie: Statistische methoden (zoals YAKE) halen vaak ruis op (bijv. namen, plaatsen) en missen subtiele juridische elementen.
- Onzekerheid in causale structuren: Door de "Markov-equivalentie" en de schaarsheid van features in juridische teksten, kunnen traditionele algoritmen (zoals GFCI) vaak geen unieke richting van causale relaties bepalen, wat leidt tot onzekere grafieken.

Methodologie

De auteurs stellen een verbeterd inferentiekader voor dat Large Language Model (LLM) prior-kennis integreert met statistische causale ontdekking. Het framework bestaat uit drie hoofdstadia:

1. Hybride Extractie van Juridische Factoren (Coarse-to-Fine)

Om ruis te filteren en nauwkeurige juridische elementen te identificeren, wordt een hybride mechanisme gebruikt:

Statistische Screening: Het onopgeloste YAKE-algoritme genereert een initiële set kandidaat-sleutelwoorden op basis van frequentie en context.
Semantische verfijning (RAG & Prompt Engineering): Een LLM fungeert als een "juridisch expert". Via Retrieval-Augmented Generation (RAG) worden contextuele juridische kennisbronnen opgehaald. Een Chain-of-Thought (CoT) prompt dwingt het model om:
1. Semantische parsing uit te voeren (om polysemie op te lossen).
2. Relevantie voor wetsartikelen te beoordelen.
3. Entiteiten te filteren (bijv. het verwijderen van persoonsnamen en datums) en de resterende termen te clusteren tot uniforme juridische knooppunten.

2. Causale Structuurleer met LLM-ondersteuning

Om de onzekerheid in de richting van causale relaties op te lossen:

Initiële Ontdekking: Het GFCI-algoritme (Greedy Fast Causal Inference) genereert een Partial Ancestral Graph (PAG) met onzekere randen (bijv. $u \circ-\circ v$ ).
LLM-gestuurde Disambiguatie: De LLM fungeert als een "zachte juridische kennisbank". Voor elke onzekere rand wordt een prompt gegenereerd met juridische context en feiten. De LLM beoordeelt de waarschijnlijkheid van de richting ( $u \to v$ , $v \to u$ , of geen directe link) op basis van juridische logica en temporele volgorde.
Constraints: De output wordt gefilterd op basis van juridische logica (feiten bepalen vonnissen, dus geen vonnis $\to$ feiten) en temporele constraints.
Sampling: Er worden meerdere causale grafieken gesampled (Q-grafieken) om de onzekerheid te modelleren. De kwaliteit van elke grafiek wordt gewogen op basis van de Bayesian Information Criterion (BIC).

3. Causaal Bewust Voorspellingsmodel

Causale Sterkte Schatting: De gemiddelde treatment effect (ATE) wordt geschat via Propensity Score Matching (PSM) over de gesamplede grafieken om de sterkte van de causale relaties te kwantificeren.
Attention Constraining: Tijdens de voorspelling met een PLM (ALBERT) wordt een extra verliesfunctie ( $L_{causal}$ ) toegevoegd. Deze dwingt de attention-mechanismen van het model om zich te richten op tokens die hoge causale sterkte hebben, waardoor het model "causaal bewust" wordt.

Belangrijkste Bijdragen

Hybride Extractieparadigma: Een nieuwe methode die statistische screening combineert met LLM-semantisch redeneren voor hoog-precisie extractie van juridische elementen, wat ruis effectief elimineert.
LLM-gestuurde Disambiguatie: Een mechanisme dat Markov-equivalentie-problemen oplost door LLM's te gebruiken als prior-kennis voor het bepalen van de richting van causale randen, zonder willekeurige aannames.
Causaal Bewust Model: Een architectuur die causale grafieken expliciet gebruikt om de attention-weights van taalmodellen te sturen, wat de interpretatie en robuustheid verbetert.

Resultaten

Het model (LLM-Knowledge-GCI) is getest op vijf datasets (LEVEN, QA, CAIL, LEDGAR, Overruling) en vergeleken met 12 state-of-the-art baselines (inclusief BERT, Legal-RoBERTa, en andere causale modellen).

Algemene Prestatie: Het model behaalde de beste of tweede beste resultaten op alle datasets. Op de CAIL-dataset (strafrechtelijke aanklachten) behaalde het 89,31% nauwkeurigheid, wat een significante verbetering is ten opzichte van BERT+CRF (88,81%) en andere baselines.
Kleine Datasets (Few-Shot): Het model toont superieure data-efficiëntie. Met slechts 1% trainingsdata behaalde het een gemiddelde nauwkeurigheid van 61,17%, wat aanzienlijk hoger is dan alle baselines (bijv. BERT scoorde slechts ~1-2% op sommige taken).
Robuustheid: Sensitiviteitsanalyses (met placebo-tests en willekeurige verstorende factoren) toonden aan dat het gegenereerde causale netwerk robuust is en schijnrelaties effectief filtert.
Ablatie-studies: Verwijdering van de LLM-verrijking of de causale constraints leidde tot een duidelijke daling in prestaties, wat bewijst dat beide componenten essentieel zijn.
Factorencomplexiteit: De prestaties verbeteren naarmate het aantal causale factoren in een zaak toeneemt (tot een bepaald punt), wat aantoont dat het model complexe juridische redeneringen beter kan hanteren dan statische modellen.

Betekenis

Dit paper markeert een belangrijke verschuiving in juridische AI van puur statistische correlatie naar expliciet causaal redeneren. Door de kracht van LLM's te combineren met strikte causale inferentie, biedt het een oplossing voor het "black-box" probleem van PLMs in de juridische sector. Het verbetert niet alleen de voorspellende nauwkeurigheid, maar verhoogt ook de interpreteerbaarheid en betrouwbaarheid van de systemen, wat cruciaal is voor juridische toepassingen waar fouten ernstige gevolgen kunnen hebben. De methode biedt een reproduceerbaar kader voor het omgaan met onzekerheid in causale ontdekking binnen domeinen met beperkte en complexe data.