💬 NLP

Legal2LogicICL: Improving Generalization in Transforming Legal Cases to Logical Formulas via Diverse Few-Shot Learning

Dit paper introduceert Legal2LogicICL, een innovatief framework dat gebruikmaakt van diverse few-shot learning en retrieval-augmented generation om de generalisatie en nauwkeurigheid van het vertalen van juridische gevallen naar logische formules te verbeteren zonder extra training, ondersteund door een nieuw dataset genaamd Legal2Proleg.

Oorspronkelijke auteurs: Jieying Xue, Phuong Minh Nguyen, Ha Thanh Nguyen, May Myo Zin, Ken Satoh

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jieying Xue, Phuong Minh Nguyen, Ha Thanh Nguyen, May Myo Zin, Ken Satoh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Legal2LogicICL: Hoe een slimme AI juridische verhalen omzet in logische regels (zonder te studeren)

Stel je voor dat je een zeer ervaren, maar soms wat verwarde juridisch adviseur hebt. Deze adviseur kan geweldige verhalen vertellen, maar als je hem vraagt om een juridisch geval om te zetten in een strakke, wiskundige formule (zoals Als X gebeurt, dan is Y illegaal), dan maakt hij vaak fouten. Hij raakt de weg kwijt in de details van namen, data en specifieke voorwerpen.

Dit is het probleem dat de auteurs van dit paper proberen op te lossen met hun nieuwe systeem: Legal2LogicICL.

Hier is een uitleg in simpele taal, vol met analogieën:

1. Het Probleem: De "Woordenboek"-valkuil

Vroeger probeerden computers juridische teksten om te zetten in logica door ze te "leren" uit duizenden voorbeelden (zoals een student die jarenlang juridische boeken uit het hoofd leert). Dit heet fine-tuning.

Het nadeel: Dit kost enorm veel tijd, geld en perfecte data. Als de computer een nieuw soort contract ziet dat hij nooit eerder heeft gezien, raakt hij in paniek. Hij probeert het oude patroon toe te passen en faalt.
De analogie: Het is alsof je een kok hebt die alleen pizza's kan maken omdat hij 10.000 keer een pizza heeft gemaakt. Als je hem vraagt een sushi te maken, weet hij niet wat hij moet doen, omdat hij nooit sushi heeft geoefend.

2. De Oplossing: De "Slimme Assistent" (In-Context Learning)

In plaats van de AI te dwingen alles uit het hoofd te leren, geven we haar bij elke vraag een paar voorbeeldcases mee. Dit heet In-Context Learning (leren door voorbeelden).

Hoe het werkt: Je zegt tegen de AI: "Kijk, hier zijn drie eerdere gevallen die lijken op jouw vraag. Kijk hoe we die hebben opgelost, en doe hetzelfde voor dit nieuwe geval."
Het probleem hierbij: Als je de AI alleen voorbeelden geeft die exact hetzelfde zijn als de vraag (bijvoorbeeld allemaal met dezelfde namen en dezelfde auto's), dan leert de AI alleen de oppervlakte na te bootsen. Hij raakt verward als de namen veranderen.
De analogie: Het is alsof je iemand leert fietsen. Als je alleen maar voorbeelden geeft van fietsen op een vlakke weg met een rode fiets, zal die persoon in de war raken als hij op een helling een blauwe fiets moet besturen. Hij heeft variatie nodig!

3. De Innovatie: De "Diverse Selectie" (Legal2LogicICL)

De auteurs hebben een slimme manier bedacht om de beste voorbeelden te kiezen. Ze noemen dit Legal2LogicICL. Ze gebruiken twee trucs om de AI niet in de war te brengen:

Truc A: De "Diversiteits-Regelaar" (De λ-knop)

Stel je voor dat je een knop hebt om te regelen hoe verschillend de voorbeelden moeten zijn.

Als je de knop op "Veel gelijkenis" zet, krijgt de AI voorbeelden die er bijna hetzelfde uitzien als de vraag.
Als je de knop op "Veel variatie" zet, krijgt de AI voorbeelden die heel anders zijn, maar wel hetzelfde juridische principe hebben.
De oplossing: Ze hebben een knop (de parameter $\lambda$ ) die precies de juiste balans vindt. De AI krijgt voorbeelden die relevant zijn, maar ook genoeg variatie om het principe te begrijpen in plaats van alleen de details.

Truc B: De "Naam-Verwijderaar" (Entity-Agnostic)

Juridische teksten zitten vol met specifieke namen: "De heer Jansen", "De BMW met kenteken X", "Het contract van 2023".

Het probleem: Als een computer zoekt naar gelijke teksten, let hij vaak te veel op deze namen. Hij denkt: "Oh, dit geval is hetzelfde omdat het ook over een BMW gaat." Maar dat is niet waar; het gaat om het principe van het contract.
De oplossing: Het systeem maakt een "sjabloon" van de tekst. Het verwijdert alle namen en vervangt ze door algemene termen zoals {Eigenaar}, {Voertuig} en {Datum}.
De analogie: Stel je voor dat je een recept zoekt. In plaats van te zoeken op "Recept met kip van de boer uit Utrecht", zoekt het systeem op "Recept met {Vlees} en {Groenten}". Zo vindt het recepten die qua structuur hetzelfde zijn, ook al gebruiken ze kip in plaats van rundvlees.

4. Het Resultaat: Een Nieuwe "Juridische Bibliotheek"

De auteurs hebben ook een nieuwe verzameling cases gemaakt, genaamd Legal2Proleg. Dit is een bibliotheek van juridische verhalen die perfect zijn omgezet in logische formules. Ze gebruiken dit om hun systeem te testen.

Waarom is dit belangrijk?

Geen dure training: Je hoeft de AI niet maandenlang te laten studeren. Je geeft haar gewoon de juiste voorbeelden bij de vraag.
Beter in het algemeen: Het systeem werkt veel beter als het een heel nieuw type contract ziet, omdat het de structuur begrijpt en niet alleen de woorden.
Betrouwbaar: De AI maakt minder fouten door de specifieke namen, omdat hij leert op het onderliggende patroon.

Samenvattend:
Stel je voor dat je een detective bent die een nieuwe zaak moet oplossen. In plaats van zelf alles uit het hoofd te leren, krijg je een mapje met drie andere, vergelijkbare zaken.

De oude methode gaf je drie zaken die precies hetzelfde waren (zelfde dader,zelfde wapen). Je leerde alleen die specifieke zaak.
De nieuwe methode (Legal2LogicICL) geeft je drie zaken die qua moeilijkheid en type lijken, maar met verschillende daders en wapens. Hierdoor leer je het principe van het oplossen van de zaak, en kun je elke nieuwe, ongebruikelijke zaak oplossen.

Dit maakt juridische AI veel slimmer, flexibeler en betrouwbaarder voor de echte wereld.

Probleemstelling

Het formuleren van juridisch redeneren is een complexe taak waarbij ongestructureerde juridische teksten (zoals casusbeschrijvingen) moeten worden vertaald naar gestructureerde, machine-interpretabele logische formules (bijvoorbeeld in het PROLEG-formaat). Bestaande methoden, zoals patroongebaseerde systemen, neurale machinevertaling of NER-systemen (Named Entity Recognition), hebben te kampen met ernstige beperkingen:

Data-schaarste: Ze zijn afhankelijk van grote hoeveelheden hoogwaardige, geannoteerde trainingsdata, die in het juridische domein vaak ontbreekt.
Generalisatieproblemen: Deze modellen zijn vaak breekbaar bij oppervlakkige variaties in tekst of wanneer ze geconfronteerd worden met nieuwe juridische structuren die niet in de trainingsdata voorkomen.
Entiteitsbias: Traditionele semantische zoekmethoden worden vaak vertekend door specifieke, lange entiteitsnamen (zoals namen van partijen of contractnummers), waardoor de zoekresultaten gebaseerd zijn op oppervlakkige overlap in plaats van de onderliggende juridische structuur.

Methodologie: Legal2LogicICL

De auteurs stellen Legal2LogicICL voor, een nieuw raamwerk dat Large Language Models (LLMs) gebruikt voor In-Context Learning (ICL) zonder extra fine-tuning. Het systeem gebruikt Retrieval-Augmented Generation (RAG) om relevante voorbeelden (exemplars) op te halen die dienen als gids voor het vertalen van een juridische casus naar logische formules.

De kerninnovatie ligt in een diversiteitsbewuste hybride few-shot strategie die twee niveaus combineert:

DiverseSim (Latente Semantische Diversiteit):
- De auteurs introduceren een algoritme genaamd DiverseSim dat een afweging maakt tussen semantische relevantie en diversiteit.
- Een parameter $\lambda$ regelt deze balans. In plaats van alleen de meest vergelijkbare voorbeelden te kiezen (wat kan leiden tot overfitting op oppervlakkige patronen), selecteert het algoritme een set voorbeelden die zowel relevant zijn voor de query als onderling divers genoeg zijn om een breed spectrum aan juridische redeneerpatronen te dekken.
Entiteits-agnostische Template-matching (Structurele Diversiteit):
- Om het probleem van entiteitsbias op te lossen (waarbij specifieke namen de zoekresultaten domineren), wordt een tweede laag van retrieval toegepast.
- Juridische teksten worden omgezet in templates waarbij concrete entiteiten (bijv. "het ziekenhuis") worden vervangen door type-plaatsbekleders (bijv. {Borrower}).
- Het systeem zoekt naar voorbeelden die structureel overeenkomen met de query-template, ongeacht de specifieke entiteiten. Dit zorgt ervoor dat het model leert op basis van de juridische logica en niet op basis van specifieke namen.
Hybride Prompting:
- De uiteindelijke prompt voor de LLM bevat een combinatie van case-based exemplars (semantisch relevant) en template-based exemplars (structureel relevant).
- De LLM genereert vervolgens de PROLEG-factformules op basis van deze diverse context.

Dataset Constructie: Legal2Proleg

Om de generalisatie-eigenschappen van hun methode te evalueren, hebben de auteurs een nieuwe dataset ontwikkeld genaamd Legal2Proleg.

Deze dataset bevat geannoteerde koppelingen tussen juridische casussen en PROLEG-logische formules.
In tegenstelling tot eerdere datasets (zoals LegalCaseNER) die zich beperken tot het detecteren van entiteiten in koopcontracten, dekt Legal2Proleg diverse contracttypes (leningen, leases, aankopen, auteursrechten) en bevat het een veel grotere variatie aan templates en juridische problemen.
De dataset is specifiek ontworpen om template-overlap tussen trainings- en testsets te voorkomen, waardoor overfitting bij gesuperviseerde modellen wordt tegengegaan.

Resultaten

De experimenten zijn uitgevoerd op zowel open-source (Qwen, Llama, Phi-4) als proprietaire (GPT-5.2) LLMs.

Superieure Generalisatie: Legal2LogicICL presteert aanzienlijk beter dan gesuperviseerde fine-tuning (SFT) methoden (zoals LegalCaseNER), vooral in scenario's met weinig trainingsdata. Waar de SFT-methode bij een lage hoeveelheid "gezien" data (20%) instort tot 16,61% nauwkeurigheid, behoudt Legal2LogicICL een nauwkeurigheid van 83%.
Effectiviteit van Diversiteit: De experimenten tonen aan dat een gematigde instelling van de diversiteitsparameter ( $\lambda = 0,6$ ) de beste resultaten oplevert. Pure op overeenkomst gebaseerde zoekopdrachten presteerden slechter.
Hybride Strategie: De combinatie van case-based en template-based voorbeelden (3c+3t) leverde consistent de hoogste nauwkeurigheid op, wat aantoont dat het combineren van contextuele relevantie met structurele diversiteit cruciaal is.
Robuustheid: Het systeem is minder gevoelig voor variaties in oppervlakkige entiteitsnamen. Fouten die wel voorkomen, zijn vaak beperkt tot kleine tekstuele variaties (zoals het gebruik van "a" vs "the"), die de logische geldigheid van het juridische redeneren niet beïnvloeden.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Legal2LogicICL Framework: Een nieuwe, trainingsvrije aanpak voor juridische semantische parsing die gebruikmaakt van diverse few-shot learning om robuustheid en generalisatie te verbeteren.
DiverseSim Algoritme: Een innovatieve zoekmethode die entiteitsbias mitigeert door template-level matching te combineren met semantische relevantie.
Legal2Proleg Dataset: Een nieuwe benchmark die de evaluatie van juridische semantische parsing mogelijk maakt onder realistische, diverse omstandigheden zonder template-overlap.
Praktische Toepasbaarheid: De methode biedt een schaalbare en interpreteerbare oplossing voor het automatiseren van juridisch redeneren, wat essentieel is voor systemen die betrouwbaarheid en transparantie vereisen.

Concluderend toont dit paper aan dat het bewust managen van diversiteit in few-shot voorbeelden, gecombineerd met een entiteits-agnostische benadering, de barrières voor het toepassen van LLMs in complexe juridische domeinen significant verlaagt.