Technische Samenvatting: UA-Legal-Bench

Probleemstelling

Huidige benchmarks voor juridische Natural Language Processing (NLP) zijn overweldigend Engels-gecentreerd, wat een aanzienlijke blinde vlek creëert voor taalkundig rijke talen met niet-Latijnse scripts en rechtsstelsels gebaseerd op het civielrecht. Bestaande benchmarks zoals LegalBench, LexGLUE en CUAD evalueren redenering uitsluitend in het Engels, vaak binnen common-law-kaders. Deze kloof is kritiek voor Oekraïense juridische NLP vanwege drie versterkende factoren:

1. Inefficiëntie bij Tokenisatie: Subwoord-tokenizers fragmenteren Oekraïense juridische tekst met een snelheid die 1,6 keer hoger is dan in het Engels, wat de inferentiekosten opvoert en in-context learning verslechtert.
2. Morfologische Complexiteit: De agglutinerende morfologie en zeven grammaticale gevallen van het Oekraïens presenteren een fundamenteel ander tokenisatieoppervlak vergeleken met het Engels.
3. Jurisdictieverschillen: Het Oekraïense civielrechtelijke systeem vertrouwt op gecodificeerde wetten in plaats van common-law-precedenten, wat specifieke redeneerpatronen vereist die niet worden vastgelegd door Engelse benchmarks.

Voorafgaand aan dit werk bestond er geen uitgebreide benchmark voor Oekraïense juridische redenering, en zijn algemene Oekraïense NLP-bronnen schaars (ze vormen slechts 0,5% van het mC4-corpus).

Methodologie

Bron en Constructie van Gegevens

De benchmark is opgebouwd uit het Gecentraliseerd Staatsregister van Gerechtelijke Beslissingen (EDRSR), een open gerechtelijk corpus met 99,5 miljoen beslissingen gepubliceerd sinds 2006. De auteurs hebben 2.000 substantiële beslissingen uit de verdeling van 2024 geselecteerd, gestratificeerd over vier jurisdicties (burgerlijk, strafrechtelijk, handelsrechtelijk, administratief) en vonnisvormen. De dataset bevat de volledige tekst van de beslissing (mediaanlengte: 12.060 tekens) en gestructureerde metadata.

Benchmarktaken

UA-Legal-Bench omvat vijf taken met toenemende moeilijkheidsgraad:

1. Classificatie van Zaaktype (CTC): Het classificeren van beslissingen in vier jurisdictorische categorieën (n=2.000).
2. Classificatie van Vonnisvorm (JFC): Het identificeren van het documenttype (beslissing, resolutie, vonnis, uitspraak) op basis van de procedurele aard (n=2.000).
3. Voorspelling van Zaakuitkomst (COP): Het voorspellen van het gerechtelijke oordeel (6 klassen) uitsluitend op basis van het feitenstuk, waarbij het oordeel is gemaskeerd (n=800).
4. Extractie van Normen (NE): Het extraheren van citaten van juridische normen (bijvoorbeeld specifieke artikelnummers) uit de tekst (n=1.794).
5. Voorspelling van Oorzaakcategorie (CCP): Het classificeren van het juridische onderwerp in 22 macro-categorieën (n=1.871).

Evaluatieprotocol

De studie evalueerde 11 Large Language Models (LLM's) variërend van 3B tot 675B parameters over vijf families (Mistral, Meta, NVIDIA, Amazon, Qwen) via AWS Bedrock.

• Voorwaarden: Modellen werden getest onder zero-shot en 3-shot prompting.
• Maten: Nauwkeurigheid (accuracy) werd gebruikt voor gebalanceerde taken; Macro-F1 had prioriteit voor ongebalanceerde taken (specifiek COP, waarbij de meerderheidsklasse "toegekend" 61% van de data uitmaakt) om bias ten opzichte van de meerderheidsklasse te voorkomen.
• Volume: De evaluatie omvatte 158.419 API-aanroepen.

Belangrijkste Resultaten

1. Gradiënt van Taakmoeilijkheid

Taken vertonen een duidelijke gradiënt in moeilijkheidsgraad. CTC is bijna opgelost, waarbij alle frontier-modellen een zero-shot-nauwkeurigheid van meer dan 96% halen. JFC is matig moeilijk (74–84% zero-shot), terwijl COP de meest uitdagende is, waarbij frontier-modellen slechts 23–41% Macro-F1 zero-shot bereiken. NE en CCP vallen hier tussenin.

2. Taakafhankelijke Few-Shot Effecten

De impact van few-shot prompting is niet uniform; deze varieert sterk per taak:

• JFC: Few-shot prompting verbetert de prestaties consequent, met winsten tot +38,6 procentpunten (pp) voor een 12B-model (Nemotron Nano), wat bijna overeenkomt met de prestaties van een 120B-model. Dit suggereert dat JFC sterk afhankelijk is van het leren van handtekeningen van documentformaten.
• COP: Effecten zijn gemengd. Hoewel sommige modellen verbeteren, verslechteren anderen (bijvoorbeeld Llama 3.3). Cruciaal is dat nauwkeurigheid hier een mislepende maatstaf is; het model met de hoogste COP-nauwkeurigheid (62%) was een voorspeller van de meerderheidsklasse met een Macro-F1 van slechts 23%. Het werkelijk beste model (Nova Pro) behaalde 44% Macro-F1.
• CTC: Few-shot effecten zijn minimaal vanwege een plafondeffect (zero-shot-nauwkeurigheid >96%).
• NE: Few-shot prompting heeft verwaarloosbare effecten, wat suggereert dat normextractie berust op patroonherkenning in plaats van diep redeneren.

3. Schaling en Modelfamilies

Schalingswetten voor Oekraïense juridische redenering zijn sterk afhankelijk van de familie:

• Mistral-familie: Toont "vlotte" schaling. Een 8B-model (Ministral 8B) komt overeen met het 675B frontier-model op CTC en komt er bijna mee overeen op COP, wat suggereert dat 8B parameters voldoende zijn voor veel juridische taken binnen deze familie.
• Meta-familie: Toont steile schaling. Het 8B-model (Llama 3.1) presteert slecht in vergelijking met zijn 70B- en 400B-tegenhangers, wat aangeeft dat een veel hogere parameterdrempel vereist is voor competentie binnen deze familie.
• NVIDIA-familie: Toont intermediaire schaling, met aanzienlijke gaten tussen 12B- en 120B-modellen op COP, hoewel few-shot prompting deze kloof gedeeltelijk kan overbruggen op format-gebaseerde taken.

4. Gevoeligheid van Maten

De studie benadrukt dat Macro-F1 essentieel is voor juridische benchmarks met ongebalanceerde klassen. Het vertrouwen op nauwkeurigheid alleen zou ten onrechte een voorspeller van de meerderheidsklasse identificeren als het best presterende model.

Betekenis en Claims

Het paper positioneert UA-Legal-Bench als de eerste uitgebreide benchmark voor juridische redenering voor een jurisdictie met een Cyrillisch script en civielrecht. De belangrijkste bijdragen en claims zijn:

1. Invullen van een Kritieke Kloof: Het adresseert de uitsluiting van Cyrillische jurisdicties en civielrechtelijke systemen uit bestaande juridische NLP-evaluaties.
2. Aan het Licht Brengen van Valkuilen in Maten: Het toont aan dat nauwkeurigheid gevaarlijk misleidend is bij ongebalanceerde juridische taken, en pleit voor klassenbewuste maten zoals Macro-F1.
3. Taakafhankelijke Prompting: Het stelt vast dat few-shot prompting geen universele oplossing is; de effectiviteit hangt af van de verhouding tussen "format-signaal" en "lengtekosten" (tokenisatie-inefficiëntie).
4. Nuance in Schaling: Het daagt de aanname uit dat juridische AI universeel frontier-schaalmodellen vereist, door te tonen dat 8B-modellen op oppervlakkige taken (CTC, NE) kunnen concurreren met frontier-prestaties, maar dat de parameterdrempel voor complex redeneren sterk varieert tussen modelfamilies.
5. Beschikbaarheid van Bronnen: De auteurs geven alle data, prompts, modelvoorspellingen en evaluatiecode vrij om verder onderzoek in meertalige juridische NLP te faciliteren.

De auteurs concluderen dat de waargenomen patronen – specifiek de misleidende aard van nauwkeurigheid bij ongebalanceerde taken en de variabele effectiviteit van few-shot prompting – onzichtbaar zijn in enkel Engelse, enkel op nauwkeurigheid gebaseerde evaluaties, wat de noodzaak onderstreept van meertalige benchmarks met passende maten.