LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification

Overzicht

Het paper introduceert LegalBench-BR, het eerste publieke benchmark voor het evalueren van taalkundige modellen op de classificatie van Braziliaanse juridische teksten. Het onderzoek adresseert de kloof in het Portugees-sprekende juridische NLP-landschap en toont aan dat algemene Large Language Models (LLMs) onvoldoende presteren voor gespecialiseerde juridische taken in Brazilië, terwijl een lichtgewicht, fijngefineerd model aanzienlijk betere resultaten boekt.

1. Het Probleem

Hoewel er uitgebreide benchmarks bestaan voor juridisch NLP in het Engels (zoals LegalBench), ontbreekt er een gestandaardiseerde evaluatie voor het Braziliaanse rechtssysteem, dat een van de grootste ter wereld is met meer dan 80 miljoen actieve zaken.

• Behoefte: Braziliaanse advocatenkantoren, legal-tech startups en de rechterlijke macht hebben behoefte aan geautomatiseerde classificatie van procedures voor doorsturing en workload-distributie.
• De Vraag: Presteren algemene, meertalige LLMs (zoals GPT-4o en Claude) al goed genoeg om domeinspecifieke modellen te vervangen voor de classificatie van Braziliaanse juridische teksten?
• Uitdaging: Bestaande datasets zijn vaak onbalans (oververtegenwoordiging van civiel recht) en er is geen publieke benchmark om de prestaties van modellen op DataJud-gegevens (de openbare API van de Braziliaanse Nationale Raad voor Justitie) te testen.

2. Methodologie

Dataset Constructie (LegalBench-BR)

• Bron: 3.105 hoger beroep-procedures van het Tribunaal de Justiça de Santa Catarina (TJSC), verzameld via de DataJud API.
• Annotatie: Een twee-staps proces:
  1. LLM-classificatie: Claude 3.5 Haiku labelde de documenten met een betrouwbaarheidsscore. Documenten met een score < 0,7 werden verworpen.
  2. Heuristische correctie: Regels gebaseerd op metadata (zoals de kamer van het hof en procesclassificatie) corrigeerden misclassificaties. Bijvoorbeeld: "Câmara Criminal" wordt automatisch "penal".
• Klasse-indeling: Het dataset omvat 5 juridische gebieden: cível (burgerlijk), consumidor (consument), tributário (belasting), administrativo (bestuursrecht) en penal (strafrecht). Arbeidsrecht en familierecht werden uitgesloten vanwege jurisdictie- of dataproblemen.
• Balancering: Om een eerlijke evaluatie mogelijk te maken, werd het dataset gebalanceerd.
  • Trainset: 1.815 samples (363 per klasse) via oversampling.
  • Testset: 105 samples (21 per klasse) via undersampling.
  • Dit voorkomt dat modellen simpelweg de meerderheidsklasse (cível) voorspellen om een hoge nauwkeurigheid te behalen.

Experimenten en Modellen

Drie modellen werden vergeleken op dezelfde gebalanceerde testset:

1. BERTimbau + LoRA: Een op Braziliaans Portugees getraind BERT-model (110M parameters) met Low-Rank Adaptation (LoRA). Slechts 0,3% van de parameters werd bijgewerkt. Getraind op een consumer GPU (Google Colab T4) in 5 epochs.
2. Claude 3.5 Haiku: Gebruikt via API in een "zero-shot" configuratie (geen fine-tuning).
3. GPT-4o mini: Gebruikt via API in een "zero-shot" configuratie.

Evaluatiemetrics: Nauwkeurigheid (Accuracy), Macro-averaged F1-score, precisie, recall en inferentielatentie.

3. Belangrijkste Resultaten

Algemene Prestaties

Het fijngefineerde model overtrof de commerciële LLMs met een grote marge:

• Nauwkeurigheid: BERTimbau-LoRA behaalde 87,6%, vergeleken met 65,7% voor Claude 3.5 Haiku en 60,0% voor GPT-4o mini.
• F1-score (Macro): BERTimbau-LoRA scoorde 0,87, terwijl de LLMs respectievelijk 0,63 en 0,57 scoorden.

Per-Klasse Prestaties en Bias

• Bestuursrecht (Administrativo): Dit is de meest opvallende bevinding. GPT-4o mini behaalde een F1-score van 0,00 (geen enkele correcte voorspelling) en Claude Haiku scoorde slechts 0,08. Het fine-tuned model behaalde hier 0,91.
• Civiel Recht (Cível) Bias: Beide commerciële LLMs vertoonden een systematische bias: bij twijfel classificeerden ze zaken als cível. Hoewel cível slechts 20% van de testset uitmaakte, werd het door de LLMs in 38% van de gevallen voorspeld. Dit suggereert dat de modellen de algemene frequentieverdeling van het Braziliaanse rechtssysteem hebben "geleerd" in plaats van discriminatieve kenmerken te herkennen.
• Strafrecht (Penal): Alle modellen presteerden hier goed (F1 ≥ 0,92), aangezien strafzaken unieke terminologie en procesklassen hebben die zelfs voor zero-shot modellen duidelijk zijn.

Efficiëntie en Kosten

• Latentie: BERTimbau-LoRA is aanzienlijk sneller (233 ms per sample) dan de API-modellen (1,4s voor Claude).
• Kosten: Fine-tuning kostte ~$0 aan inferentie-kosten (lokaal draaiend), terwijl API-gebruik voor een gemiddeld kantoor aanzienlijke kosten met zich meebrengt.
• Privacy: Het lokale model voldoet beter aan de Braziliaanse LGPD (privacywet) en OAB-ethische regels omdat gevoelige zaakdata niet naar externe servers hoeft te worden gestuurd.

4. Bijdragen en Betekenis

• Eerste Publieke Benchmark: LegalBench-BR biedt de eerste gestandaardiseerde, gebalanceerde dataset voor Braziliaans juridisch NLP, beschikbaar op HuggingFace.
• Validatie van Domein-Adaptatie: Het paper bewijst empirisch dat algemene LLMs, zelfs de nieuwste generatie, niet kunnen concurreren met een lichtgewicht, domein-specifiek model voor juridische classificatie. De "cível default" bias van LLMs maakt ze onbruikbaar voor kritieke taken zoals bestuursrecht.
• Kosteneffectieve Oplossing: Het toont aan dat fine-tuning met LoRA op een consumenten-GPU de prestatiekloof sluit zonder extra inferentiekosten, wat een praktische route biedt voor legal-tech toepassingen in Brazilië.
• Methodologische Inzicht: Het benadrukt het belang van gebalanceerde datasets. Op een onbalans dataset zou Claude 94,5% nauwkeurigheid hebben behaald (door simpelweg cível te voorspellen), wat een vals positief beeld zou geven van de bruikbaarheid van LLMs.

Conclusie

LegalBench-BR demonstreert dat voor gespecialiseerde juridische taken in Brazilië, domein-specifieke fine-tuning essentieel blijft. Algemene LLMs lijden onder fundamentele biases die leiden tot systematische fouten in minderheidsklassen (zoals bestuursrecht). De auteurs maken de volledige dataset, het getrainde model en de pipeline openbaar om reproduceerbaar onderzoek in Portugees juridisch NLP te stimuleren.