LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification

Titolo

LegalBench-BR: Un Benchmark per la Valutazione dei Modelli Linguistici su Grandi Scala (LLM) nella Classificazione delle Decisioni Giuridiche Brasiliane

1. Il Problema

L'intersezione tra l'Elaborazione del Linguaggio Naturale (NLP) e l'analisi del testo giuridico ha visto progressi significativi nei contesti di lingua inglese (es. il benchmark LegalBench), ma il panorama giuridico in lingua portoghese, in particolare per il sistema giudiziario brasiliano, rimane sottoservito.

• Contesto: Il Brasile gestisce uno dei più grandi sistemi giudiziari al mondo (oltre 80 milioni di casi attivi), con una crescente necessità di automazione per il routing dei casi, la distribuzione del carico di lavoro e l'analisi.
• Gap: Non esiste alcun benchmark standardizzato per valutare le prestazioni dei modelli linguistici sui dati giuridici brasiliani, nonostante l'accesso pubblico ai dati strutturati tramite l'API DataJud del Consiglio Nazionale della Giustizia (CNJ).
• Domanda di ricerca: I modelli linguistici generici (LLM) multilingue sono sufficienti per la classificazione giuridica brasiliana, o è necessario l'adattamento di dominio (fine-tuning)?

2. Metodologia

Costruzione del Dataset (LegalBench-BR)

• Fonte: 3.105 procedimenti d'appello raccolti dal Tribunale di Giustizia dello Stato di Santa Catarina (TJSC) tramite l'API DataJud.
• Categorie Giuridiche: Il dataset è stato annotato su 5 aree del diritto: Cível (Civile), Consumidor (Consumatore), Tributário (Tributario), Administrativo (Amministrativo) e Penal (Penale).
  • Esclusioni: Il diritto del lavoro (Trabalhista) è stato escluso per competenza giurisdizionale separata; il diritto di famiglia (Família) è stato fuso con il civile per scarsità di dati a livello d'appello.
• Pipeline di Annotazione:
  1. Classificazione LLM: Utilizzo di Claude 3.5 Haiku per l'etichettatura iniziale con giustificazione e punteggio di confidenza.
  2. Correzione Euristica: Validazione tramite regole basate su metadati (es. tipo di camera giudiziaria, classe procedurale) per correggere gli errori sistematici dell'LLM (es. confusione tra amministrativo e civile).
• Bilanciamento: Il dataset originale era sbilanciato (52% casi civili). Per il benchmark, sono stati applicati tecniche di oversampling (training) e undersampling (test/validazione) per ottenere 21 campioni per classe nel set di test, rendendo la metrica F1 macro significativa e prevenendo strategie basate sulla classe maggioritaria.

Sperimentazione e Modelli

• Modello Proposto (Fine-tuned): BERTimbau (modello BERT pre-addestrato su corpus brasiliano) + LoRA (Low-Rank Adaptation).
  • Configurazione: Aggiornati solo lo 0,3% dei parametri (rank r=16).
  • Hardware: Addestrato su una GPU consumer (Google Colab T4) in 5 epoche.
• Baseline (Zero-shot):
  • Claude 3.5 Haiku (via API).
  • GPT-4o mini (via API).
• Protocollo di Valutazione: Tutti i modelli sono stati testati sullo stesso set di test bilanciato (105 campioni, 21 per classe). Metriche: Accuratezza, Precisione, Recall e F1 Macro.

3. Risultati Chiave

Prestazioni Generali

Il modello fine-tuned supera significativamente gli LLM commerciali:

• Accuratezza: BERTimbau-LoRA raggiunge l'87,6%, contro il 65,7% di Claude 3.5 Haiku e il 60,0% di GPT-4o mini.
• F1 Macro: Il modello proposto ottiene 0,87, superando Claude di +22 punti percentuali e GPT-4o mini di +28 punti.

Analisi per Classe e Bias Sistematico

• Fallimento nell'Amministrativo (Administrativo): Questo è il risultato più critico.
  • GPT-4o mini: F1 = 0,00 (nessuna previsione corretta).
  • Claude 3.5 Haiku: F1 = 0,08.
  • BERTimbau-LoRA: F1 = 0,91.
  • Gap: +83 punti F1 su una singola classe.
• Bias "Default Cível": Sia Claude che GPT mostrano un bias sistematico verso la classe Cível (Civile). Quando incerti, classificano erroneamente casi amministrativi e tributari come civili. Questo riflette la distribuzione statistica reale dei tribunali (dove i casi civili sono maggioritari), ma è un fallimento funzionale per la classificazione discriminativa.
• Successo nel Penale (Penal): Tutti i modelli ottengono prestazioni elevate (F1 ≥ 0,92) grazie alla forte discriminabilità lessicale e procedurale dei casi penali.

Efficienza e Costi

• Latenza: BERTimbau-LoRA è molto più veloce (233 ms per campione) rispetto alle API (964-1444 ms).
• Costo: Il modello fine-tuned ha un costo di inferenza nullo (~$0,00) e non richiede l'invio di dati sensibili a server esterni, rispettando meglio le normative sulla privacy (LGPD) e deontologia forense brasiliana.

4. Contributi Principali

1. Rilascio di LegalBench-BR: Il primo benchmark pubblico in portoghese per l'NLP giuridico con rappresentanza bilanciata delle classi, disponibile su HuggingFace.
2. Dimostrazione dell'Inadeguatezza degli LLM Generici: Evidenza empirica che gli LLM commerciali, anche i più avanzati, falliscono sistematicamente su compiti di classificazione giuridica di dominio specifico senza adattamento, a causa di bias strutturali.
3. Pipeline Riproducibile: Documentazione completa del flusso di lavoro, dalla raccolta dati (DataJud) all'annotazione assistita da LLM con validazione euristica, fino al training LoRA su GPU consumer.
4. Analisi del Bias: Identificazione e quantificazione del "bias Cível", un problema che l'adattamento di dominio risolve efficacemente.

5. Significato e Implicazioni

• Per la Tecnologia Legale (Legal Tech): I risultati smentiscono l'idea che gli LLM generici possano sostituire modelli specifici per compiti giuridici brasiliani. L'uso di LLM zero-shot per il routing dei casi porterebbe a errori critici (es. smistare casi amministrativi al dipartimento civile).
• Accessibilità: Dimostra che il fine-tuning con LoRA su hardware consumer è sufficiente per colmare il divario prestazionale con modelli commerciali costosi, rendendo la tecnologia accessibile a studi legali e piccole imprese.
• Privacy e Conformità: L'uso di modelli locali elimina i rischi di violazione della riservatezza dei dati client associati all'invio di testi legali a API di terze parti.
• Importanza del Bilanciamento: Il paper sottolinea come i benchmark sbilanciati nascondano le debolezze dei modelli; solo test bilanciati rivelano la reale incapacità degli LLM di discriminare classi minoritarie ma cruciali.

In conclusione, LegalBench-BR stabilisce che per l'NLP giuridico brasiliano, l'adattamento di dominio tramite tecniche efficienti come LoRA non è solo preferibile, ma essenziale per ottenere prestazioni affidabili e conformi alle normative.