LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification

1. Problématique

Le domaine du Traitement du Langage Naturel (NLP) appliqué au droit a connu des avancées majeures dans les contextes anglophones (ex: benchmark LegalBench), mais il reste sous-développé pour le système juridique brésilien, l'un des plus vastes au monde avec plus de 80 millions de dossiers actifs.

• Le besoin : Les cabinets d'avocats, les startups LegalTech et la justice brésilienne ont un besoin croissant d'automatiser le classement des procédures pour le routage des dossiers et l'analyse de charge.
• Le vide actuel : Bien que le Conseil National de Justice (CNJ) fournisse un accès API public aux données judiciaires (DataJud), aucun benchmark standardisé n'existe pour évaluer la performance des modèles de langage sur ces données.
• Question centrale : Les modèles de langage (LLM) généralistes multilingues sont-ils déjà suffisamment performants pour le classement juridique brésilien, rendant inutile le développement de modèles spécifiques au domaine ?

2. Méthodologie

A. Construction du Dataset (LegalBench-BR)

• Source des données : 3 105 procédures d'appel collectées auprès du Tribunal de Justice de Santa Catarina (TJSC) via l'API DataJud.
• Collecte et Équilibrage : Une collecte initiale était fortement déséquilibrée (97 % de droit commercial/civil). Une collecte ciblée a été effectuée pour inclure des chambres criminelles, fiscales et administratives.
• Annotation : Un pipeline hybride en deux étapes :
  1. Classification par LLM : Utilisation de Claude 3.5 Haiku pour une première étiquetage avec score de confiance.
  2. Correction heuristique : Application de règles basées sur les métadonnées (type de chambre, classe procédurale) pour corriger les erreurs systématiques des LLM (ex: "Câmara Criminal" → pénal).
• Classes cibles : 5 domaines juridiques : Cível (Civil), Consumidor (Consommation), Tributário (Fiscal), Administrativo (Administratif), Penal (Pénal). Le droit du travail et de la famille ont été exclus pour des raisons de juridiction ou de volume insuffisant.
• Équilibrage : Le jeu de données final est parfaitement équilibré (21 échantillons par classe pour les ensembles de validation et de test) pour éviter que les modèles ne réussissent simplement en prédisant la classe majoritaire.

B. Modèles et Expérimentation

• Modèle Fine-Tuné : BERTimbau (BERT pré-entraîné sur le portugais brésilien) optimisé via LoRA (Low-Rank Adaptation).
  • Configuration : Mise à jour de seulement 0,3 % des paramètres (rank r=16).
  • Entraînement : 5 époques sur un GPU Google Colab T4 (16 Go VRAM).
• Modèles de Référence (Baselines) :
  • Claude 3.5 Haiku (Zero-shot).
  • GPT-4o mini (Zero-shot).
• Protocole d'évaluation : Tous les modèles sont testés sur le même ensemble de test équilibré (105 échantillons). Métriques : Précision, Rappel, F1-score macro et latence.

3. Résultats Clés

A. Performance Globale

Le modèle fine-tuné BERTimbau-LoRA surpasse largement les LLM commerciaux :

• Précision : 87,6 % (BERT) vs 65,7 % (Claude) et 60,0 % (GPT-4o mini).
• F1-score Macro : 0,87 (BERT) vs 0,63 (Claude) et 0,57 (GPT-4o mini).
• Gain : +22 points de pourcentage (pp) de précision par rapport à Claude et +28 pp par rapport à GPT-4o mini.

B. Performance par Classe et Biais Systématique

• Le cas critique (Droit Administratif) : C'est ici que l'écart est le plus frappant.
  • GPT-4o mini : F1 = 0,00 (aucune prédiction correcte).
  • Claude 3.5 Haiku : F1 = 0,08.
  • BERTimbau-LoRA : F1 = 0,91.
• Le biais « Cível Default » : Les LLM généralistes présentent un biais systématique à classer les cas incertains comme Cível (Civil), la classe majoritaire dans les données réelles.
  • Claude et GPT attribuent 38 % des cas de test à la catégorie Cível (alors que la proportion réelle est de 20 %), entraînant un rappel élevé mais une précision faible sur cette classe.
  • Ce biais rend les LLM inutilisables pour le classement des dossiers administratifs et fiscaux dans un contexte de production.
• Exception : Sur la classe Consumidor (Consommation), les LLM performants (Claude) égalent ou dépassent légèrement le modèle fine-tuné, probablement grâce à un vocabulaire distinctif que les modèles zero-shot peuvent saisir sans entraînement.

C. Efficacité et Coûts

• Latence : BERTimbau-LoRA est beaucoup plus rapide (233 ms/échantillon) que les API (964 ms à 1444 ms).
• Coût : L'inférence du modèle fine-tuné est gratuite (coût marginal nul) et peut être exécutée localement, contrairement aux coûts récurrents des API.
• Confidentialité : L'exécution locale résout les problèmes de conformité avec la LGPD (loi brésilienne sur la protection des données) et les règles déontologiques de l'ordre des avocats (OAB) concernant la transmission de données sensibles à des tiers.

4. Contributions Principales

1. Premier Benchmark Public : Introduction de LegalBench-BR, le premier benchmark public pour le NLP juridique en portugais brésilien, avec une représentation équilibrée de 5 domaines juridiques.
2. Preuve de l'Insuffisance des LLM Généralistes : Démonstration empirique que les LLM commerciaux échouent sur des tâches de classification juridiques spécifiques (notamment le droit administratif) en raison de biais statistiques, même sur des tâches apparemment simples.
3. Validation du Fine-Tuning Efficace : Démonstration que le fine-tuning LoRA sur un GPU grand public (coût nul, 30 min d'entraînement) comble l'écart de performance et élimine les biais des modèles zero-shot.
4. Pipeline Reproductible : Mise à disposition d'un pipeline complet (collecte API, annotation hybride, rééquilibrage, entraînement) adaptable à d'autres tribunaux brésiliens.

5. Signification et Implications

• Pour la LegalTech : Les entreprises ne peuvent pas se contenter d'API de LLM généralistes pour le classement juridique au Brésil. Un modèle adapté au domaine (domain-adapted) est indispensable pour éviter des erreurs de routage critiques.
• Économie du Déploiement : Le fine-tuning léger offre une solution économiquement viable, rapide et conforme aux régulations de confidentialité, contrairement aux solutions SaaS coûteuses et risquées en termes de données.
• Méthodologie de Recherche : L'article souligne l'importance cruciale de l'équilibrage des classes dans les benchmarks juridiques. Sur un jeu de données déséquilibré (réel), les LLM semblent performants (94,5 % de précision) simplement en prédisant la classe majoritaire, masquant leur incapacité réelle à discriminer les classes minoritaires.
• Limites : Le dataset est limité au TJSC (bien que les classes soient fédérales), et l'annotation automatique, bien que corrigée, peut conserver certains biais.

En conclusion, LegalBench-BR établit que pour le NLP juridique brésilien, l'adaptation de domaine via un fine-tuning léger est non seulement supérieure, mais nécessaire, car les modèles de langage généralistes échouent à capturer les nuances structurelles du système juridique civiliste brésilien.