LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification

1. Problema e Contexto

O artigo aborda a lacuna crítica na Processamento de Linguagem Natural (PLN) jurídica em português, especificamente para o sistema judiciário brasileiro. Embora existam benchmarks robustos para o inglês (como o LegalBench), não há padrões públicos para avaliar modelos de linguagem em textos legais brasileiros.

• Necessidade: O Brasil possui um dos maiores sistemas judiciários do mundo (mais de 80 milhões de casos), e escritórios de advocacia, legal techs e o próprio judiciário necessitam de classificação automatizada de processos para roteamento e análise.
• Questão Central: Modelos de linguagem (LLMs) de propósito geral, com treinamento multilíngue, são suficientes para a classificação de áreas do direito no Brasil, ou modelos específicos de domínio são necessários?
• Desafio: A distribuição natural dos dados jurídicos é altamente desbalanceada (predominância de casos cíveis), o que pode mascarar o desempenho real dos modelos em benchmarks não equilibrados.

2. Metodologia e Construção do Dataset

Os autores desenvolveram o LegalBench-BR, o primeiro benchmark público para classificação de textos legais brasileiros.

• Coleta de Dados:
  • Fonte: Processos de apelação do Tribunal de Justiça de Santa Catarina (TJSC), acessados via API pública do DataJud (CNJ).
  • Volume Inicial: 3.678 processos coletados.
  • Filtragem: Remoção de dados sensíveis (CPF/CNPJ) e descarte de registros com baixa confiança na anotação inicial.
  • Volume Final: 3.105 processos mantidos.
• Pipeline de Anotação (Duas Etapas):
  1. Classificação por LLM: Uso do Claude 3.5 Haiku para classificar os processos em áreas do direito, gerando justificativas e pontuações de confiança. Registros com confiança < 0.7 foram descartados.
  2. Correção Heurística: Aplicação de regras baseadas em metadados (ex: "Câmara Criminal" → Penal, "Execução Fiscal" → Tributário) para corrigir erros sistemáticos do LLM.
• Definição de Classes:
  • O conjunto final possui 5 classes: Cível, Consumidor, Tributário, Administrativo e Penal.
  • Exclusões: Trabalhista (jurisdição federal separada) e Família (poucos dados em nível de apelação).
• Balanceamento de Classes:
  • Para evitar que modelos aprendam apenas a prever a classe majoritária, o dataset foi balanceado artificialmente:
    • Treino: Sobreamostragem das classes minoritárias (363 exemplos por classe).
    • Validação/Teste: Subamostragem das classes majoritárias (21 exemplos por classe, totalizando 105 amostras no teste).

3. Contribuições Principais

1. Recurso Público: Lançamento do primeiro benchmark de PLN jurídico em português com representação equilibrada de 5 áreas do direito, disponível no HuggingFace.
2. Pipeline Reproduzível: Documentação completa do fluxo de coleta, anotação, treinamento e avaliação, adaptável para outros tribunais estaduais.
3. Identificação de Viés: Detecção de um viés sistemático de "padrão cível" em LLMs de propósito geral, onde eles tendem a classificar casos ambíguos (especialmente administrativos) como cíveis.
4. Eficácia do Fine-Tuning Leve: Demonstração de que o fine-tuning com LoRA (Low-Rank Adaptation) em uma GPU de consumo é suficiente para superar modelos comerciais massivos.

4. Resultados Experimentais

Os modelos comparados foram: BERTimbau + LoRA (modelo fino-tunado), Claude 3.5 Haiku e GPT-4o mini (ambos em configuração zero-shot).

• Desempenho Geral (Teste Balanceado):

  • BERTimbau-LoRA: 87,6% de acurácia e F1 Macro de 0,87.
  • Claude 3.5 Haiku: 65,7% de acurácia e F1 Macro de 0,63.
  • GPT-4o mini: 60,0% de acurácia e F1 Macro de 0,57.
  • Diferença: O modelo fino-tunado superou o melhor LLM comercial em +22 pontos percentuais de acurácia.

• Desempenho por Classe (Destaque Crítico):

  • Direito Administrativo: O GPT-4o mini obteve F1 = 0,00 (nenhuma previsão correta) e o Claude 0,08. O BERTimbau-LoRA atingiu 0,91.
  • Direito Penal: Todos os modelos performaram bem (F1 ≥ 0,92), indicando que casos penais possuem vocabulário e classes processuais altamente discrimináveis.
  • Direito do Consumidor: Único caso onde o LLM (Claude) superou ligeiramente o modelo fino-tunado (0,84 vs 0,81), possivelmente devido ao vocabulário distinto.

• Análise de Erros:

  • Ambos os LLMs comerciais exibiram um viés de "default cível", classificando erroneamente casos administrativos e tributários como cíveis quando inseguros. Isso reflete a distribuição estatística dos dados de treinamento, não a compreensão jurídica.
  • O modelo fino-tunado eliminou esse viés ao aprender sinais discriminativos dos metadados (ex: nome da câmara julgadora).

• Eficiência e Custo:

  • Latência: BERTimbau (233ms) é significativamente mais rápido que os LLMs via API (~1s a 1,4s).
  • Custo: O modelo local tem custo de inferência zero e não transmite dados para servidores externos, atendendo a requisitos de privacidade (LGPD) e ética da OAB.

5. Significado e Conclusão

O estudo conclui que LLMs de propósito geral não substituem modelos adaptados a domínios específicos para tarefas de classificação jurídica no Brasil, mesmo em problemas aparentemente simples de 5 classes.

• Implicações Práticas: O viés de "padrão cível" torna os LLMs comerciais inapropriados para sistemas de roteamento de processos sem fine-tuning, pois causariam falhas em cascata na distribuição de trabalho e análise de dados.
• Viabilidade Técnica: O uso de técnicas de Parameter-Efficient Fine-Tuning (LoRA) em GPUs acessíveis (como Colab T4) permite criar modelos de alta performance, baratos, rápidos e seguros para o contexto jurídico brasileiro.
• Relevância Acadêmica: O trabalho destaca a importância de usar conjuntos de dados balanceados para avaliação; em datasets desbalanceados originais, os LLMs pareciam ter desempenho aceitável (94,5% de acurácia), mas essa métrica era enganosa devido à predominância da classe cível.

O artigo disponibiliza todo o código, dados e pesos do modelo para fomentar pesquisas reprodutíveis em PLN jurídico em português.