Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions

Resumo Técnico: Multi-Legal-Bench

Declaração do Problema
As atuais avaliações de benchmarks de Processamento de Linguagem Natural (PLN) jurídicos sofrem com um desenho de avaliação "em silos". Recursos existentes como LegalBench, LexGLUE e LEXTREME focam exclusivamente em sistemas de direito consuetudinário em inglês ou agregam tarefas fundamentalmente diferentes entre idiomas (por exemplo, comparar classificação de tópicos em alemão com previsão de tipo de tribunal em francês). Este desenho impede uma verdadeira comparação multilingue, pois as diferenças de desempenho confundem a capacidade linguística com a dificuldade da tarefa. Além disso, nenhum benchmark anterior avalia tarefas de raciocínio idênticas em múltiplos sistemas jurídicos nacionais utilizando Modelos de Linguagem de Grande Porte (LLMs) de ponta, deixando uma lacuna crítica na compreensão de como os modelos generalizam entre jurisdições e famílias linguísticas.

Metodologia
Os autores introduzem o Multi-Legal-Bench, um benchmark interjurisdicional construído a partir do Corpus Legal SecondLayer, que contém 134 milhões de decisões judiciais de 20 jurisdições. O benchmark foca em seis jurisdições de direito civil: Ucrânia, França, Países Baixos, Polônia, República Tcheca e Lituânia. Estas foram selecionadas para abranger quatro famílias linguísticas (Eslava, Românica, Germânica, Báltica) e dois alfabetos (Latino, Cirílico).

O benchmark define cinco tarefas idênticas de raciocínio jurídico, mapeadas para metadados estruturados dos registros nacionais dos tribunais:

1. Classificação do Tipo de Tribunal (CTC): Classificação do ramo judiciário (por exemplo, cível, criminal).
2. Classificação da Forma de Sentença (JFC): Identificação do tipo de documento processual.
3. Previsão do Resultado do Caso (COP): Previsão do resultado judicial dada apenas a seção de fatos.
4. Extração de Normas (NE): Extração de citações de normas jurídicas.
5. Previsão da Categoria da Causa (CCP): Classificação da matéria jurídica.

Devido à variação na riqueza de metadados entre as jurisdições, a avaliação forma uma intencionalmente esparsa matriz de 5×6 tarefa–jurisdição (20 das 30 células preenchidas). Os autores evitam explicitamente fabricar rótulos ou usar pseudo-rótulos; células vazias representam a ausência genuína de metadados.

Configuração Experimental
O estudo avalia 11 LLMs via AWS Bedrock:

• 7 Modelos de Ponta: Incluindo Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Amazon Nova Pro e variantes do Qwen3 (235B e 32B).
• 4 Modelos Pequenos/Médios: Ministral 3B/8B, Llama 3.1 8B e Nemotron Nano 12B, utilizados para análise de escalabilidade.

Os protocolos de avaliação incluem zero-shot e prompting com 3 exemplos (3-shot) no idioma nativo de cada jurisdição. Adicionalmente, os autores conduziram experimentos de transferência multilingue, testando se exemplos few-shot ucranianos poderiam melhorar o desempenho em dados de teste não ucranianos.

Principais Resultados

1. Efeitos Few-Shot Dependentes da Tarefa: A descoberta de que os efeitos da aprendizagem few-shot são específicos da tarefa (descoberta em trabalhos anteriores apenas com ucraniano) replica-se em todas as jurisdições. A JFC beneficia-se consistentemente do prompting few-shot (ganhos de até +66,2 pontos percentuais), enquanto a COP mostra efeitos mistos e imprevisíveis, e a CTC frequentemente atinge desempenho de teto.
2. Nenhum Modelo Dominante: Nenhum modelo único domina em todos os idiomas ou tarefas. As classificações mudam significativamente com base na tarefa e jurisdição específicas. Por exemplo, um modelo que performa bem em texto jurídico francês pode performar mal em texto polonês ou tcheco.
3. Transferência Multilingue e Alinhamento de Rótulos: A qualidade da transferência não correlaciona-se com a proximidade linguística. A transferência de ucraniano para francês (Românico) superou a transferência de ucraniano para polonês (Eslavo) na Classificação do Tipo de Tribunal (queda de −2,1 pp vs. −13,7 pp). Os autores concluem que o alinhamento do conjunto de rótulos é um melhor preditor da qualidade da transferência do que a similaridade linguística.
4. Fertilidade do Tokenizador vs. Precisão: Embora a fertilidade do tokenizador (tokens por palavra) varie significativamente (dispersão de 2,3×) e correlacione-se com o custo de inferência, ela não prediz significativamente a precisão multilingue (r=−0,27, p=0,14). Isso contrasta com achados anteriores monolíngues, sugerindo que a composição dos dados de pré-treinamento e a arquitetura do modelo dominam sobre a eficiência do tokenizador em configurações multilingues.
5. Lacunas de Escala: Modelos pequenos (3–12B) mostram degradação significativa de desempenho em comparação com modelos de ponta, particularmente na Classificação do Tipo de Tribunal em idiomas sub-representados (por exemplo, uma lacuna de −20 pp para o lituano). No entanto, ocasionalmente superam modelos de ponta em tarefas específicas como Previsão da Categoria da Causa nos Países Baixos.

Significado e Afirmativas
O artigo afirma fornecer o primeiro benchmark jurídico que permite uma verdadeira comparação multilingue ao avaliar tarefas idênticas em múltiplos sistemas jurídicos nacionais. Suas principais contribuições são:

• Rigor Metodológico: Ao utilizar uma matriz esparsa baseada na disponibilidade real de metadados, o benchmark reflete honestamente a heterogeneidade dos dados judiciais abertos em vez de forçar uma uniformidade artificial.
• Insights Empíricos: Desafia a suposição de que a proximidade linguística impulsiona a transferência multilingue, destacando a importância da compatibilidade do conjunto de rótulos. Também desacopla a eficiência do tokenizador do desempenho do modelo em contextos multilingues, aconselhando praticantes a priorizar a avaliação específica da jurisdição em vez de estatísticas do tokenizador.
• Disponibilidade de Recursos: Os autores liberam todos os dados, prompts, previsões dos modelos e código de avaliação para facilitar pesquisas futuras em PLN jurídico multilingue.

Os autores mantêm uma postura modesta, notando limitações como a exclusão de sistemas de direito consuetudinário, distribuições desbalanceadas de rótulos em células específicas e o foco em LLMs generativos em vez de modelos codificadores. Eles enfatizam que suas descobertas sobre a estabilidade da dificuldade da tarefa e a não universalidade das classificações dos modelos são específicas às jurisdições de direito civil avaliadas.