Resumo Técnico: UA-Legal-Bench

Declaração do Problema

As atuais avaliações de Processamento de Linguagem Natural (PLN) jurídica são esmagadoramente centradas no inglês, criando uma lacuna significativa para línguas ricas em morfologia, com scripts não latinos e jurisdições de direito civil. Avaliações existentes, como LegalBench, LexGLUE e CUAD, avaliam o raciocínio exclusivamente em inglês, frequentemente dentro de estruturas de direito comum. Essa lacuna é crítica para o PLN jurídico ucraniano devido a três fatores cumulativos:

1. Ineficiência de Tokenização: Tokenizadores de subpalavras fragmentam o texto jurídico ucraniano a taxas 1,6 vezes maiores do que em inglês, inflando os custos de inferência e degradando a aprendizagem em contexto.
2. Complexidade Morfológica: A morfologia aglutinante do ucraniano e seus sete casos gramaticais apresentam uma superfície de tokenização fundamentalmente diferente da do inglês.
3. Diferenças Jurisdicionais: O sistema de direito civil ucraniano baseia-se em estatutos codificados, e não em precedentes de direito comum, exigindo padrões de raciocínio distintos não capturados por avaliações em inglês.

Anteriormente a este trabalho, não existia uma avaliação abrangente para o raciocínio jurídico ucraniano, e os recursos gerais de PLN ucraniano são escassos (constituindo apenas 0,5% do corpus mC4).

Metodologia

Fonte de Dados e Construção

A avaliação foi construída a partir do Registro Estatal Unificado de Decisões Judiciais (EDRSR), um corpus judicial aberto contendo 99,5 milhões de decisões publicadas desde 2006. Os autores amostraram 2.000 decisões substantivas da partição de 2024, estratificadas em quatro jurisdições (civil, criminal, comercial, administrativa) e formas de sentença. O conjunto de dados inclui o texto completo da decisão (comprimento mediano: 12.060 caracteres) e metadados estruturados.

Tarefas de Avaliação

O UA-Legal-Bench compreende cinco tarefas de dificuldade crescente:

1. Classificação de Tipo de Caso (CTC): Classificar decisões em quatro categorias jurisdicionais (n=2.000).
2. Classificação de Forma de Sentença (JFC): Identificar o tipo de documento (decisão, resolução, sentença, despacho) com base na natureza processual (n=2.000).
3. Previsão de Resultado do Caso (COP): Prever a decisão judicial (6 classes) apenas a partir da seção de fatos, com a decisão mascarada (n=800).
4. Extração de Normas (NE): Extrair citações de normas jurídicas (por exemplo, números de artigos específicos) do texto (n=1.794).
5. Previsão de Categoria de Causa (CCP): Classificar o assunto jurídico em 22 macrocategorias (n=1.871).

Protocolo de Avaliação

O estudo avaliou 11 Modelos de Linguagem de Grande Porte (LLMs) variando de 3B a 675B parâmetros, pertencentes a cinco famílias (Mistral, Meta, NVIDIA, Amazon, Qwen), via AWS Bedrock.

• Condições: Os modelos foram testados sob prompts zero-shot e 3-shot.
• Métricas: A acurácia foi utilizada para tarefas balanceadas; o Macro-F1 foi priorizado para tarefas desbalanceadas (especificamente COP, onde a classe majoritária "concedida" compreende 61% dos dados) para evitar viés de classe majoritária.
• Volume: A avaliação envolveu 158.419 chamadas de API.

Principais Resultados

1. Gradiente de Dificuldade das Tarefas

As tarefas exibem um gradiente de dificuldade claro. A CTC está quase resolvida, com todos os modelos de ponta superando 96% de acurácia zero-shot. A JFC é moderadamente difícil (74–84% zero-shot), enquanto a COP é a mais desafiadora, com modelos de ponta alcançando apenas 23–41% de Macro-F1 zero-shot. A NE e a CCP situam-se no meio.

2. Efeitos Dependentes da Tarefa no Few-Shot

O impacto do prompting few-shot não é uniforme; varia drasticamente conforme a tarefa:

• JFC: O prompting few-shot melhora consistentemente o desempenho, com ganhos de até +38,6 pontos percentuais (pp) para um modelo de 12B (Nemotron Nano), quase igualando o desempenho de um modelo de 120B. Isso sugere que a JFC depende fortemente da aprendizagem de assinaturas de formato de documento.
• COP: Os efeitos são mistos. Embora alguns modelos melhorem, outros (por exemplo, Llama 3.3) degradam. Crucialmente, a acurácia é uma métrica enganosa aqui; o modelo com a maior acurácia de COP (62%) foi um preditor de classe majoritária com um Macro-F1 de apenas 23%. O modelo genuinamente melhor (Nova Pro) alcançou 44% de Macro-F1.
• CTC: Os efeitos few-shot são mínimos devido a um efeito de teto (acurácia zero-shot >96%).
• NE: O prompting few-shot tem efeitos negligenciáveis, sugerindo que a extração de normas depende de reconhecimento de padrões e não de raciocínio profundo.

3. Escalonamento e Famílias de Modelos

As leis de escalonamento para o raciocínio jurídico ucraniano são altamente dependentes da família:

• Família Mistral: Mostra escalonamento "plano". Um modelo de 8B (Ministral 8B) iguala o modelo de ponta de 675B na CTC e quase o iguala na COP, sugerindo que 8B parâmetros são suficientes para muitas tarefas jurídicas nesta família.
• Família Meta: Mostra escalonamento íngreme. O modelo de 8B (Llama 3.1) desempenha mal em comparação com seus pares de 70B e 400B, indicando que um limiar de parâmetros muito mais alto é necessário para competência nesta família.
• Família NVIDIA: Mostra escalonamento intermediário, com lacunas significativas entre modelos de 12B e 120B na COP, embora o prompting few-shot possa parcialmente preencher essa lacuna em tarefas baseadas em formato.

4. Sensibilidade da Métrica

O estudo destaca que o Macro-F1 é essencial para avaliações jurídicas com classes desbalanceadas. Confiar apenas na acurácia identificaria incorretamente um preditor de classe majoritária como o modelo de melhor desempenho.

Significado e Alegações

O artigo posiciona o UA-Legal-Bench como a primeira avaliação abrangente de raciocínio jurídico para uma jurisdição de script cirílico e direito civil. Suas principais contribuições e alegações são:

1. Preenchendo uma Lacuna Crítica: Aborda a exclusão de jurisdições cirílicas e sistemas de direito civil das avaliações existentes de PLN jurídico.
2. Revelando Armadilhas de Métricas: Demonstra que a acurácia é perigosamente enganosa em tarefas jurídicas desbalanceadas, defendendo métricas conscientes de classes, como o Macro-F1.
3. Prompting Dependente da Tarefa: Estabelece que o prompting few-shot não é uma solução universal; sua eficácia depende da razão entre "sinal de formato" e "custo de comprimento" (ineficiência de tokenização).
4. Nuance de Escalonamento: Desafia a suposição de que a IA jurídica requer universalmente modelos de escala de ponta, mostrando que modelos de 8B podem igualar o desempenho de ponta em tarefas de superfície (CTC, NE), mas que o limiar de parâmetros para raciocínio complexo varia dramaticamente entre famílias de modelos.
5. Disponibilidade de Recursos: Os autores disponibilizam todos os dados, prompts, previsões dos modelos e código de avaliação para facilitar pesquisas futuras em PLN jurídico multilíngue.

Os autores concluem que os padrões observados — especificamente a natureza enganosa da acurácia em tarefas desbalanceadas e a eficácia variável do prompting few-shot — são invisíveis em avaliações apenas em inglês e apenas baseadas em acurácia, sublinhando a necessidade de avaliações multilíngues com métricas apropriadas.