💬 NLP

LEXam: Benchmarking Legal Reasoning on 340 Law Exams

O artigo apresenta o LEXam, um novo benchmark composto por 7.537 questões de 340 exames jurídicos em inglês e alemão, que avalia e demonstra as limitações atuais dos grandes modelos de linguagem no raciocínio legal estruturado de longo prazo, oferecendo ao mesmo tempo uma metodologia escalável e validada por especialistas para avaliar a qualidade do raciocínio jurídico além da simples precisão.

Autores originais: Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexa

Publicado 2026-04-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexander Stremitzer, Christoph Engel, Elliott Ash, Joel Niklaus

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ser um advogado. Você não quer apenas que ele saiba decorar leis de cor, mas que ele saiba pensar como um jurista: analisar um caso, encontrar o problema certo, aplicar a lei correta e explicar o raciocínio passo a passo.

Até agora, os testes para esses robôs (chamados de Grandes Modelos de Linguagem ou LLMs) eram como perguntas de múltipla escolha de matemática: ou a resposta estava certa, ou estava errada. Mas o direito é mais como um labirinto complexo, onde o caminho que você percorre é tão importante quanto o destino.

É aqui que entra o LEXAM, o novo "exame de admissão" para robôs jurídicos, apresentado neste artigo.

O Que é o LEXAM?

Pense no LEXAM como uma gigantesca caixa de provas reais de faculdades de direito suíças. Os autores pegaram 340 exames antigos, cobrindo 116 disciplinas diferentes (desde direito privado até internacional), e transformaram tudo em um banco de dados com mais de 7.500 perguntas.

O diferencial é que essas perguntas vêm em dois formatos:

Perguntas Abertas (O "Ensaio"): Onde o robô precisa escrever uma resposta longa, explicando seu raciocínio, como um estudante faria em uma prova final.
Múltipla Escolha (O "Quiz"): Onde o robô precisa escolher a opção correta entre várias distrações.

O Grande Desafio: O Robô vs. O Advogado

O artigo descobriu algo interessante: os robôs mais inteligentes do mundo hoje (como o GPT-5, Claude e outros) são ótimos em matemática e ciências exatas, mas travam quando precisam raciocinar sobre leis complexas.

A Analogia do "Decoreba": Imagine que você pediu para um aluno estudar para uma prova de história apenas decorando datas. Ele passa na prova de múltipla escolha. Mas, se você pedir para ele escrever um ensaio explicando por que uma guerra começou, ele trava porque não entende a lógica por trás dos fatos. É isso que acontece com os robôs no LEXAM: eles conseguem adivinhar respostas simples, mas falham miseravelmente quando precisam construir um argumento jurídico estruturado.
O Efeito "Distração": Quando os pesquisadores aumentaram o número de opções nas perguntas de múltipla escolha (de 4 para 32), a performance dos robôs despencou. Era como se eles ficassem tão confusos com tantas opções que começavam a chutar, mesmo sendo modelos superinteligentes.

Como eles corrigiram os robôs? (O "Professor Virtual")

A parte mais genial do artigo é como eles avaliaram as respostas. Como você corrige um texto de direito escrito por um robô? Não adianta usar um corretor ortográfico simples, porque o texto pode estar gramaticalmente perfeito, mas juridicamente errado.

Os autores criaram um "Júri de Robôs":

Eles usaram uma combinação de vários modelos de IA diferentes (um time de "juízes virtuais") para avaliar as respostas.
Para garantir que esses juízes não estivessem "viciados" ou dando notas altas demais para amigos, eles validaram o sistema com advogados humanos reais (doutores em direito).
O Resultado: O "Júri de Robôs" funcionou tão bem quanto os advogados humanos, conseguindo detectar erros sutis, como citar uma lei que não existe ou aplicar a regra errada para o caso.

O Que Aprendemos?

Robôs ainda não são advogados: Eles são ótimos em buscar informações, mas péssimos em raciocínio jurídico profundo e estruturado. Eles tendem a alucinar (inventar leis) e falhar em casos que exigem múltiplos passos de lógica.
Idioma importa: Os robôs se saíram melhor em inglês do que em alemão, mostrando que ainda há um viés cultural e linguístico forte.
A importância do processo: Não basta chegar à resposta certa; o como você chegou lá é crucial. O LEXAM força os robôs a mostrarem o "trabalho" deles, não apenas a resposta final.

Conclusão

O LEXAM é como um espelho para a Inteligência Artificial jurídica. Ele mostra que, embora os robôs estejam ficando mais espertos, eles ainda não têm a "intuição" e a capacidade de raciocínio complexo necessários para substituir um advogado humano em casos reais.

Para o futuro, os autores prometem expandir esse teste para incluir mais países e leis de diferentes culturas, para ver se os robôs conseguem aprender a "pensar" como um advogado em qualquer lugar do mundo. Até lá, a recomendação é clara: não confie cegamente em um robô para decidir seu caso jurídico.

Resumo Técnico: LEXAM

1. Problema e Motivação

O raciocínio legal de longo prazo (long-form legal reasoning) permanece um dos maiores desafios para os Grandes Modelos de Linguagem (LLMs), mesmo com os avanços recentes em scaling no tempo de teste. Embora benchmarks existentes em domínios STEM (como matemática e física) permitam validação baseada em resultados finais (ex: verificar uma resposta numérica), o domínio legal é inerentemente complexo, de alto risco e depende de processos de raciocínio estruturado, interpretação de precedentes e aplicação de estatutos a cenários mal definidos.

Os principais problemas identificados são:

Foco excessivo em resultados finais: Benchmarks anteriores avaliam apenas a correção da resposta final, ignorando a cadeia de raciocínio intermediária necessária para uma conclusão juridicamente sólida.
Falta de dados multilíngues e diversificados: A maioria dos benchmarks foca em jurisdições específicas (EUA ou China) e em inglês, não capturando as nuances entre sistemas de Common Law e Civil Law, nem a diversidade linguística.
Risco de alucinação e viés: A aplicação de LLMs em tarefas legais sem avaliação rigorosa do processo de raciocínio pode levar a consequências reais graves, incluindo citações de leis fictícias ou interpretações errôneas.

2. Metodologia e Construção do Dataset

O artigo apresenta o LEXAM, um novo benchmark abrangente derivado de exames reais de faculdades de direito.

Origem dos Dados: O dataset foi construído a partir de 340 exames de direito de 116 cursos lecionados na Faculdade de Direito da Universidade de Zurique (Suíça) entre 2016 e 2023.
Escala e Composição:
- Total de 7.537 perguntas de exames.
- 2.841 perguntas abertas (Open-ended): Requerem respostas dissertativas longas, acompanhadas de respostas de referência e orientações normativas explícitas (ex: identificação de questões, recall de regras, aplicação).
- 4.696 perguntas de múltipla escolha (MCQs): Com números variados de opções (de 4 a 32), incluindo questões verdadeiro/falso convertidas para o formato MCQ.
Diversidade:
- Idiomas: Inglês e Alemão (itens independentes, não traduções paralelas, para evitar viés de tradução).
- Domínios Jurídicos: Direito Privado, Público, Penal e Interdisciplinar.
- Jurisdições: Suíça, Internacional e Genérica.
Metadados Estruturados: Cada questão possui metadados detalhados sobre área jurídica, jurisdição, ano e complexidade, permitindo análises granulares.

3. Avaliação e Métricas (LLM-as-a-Judge)

Um dos pilares do trabalho é a criação de um sistema de avaliação robusto para questões abertas, superando métricas superficiais como BLEU ou ROUGE.

Paradigma Ensemble LLM-as-a-Judge: Os autores desenvolveram um sistema de julgamento baseado em um ensemble (conjunto) de modelos.
- Modelos do Jogo: Uma combinação de modelos proprietários (GPT-4o) e open-source (Qwen3-32B, DeepSeek-V3).
- Mecanismo de Consenso: Utiliza-se a pontuação mínima (minimum-score ensemble) entre os modelos do ensemble. Isso mitiga o viés de auto-referência e viés familiar (quando um modelo julga favoravelmente sua própria família de modelos).
Validação Humana Rigorosa:
- Três especialistas jurídicos (com doutorado ou em andamento) avaliaram 50 pares de perguntas-respostas.
- Teste de Anotador Alternativo (Alt-test): O ensemble de LLMs foi testado estatisticamente contra os especialistas humanos. O resultado mostrou que o ensemble superou consistentemente os juízes humanos individuais, atingindo uma taxa de vitória ( $\omega$ ) de 1.00, validando-o como um substituto estatisticamente justificado para avaliação humana em larga escala.
Prompt de Julgamento: Os prompts foram refinados por especialistas jurídicos para penalizar erros específicos do domínio, como citações de estatutos incorretos ou fabricados, e para seguir a estrutura de raciocínio padrão das faculdades de direito suíças.

4. Resultados Principais

A avaliação de 35 LLMs de última geração (SOTA) no LEXAM revelou desafios significativos:

Desempenho Geral:
- Modelos de raciocínio (ex: GPT-5, Gemini-2.5-Pro, Claude-3.7/4.5-Sonnet) superaram modelos convencionais, mas ainda enfrentam dificuldades em questões abertas complexas.
- O GPT-5 obteve a melhor pontuação média em questões abertas (70.20), seguido pelo Gemini-2.5-Pro (67.40).
- Modelos pequenos e antigos geralmente apresentaram desempenho baixo, embora alguns modelos menores com forte foco multilíngue (como Gemma-3) tenham surpreendido positivamente.
Desafios Específicos:
- Raciocínio Multietapa: Os modelos lutam para manter a coerência em cadeias de raciocínio longas e estruturadas.
- Sensibilidade ao Formato: Em questões de múltipla escolha, a precisão cai drasticamente à medida que o número de opções (distratores) aumenta (ex: de 4 para 32 opções). Modelos como o Gemini-2.5-Pro caíram de ~68% para ~35% de precisão ao aumentar as opções.
- Viés Linguístico: Todos os grupos de modelos tiveram desempenho significativamente pior em questões em alemão comparado ao inglês.
- Jurisdição e Área: Modelos performaram melhor em direito internacional e interdisciplinar, e pior em direito penal e público suíço específico.
Análise de Falhas: As falhas mais comuns incluíam raciocínio jurídico defeituoso, citação de leis inexistentes (alucinação) e falha em identificar a questão legal correta (ex: responder sobre a lei aplicável em vez da validade do acordo).

5. Contribuições Chave

Novo Benchmark (LEXAM): O primeiro dataset de raciocínio legal de longo prazo derivado de exames universitários reais, cobrindo 78 subdomínios jurídicos, com suporte a questões abertas e múltipla escolha em dois idiomas.
Metodologia de Avaliação Escalável: Demonstração de que um ensemble de LLMs, validado por especialistas humanos via Alt-test, pode substituir a avaliação humana manual para questões abertas complexas, oferecendo uma métrica de qualidade de raciocínio além da simples precisão.
Análise de Limitações SOTA: Evidência empírica de que, apesar dos avanços, os modelos atuais ainda não dominam o raciocínio jurídico estruturado, especialmente em cenários multilíngues e com alta complexidade de distratores.
Recurso para Pesquisa e Educação: Disponibilização do dataset completo e do pipeline de avaliação para a comunidade de NLP e educadores jurídicos.

6. Significado e Impacto

O LEXAM estabelece um novo padrão para a avaliação de IA no domínio legal. Ao focar no processo de raciocínio e não apenas no resultado, o benchmark expõe lacunas críticas na capacidade dos LLMs de operar em ambientes de alto risco onde a precisão e a fundamentação são essenciais. A validação rigorosa do sistema de julgamento automático oferece um caminho viável para avaliar modelos futuros de forma escalável, sem depender exclusivamente de recursos humanos escassos e caros. O trabalho alerta que, embora os modelos estejam evoluindo, a confiança em sistemas automatizados para decisões legais reais ainda exige supervisão humana qualificada devido às falhas persistentes em raciocínio estruturado e alucinações.