Resumo Técnico: Magis-Bench

Declaração do Problema

As avaliações existentes para IA jurídica concentram-se predominantemente em tarefas orientadas à advocacia, como a redação de argumentos jurídicos ou a prestação de consultoria legal. No entanto, um sistema jurídico bem-funcionante depende igualmente da capacidade de julgar esses argumentos — ponderar reivindicações concorrentes, aplicar doutrina aos fatos e proferir decisões fundamentadas e imparciais. Embora as avaliações atuais testem a escrita persuasiva, elas frequentemente falham em avaliar as competências específicas exigidas para o raciocínio de nível de magistrado, que demanda análise abrangente e resolução autoritativa fundamentada na lei. Há uma carência de benchmarks que avaliem Modelos de Linguagem de Grande Escala (LLMs) contra critérios oficiais de certificação utilizados para selecionar juízes humanos.

Metodologia

Construção do Conjunto de Dados (Magis-Bench)

Os autores construíram o Magis-Bench, um conjunto de dados derivado de recentes concursos públicos brasileiros para cargos judiciais (juízes substitutos). Esses concursos representam a segunda fase da seleção judicial, projetada para avaliar a capacidade dos candidatos de aplicar conhecimentos jurídicos em tarefas de redação sofisticadas.

• Escopo: O benchmark compreende 74 questões de oito concursos realizados entre 2023 e 2025 (abrangendo tribunais federais e estaduais).
• Tipos de Tarefa:
  • Análise Jurídica Discursiva (58 questões): Questões multi-turno que apresentam cenários factuais exigindo análise jurídica.
  • Redação de Sentenças (16 questões): Exercícios práticos exigindo a composição de sentenças judiciais civis (8) e criminais (8) completas, seguindo o direito processual brasileiro.
• Critérios de Avaliação: Cada questão é acompanhada por rubricas oficiais de avaliação produzidas pelas bancas examinadoras, especificando conceitos jurídicos esperados, etapas analíticas e elementos estruturais.

Protocolo de Avaliação

Os autores avaliaram 23 LLMs de última geração (incluindo modelos proprietários da OpenAI, Anthropic, Google, Maritaca AI e várias famílias de código aberto) utilizando uma metodologia de LLM como juiz.

• Juízes: Quatro modelos de fronteira independentes serviram como avaliadores: GPT-5.1, Gemini-2.5-Pro, Gemini-3-Pro-Preview e Claude-4.5-Opus.
• Processo de Pontuação: Para cada resposta, o juiz recebeu a questão original, a rubrica oficial e a saída gerada pelo modelo. Os juízes atribuíram uma pontuação de 0 a 10 com uma breve justificativa.
• Avaliação Cega: Os juízes foram cegos quanto à identidade do modelo candidato para mitigar vieses estilísticos.
• Verificações de Consistência: Para garantir robustez, os autores mediram o acordo entre juízes utilizando o W de Kendall (concordância geral) e o τ de Kendall (correlações de postos em pares). A temperatura foi definida como 0 para os juízes a fim de maximizar a reprodutibilidade.

Principais Contribuições

1. Conjunto de Dados Magis-Bench: Um benchmark de 74 tarefas jurídicas de nível de magistrado derivado de concursos reais de seleção judicial, completo com rubricas oficiais de avaliação.
2. Framework de Avaliação Multi-Juiz: Uma metodologia que emprega quatro modelos de fronteira independentes como juízes, demonstrando alto acordo inter-juiz e fornecendo um mecanismo robusto para avaliar escrita jurídica aberta em escala.
3. Linhas de Base de Desempenho Abrangentes: Uma avaliação sistemática de 23 LLMs, estabelecendo hierarquias de desempenho para tarefas de redação judicial e revelando as limitações atuais da IA neste domínio.

Resultados

Hierarquia de Desempenho

• Melhores Desempenhos: O Gemini-3-Pro-Preview da Google alcançou a maior pontuação média (6,97/10), seguido pelo Gemini-3-Flash-Preview (6,67) e pelo Claude-4.5-Opus (6,46).
• Dificuldade Geral: Mesmo os modelos de melhor desempenho pontuaram abaixo de 70% da pontuação máxima possível. Isso indica que o raciocínio e a redação jurídica de nível de magistrado permanecem um desafio significativo para os LLMs atuais.
• Dificuldade da Tarefa: Questões discursivas foram as mais fáceis (pontuação média 4,68), seguidas pela redação de sentenças criminais (4,39), com a redação de sentenças civis sendo a mais difícil (3,89).
• Níveis de Modelo: Emergiu uma hierarquia clara, com modelos de fronteira ocupando as cinco primeiras posições, modelos de nível médio (incluindo modelos aprimorados em raciocínio) nos ranks 6–14 e modelos de código aberto menores (principalmente da família Qwen) no nível inferior.

Acordo Inter-Juiz

• Alto Consenso: Os quatro modelos juízes exibiram um acordo notavelmente alto, com um W de Kendall de 0,984. As correlações em pares ($\tau$) variaram de 0,897 a 0,945, todas estatisticamente significativas ($p < 10^{-13}$).
• Calibração: Quando testados contra respostas "oráculo" (geradas por um modelo com acesso às rubricas), todos os juízes atribuíram pontuações quase perfeitas (média 9,957), confirmando sua capacidade de distinguir saídas de alta qualidade das respostas típicas de modelos.
• Robustez: A análise de exclusão de um único juiz mostrou que remover qualquer juiz individual não alterou significativamente a classificação geral (nenhum modelo mudou mais de duas posições).

Significado e Afirmações

O artigo afirma que o Magis-Bench aborda uma lacuna crítica na avaliação de IA jurídica ao deslocar o foco da advocacia para o raciocínio adjudicativo. Os autores enfatizam que, embora os LLMs sejam cada vez mais considerados para pesquisa jurídica e suporte à decisão, sua capacidade de funcionar como juízes imparciais permanece não comprovada.

O estudo demonstra que:

1. LLM como juiz é viável: O alto acordo inter-juiz sugere que a avaliação automatizada pode capturar confiavelmente diferenças genuínas de qualidade na escrita jurídica sem intervenção humana para cada item.
2. Modelos atuais são insuficientes para funções judiciais: O fato de os principais modelos pontuarem abaixo de 70% destaca que o raciocínio de nível judicial é uma capacidade distinta e difícil, ainda não dominada pelos LLMs de última geração.
3. Padronização é possível: O uso de rubricas oficiais permite uma avaliação sistemática e fundamentada em critérios, indo além de preferências subjetivas.

Os autores concluem que, embora o benchmark forneça uma maneira rigorosa de estudar a redação de nível de magistrado, ele não defende a implantação imediata de LLMs em adjudicação do mundo real. Em vez disso, serve como uma ferramenta de diagnóstico para acompanhar o progresso nas capacidades de IA jurídica.