Resumo Técnico: BenGER – Avaliação de Sistemas LLM em Raciocínio Jurídico Baseado em Subsunção no Direito Alemão

Declaração do Problema

A avaliação de Modelos de Linguagem de Grande Escala (LLMs) em raciocínio jurídico é inerentemente difícil devido à natureza "ruidosa" do julgamento de especialistas humanos. No ensino e na prática jurídica alemães, a atribuição de notas exibe variabilidade substancial mesmo entre especialistas; respostas idênticas podem receber pontuações marcadamente diferentes dependendo do avaliador. Isso desafia a criação de benchmarks confiáveis, pois um único rótulo de "verdade fundamental" é frequentemente uma simplificação excessiva de uma distribuição de avaliações plausíveis de especialistas.

Além disso, os benchmarks existentes de PLN jurídico focam predominantemente em tarefas de classificação, respostas a perguntas de formato curto ou jurisdições de direito comum (por exemplo, EUA, Reino Unido) que dependem de raciocínio baseado em precedentes. Eles falham amplamente em abordar o raciocínio baseado em subsunção, o paradigma central da doutrina do direito civil alemão. Este paradigma requer um processo de geração estruturado em quatro etapas (Obersatz–Definição–Subsunção–Resultado), onde o sistema deve ancorar fatos específicos sob normas estatutárias. Os benchmarks atuais não testam adequadamente essa capacidade de geração estruturada ou avaliam os sistemas contra as convenções específicas de atribuição de notas baseadas em rubricas usadas nos exames estaduais alemães.

Metodologia

O Conjunto de Dados BenGER

Os autores introduzem o BenGER (Benchmark para Direito Alemão), um conjunto de dados composto por três componentes distintos, totalizando mais de 1.100 tarefas:

1. Corpus ZJS: 581 tarefas de casos jurídicos em texto livre, estilo exame, publicamente disponíveis, da Zeitschrift für das Juristische Studium, abrangendo direito civil, penal e público em vários níveis educacionais.
2. Corpus Benchathon: 15 tarefas de estilo exame de dificuldade intermediária recém-coletadas. Crucialmente, este subconjunto inclui 220 soluções humanas (65 tradicionais, sem auxílio; 155 co-criadas humano–IA) geradas em um ambiente controlado para servir como baselines humanas.
3. Corpus de Princípios Doutrinários: 531 itens de raciocínio de formato curto (pares pergunta–resposta) que investigam princípios jurídicos centrais e jurisprudência recente.

Estrutura de Avaliação

O estudo avalia 12 sistemas LLM contemporâneos, categorizados como modelos de referência fechados de ponta, orientados à eficiência e modelos de referência de pesos abertos. A avaliação emprega uma metodologia híbrida para abordar a variabilidade da atribuição de notas jurídicas:

• LLM como Juiz: Um juiz LLM especializado (principalmente GPT-5-mini) é alinhado com as rubricas de atribuição de notas jurídicas alemãs. Ele avalia soluções em 10 dimensões: correção do resultado, identificação de questões, fundamentação jurídica, conhecimento doutrinário, qualidade da subsunção, profundidade do problema, estrutura metodológica, organização, terminologia e correção formal. As pontuações são agregadas em uma pontuação bruta de 0–100 e mapeadas para a escala de pontos de nota alemã de 0–18.
• Validação Humana: O juiz LLM é cruzado com um protocolo humano de múltiplos avaliadores no subconjunto Benchathon. Cada solução selecionada recebe três revisões cegas independentes e uma revisão do criador informada pelo autor.
• Análise Estatística: O estudo trata a avaliação como uma distribuição sobre avaliações plausíveis de especialistas, em vez de um rótulo determinístico. Utiliza métricas como correlação de Pearson/Spearman, $\kappa$ de Cohen, Coeficientes de Correlação Intraclasses (ICC) e o teste alternativo de anotador de Calderon para determinar se a substituição de um juiz LLM por um revisor humano degrada o acordo com o conjunto humano completo.

Configuração Experimental

• Geração: Todos os sistemas foram instruídos com instruções idênticas em língua alemã, espelhando a estrutura do Gutachtenstil (estilo de exame).
• Métricas: A avaliação inclui métricas de superfície automáticas (BLEU, ROUGE, METEOR, BERTScore, etc.) e as pontuações do juiz LLM alinhado à rubrica.
• Condições: As baselines humanas foram testadas sob condições "tradicionais" (sem auxílio) e de "co-criação" (assistidas por IA) para medir o impacto das ferramentas de IA no desempenho humano.

Principais Resultados

1. Desempenho do Sistema (RQ1 & RQ2)

• Domínio dos Modelos Fechados de Ponta: Sistemas fechados de ponta (OpenAI, Anthropic, Google) lideram o ranking em todos os três corpora. No subconjunto Benchathon, modelos de primeira linha (por exemplo, Sonnet-4.6, Opus-4.7, GPT-5.4) alcançam pontuações brutas na faixa baixa a média dos 80, com taxas de aprovação próximas a 100%.
• Lacuna dos Pesos Abertos: Sistemas fortes de pesos abertos (DeepSeek-V4-Pro, Qwen3-235B) ficam atrás dos modelos fechados de topo em aproximadamente 9–20 pontos brutos no Benchathon, embora essa lacuna diminua no corpus ZJS.
• Níveis do Sistema: A lacuna de desempenho entre sistemas de ponta e de pesos abertos é significativa, mas diminui no nível intermediário. Sistemas fechados de nível de eficiência e modelos de pesos abertos formam uma faixa intermediária sobreposta.

2. Validade da Avaliação (RQ3)

• Métricas Léxicas vs. Semânticas: Contrariamente às expectativas para texto de formato longo, métricas de superfície léxicas (METEOR, ROUGE, BLEU) correlacionam-se mais fortemente com o juiz LLM alinhado à rubrica do que métricas de incorporação semântica (BERTScore, Sentence-BERT). Isso é atribuído à natureza altamente baseada em modelos da escrita jurídica alemã, onde respostas de alta qualidade compartilham material substancial de n-gramas sobre citações estatutárias e estruturação estrutural.
• Limitações das Métricas: Confiar apenas em métricas léxicas classificaria erroneamente os sistemas na fronteira entre ponta e nível intermediário em comparação com o juiz alinhado à rubrica.

3. Co-criação Humano–IA (RQ4)

• Impulso de Desempenho: A co-criação humano–IA supera substancialmente o trabalho humano sem auxílio. A pontuação média do juiz para soluções co-criadas é 82,2 (bruta), comparada a 62,3 para soluções tradicionais sem auxílio — uma diferença de +19,9 pontos brutos.
• Benchmarking: O desempenho médio das soluções humanas co-criadas cai dentro do intervalo de confiança de 95% do nível de LLM de ponta fechado, superando significativamente humanos sem auxílio e modelos de pesos abertos mais fracos.

4. Confiabilidade da Atribuição de Notas (RQ5)

• Validade do Juiz LLM: O desvio do juiz LLM em relação à média humana é comparável à variabilidade interavaliador entre avaliadores humanos.
  • Correlação: O juiz concorda com a média dos revisores humanos cegos em Pearson $r=0,78$.
  • Teste de Calderon: Substituir o juiz LLM por um revisor humano em um conjunto degrada o acordo com a referência humana completa não mais do que remover esse revisor humano por completo ($r=0,96$ para ambos os conjuntos: substituição por juiz e exclusão de um humano).
• Estabilidade: O juiz LLM é mais autoconsistente entre execuções repetidas (desvio padrão 2,51) do que os avaliadores humanos são entre si (dispersão de 23,9 pontos brutos).
• Acordo Dimensional: O acordo é mais alto em dimensões estruturadas (correção do resultado, identificação de questões) e mais baixo em dimensões baseadas em apresentação (organização, terminologia).

Significado e Alegações

O artigo alega três contribuições principais:

1. Um Novo Benchmark: O BenGER fornece o primeiro benchmark abrangente para raciocínio jurídico baseado em subsunção no direito alemão, abordando uma lacuna nos recursos existentes de PLN jurídico que favorecem tarefas de direito comum ou classificação.
2. Avaliação Empírica: Oferece uma avaliação rigorosa de 12 sistemas LLM contra baselines humanas, revelando que, embora modelos fechados de ponta liderem, a co-criação humano–IA produz o desempenho mais alto, superando especialistas humanos sem auxílio.
3. Inovação Metodológica: O estudo valida uma estrutura de Juiz LLM alinhado à rubrica que leva em conta a variabilidade inerente da atribuição de notas jurídicas. Ao demonstrar que um juiz LLM pode substituir um revisor humano sem degradar a confiabilidade do conjunto de avaliação (conforme o teste de Calderon), o artigo apoia o uso de LLMs como avaliadores escaláveis ao lado de humanos, em vez de como verdade fundamental autônoma.

Os autores enfatizam que o benchmark destina-se a avaliação em escala de pesquisa e ainda não foi validado para uso como instrumento de avaliação graduada no ensino jurídico ou para implantação na prática jurídica. O trabalho destaca as demandas estruturais do raciocínio jurídico alemão e o potencial da IA para ampliar, em vez de substituir, a análise jurídica humana quando usada em capacidade co-criativa.