Resumo Técnico: GradeLegal – Avaliação Automatizada de Casos Jurídicos Alemães

Declaração do Problema

A avaliação de exames jurídicos alemães é um processo de alto risco e intensivo em recursos, caracterizado por escassez de avaliadores qualificados e volumes crescentes de submissões de estudantes (aproximadamente 115.000 estudantes anualmente). A tarefa envolve avaliar soluções de casos manuscritos e de formato livre (10–30 páginas) em uma escala ordinal de 18 pontos. A complexidade decorre da necessidade de avaliar múltiplos caminhos de raciocínio juridicamente coerentes, consistência interna e solidez argumentativa, em vez de apenas a correção superficial. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial no raciocínio jurídico, sua aplicabilidade à correção automatizada de redações (AES) no domínio jurídico alemão permanece pouco explorada. Estudos existentes relatam resultados mistos, frequentemente mostrando concordância próxima de zero em direito penal, e carecem de comparações sistemáticas entre famílias de modelos, estratégias de prompt e subdomínios jurídicos.

Metodologia

Os autores conduziram uma avaliação sistemática de 27 LLMs de última geração (tanto proprietários quanto de código aberto, incluindo variantes com e sem capacidade de raciocínio) em um conjunto de dados não público composto por 87 soluções de casos de estudantes: 71 de um exame de direito penal realizado em casa e 16 de um exame simulado de direito público com tempo limitado.

Desenho Experimental

O estudo enquadrou a correção como uma tarefa zero-shot, onde os modelos atribuem uma nota (0–18) com base nos fatos do caso e nas soluções dos estudantes. A variável central foi a estratégia de prompt, que adicionou incrementalmente informações específicas da tarefa:

1. Agnóstico à Tarefa: Instruções mínimas para corrigir.
2. Instr.+Rubrica: Instruções mais uma rubrica de avaliação (mapeando elementos jurídicos para pontos).
3. Instr.+Solução: Instruções mais uma solução modelo escrita pelo instrutor.
4. Instr.+Rubrica+Solução: Contexto completo incluindo instruções, rubrica e solução modelo.

Métricas de Avaliação

• Métrica Primária: Kappa Ponderado Quadrático (QWK) para medir a concordância entre avaliadores com as notas de especialistas humanos, penalizando mais severamente desvios maiores de pontuação.
• Métrica Secundária: Correlação de Pearson para avaliar a relação linear.
• Abordagem de Ensemble: Os autores testaram se a combinação de múltiplos modelos de código aberto (usando agregação por Mínimo e Mediana) poderia superar o melhor membro individual ou os modelos de código fechado.

Principais Contribuições

1. Benchmark Abrangente: A primeira avaliação sistemática de 27 LLMs (com e sem capacidade de raciocínio, de código aberto e fechado) na correção de exames jurídicos alemães, cobrindo tanto direito penal quanto direito público.
2. Análise de Estratégia de Prompt: Um benchmark controlado de estratégias de prompt em um corpus não público para mitigar preocupações com contaminação de dados, derivando orientações práticas para o uso de rubricas e soluções modelo.
3. Validação de Desempenho: Demonstração de que LLMs orientados ao raciocínio (especificamente o GPT-5) podem aproximar a correção de especialistas em direito público (QWK 0,911) quando fornecidos com uma rubrica e uma solução modelo, igualando a confiabilidade interavaliadores humana. Em direito penal, foi alcançada uma concordância substancial de 0,599, superando relatórios anteriores.
4. Eficácia de Ensemble: Evidência de que ensembles de modelos de código aberto podem superar seus melhores membros individuais e reduzir a lacuna de desempenho em relação aos modelos de código aberto de ponta, oferecendo uma alternativa que preserva a privacidade.

Resultados

Desempenho do Modelo

• Raciocínio vs. Sem Raciocínio: Modelos orientados ao raciocínio superaram consistentemente os modelos sem capacidade de raciocínio. O GPT-5 alcançou a maior concordância em ambos os domínios (0,911 em direito público, 0,599 em direito penal) sob o prompt de contexto completo.
• Disparidade de Domínio: O desempenho foi significativamente maior em direito público do que em direito penal em todos os modelos. Os autores atribuem isso à maior complexidade e natureza aberta do conjunto de dados de direito penal (realizado em casa, cadeias de raciocínio mais longas) em comparação com o exame de direito público com tempo limitado e restrito.
• Viabilidade de Código Aberto: Embora modelos de código aberto geralmente ficassem atrás dos melhores modelos de código fechado, modelos específicos como Mistral-Large-3-675B e Qwen3-Next-80B-Th mostraram desempenho competitivo. Ensembles de modelos de código aberto (por exemplo, Open-L e Open-S) superaram com sucesso seus melhores membros individuais.

Impacto do Prompt

• Falha Agnóstica à Tarefa: Sem informações específicas da tarefa, os modelos performaram em ou perto dos níveis de acaso (QWK ~0 ou negativo), indicando que a correção "pronta para uso" é insuficiente.
• Importância da Rubrica: A rubrica de avaliação provou ser mais crítica do que a solução modelo isoladamente. Ela forneceu um mapeamento explícito da qualidade jurídica para a escala de 18 pontos, que os modelos lutaram para inferir apenas a partir de soluções narrativas.
• Sinergia: O desempenho mais alto foi alcançado quando tanto a rubrica quanto a solução modelo foram fornecidas, sugerindo que elas oferecem sinais complementares (alocação explícita de pontos versus pistas estruturais holísticas).

Resultados de Ensemble

• Ensembles usando agregação por Mediana (para modelos mais fortes) e agregação por Mínimo (para modelos moderados) melhoraram consistentemente a concordância em relação ao melhor membro individual.
• Ensembles reduziram a lacuna para os modelos de código fechado mais fortes, particularmente no cenário de contexto completo, oferecendo uma alternativa viável para implantações sensíveis à privacidade.

Significado e Alegações

O artigo afirma que a correção baseada em LLMs pode servir como uma ferramenta formativa escalável e de baixo risco para autoavaliação e feedback de prática na educação jurídica alemã, desde que:

1. Modelos orientados ao raciocínio sejam selecionados.
2. Informações estruturadas da tarefa (especificamente uma rubrica e uma solução modelo) sejam fornecidas.
3. Validação específica do domínio seja realizada, pois o desempenho varia significativamente entre subdomínios jurídicos (penal vs. público).

Os autores afirmam explicitamente que esses resultados não devem ser usados para decisões somativas (correção de exames finais) sem validação adicional. O estudo destaca que, embora os LLMs possam aproximar o julgamento de especialistas, a complexidade da correção em direito penal permanece um desafio significativo em comparação com o direito público. O trabalho estabelece que o design eficaz de prompts e a seleção de modelos são pré-requisitos para a correção automatizada confiável neste domínio.