Resumo Técnico: LP-Eval: Rubrica e Conjunto de Dados para Medir a Qualidade da Geração de Proposições Jurídicas

Declaração do Problema

A geração de proposições jurídicas — a tarefa de extrair enunciados normativos (regras, princípios, condições e consequências) de textos jurídicos — é um elemento fundamental do raciocínio jurídico e da doutrina jurídica. Apesar de sua centralidade para a prática jurídica e para a organização do conhecimento jurídico, essa tarefa permanece pouco examinada no Processamento de Linguagem Natural Jurídico (Legal NLP). A pesquisa existente focou-se amplamente na recuperação de precedentes, na previsão de julgamentos ou no resumo de casos, tratando frequentemente as normas jurídicas de forma implícita em vez de explícita.

Uma barreira significativa ao progresso nesse domínio é a falta de metodologias de avaliação robustas. A geração de proposições jurídicas é uma tarefa aberta onde múltiplas saídas válidas podem existir, e pequenas diferenças de formulação podem alterar o significado jurídico. Consequentemente, métricas padrão de n-gramas como BLEU e ROUGE são inadequadas, pois medem sobreposição superficial em vez de fidelidade jurídica. Além disso, embora os Modelos de Linguagem de Grande Porte (LLMs) mostrem promessa como avaliadores ("LLM como juiz"), eles são vulneráveis a alucinações e frequentemente carecem da nuance necessária para distinguir entre abstrações jurídicas de alta e baixa qualidade sem orientação estruturada.

Metodologia

A Rubrica LP-Eval

Para abordar a lacuna de avaliação, os autores introduzem a LP-Eval, uma rubrica de avaliação em três etapas co-desenhada com especialistas jurídicos. A rubrica decompõe a qualidade de uma proposição jurídica (PJ) gerada em duas categorias principais:

1. Validade Formal (Componentes Obrigatórios): Uma PJ é considerada válida apenas se contiver três elementos estruturais específicos:

   • Posicionamento: A posição normativa (por exemplo, "impõe um dever", "proíbe").
   • Objeto: A entidade ou direito sendo regulado.
   • Especificação: As condições, o escopo ou as consequências da regra.
   • Nota: Se algum componente estiver ausente, a proposição é classificada como INVÁLIDA.

2. Dimensões de Qualidade (Pontuação): Proposições válidas são pontuadas em uma escala Likert de 1 a 3 em cinco dimensões:

   • Independência da Fonte: O grau em que a proposição é abstraída de fatos específicos do caso.
   • Independência dos Fatos: Similar à independência da fonte, focando na remoção de especificidades factuais.
   • Concisão: Brevidade e ausência de redundância.
   • Generalidade: A aplicabilidade da regra além do caso imediato.
   • Fidelidade: Fiel ao texto fonte autoritativo.

Construção do Conjunto de Dados

Os autores lançaram um conjunto de dados compreendendo 100 proposições jurídicas geradas por LLMs derivadas de 50 parágrafos amostrados de 10 decisões do Tribunal de Justiça da União Europeia (TJUE).

• Estratégia de Amostragem: Para testar a memorização de dados de treinamento, o conjunto de dados inclui uma mistura de casos bem estabelecidos (altamente citados, mais antigos) e casos recentes.
• Geração: Três modelos foram utilizados para gerar proposições: GPT-OSS (120B parâmetros), OLMo-3-7B-Instruct e Saul-7B-Instruct (especializado em direito).
• Anotação: Dois especialistas jurídicos (um pesquisador com doutorado e um estudante de direito do último ano) anotaram as saídas do GPT-OSS e do OLMo utilizando a rubrica LP-Eval. A concordância entre anotadores foi alta (AC1 de Gwet = 0,96), validando a clareza da rubrica.

Desenho Experimental

O estudo investiga duas tarefas:

1. LLM como Gerador: Avaliar a qualidade das proposições geradas por LLMs em comparação com anotações de especialistas.
2. LLM como Avaliador: Avaliar se os LLMs podem replicar julgamentos de especialistas. Isso foi testado em dois modos:
   • Orientado por Rubrica: O LLM segue o protocolo passo a passo da LP-Eval (verificando componentes e, em seguida, pontuando dimensões).
   • Pontuação Direta: O LLM fornece apenas uma pontuação geral sem etapas intermediárias.

Principais Resultados

1. Qualidade de Geração

• Validade Formal: Os LLMs demonstraram forte capacidade na geração de proposições estruturalmente válidas. 95 das 100 PJs geradas foram classificadas como VÁLIDAS. O principal modo de falha foi a omissão do componente "Objeto" (uma declaração normativa), que também provou ser o componente mais difícil para os anotadores humanos concordarem.
• Pontuações de Qualidade: Os especialistas atribuíram médias altas para Fidelidade (2,95/3) e Independência dos Fatos (2,96/3), indicando que os modelos abstraíram com sucesso de fatos específicos enquanto permaneciam fiéis ao texto. Independência da Fonte (2,31/3) e Concisão (2,48/3) receberam pontuações ligeiramente mais baixas, sugerindo redundância ocasional ou referência explícita à fonte.
• Efeito de Proeminência do Caso: Foi encontrada uma diferença estatisticamente significativa entre proposições derivadas de casos bem estabelecidos versus casos recentes. As proposições de casos bem estabelecidos foram classificadas significativamente mais altas em Concisão ($p=0,02$), Independência da Fonte ($p<10^{-5}$) e Qualidade Geral ($p<0,001$). Isso sugere que os LLMs têm melhor desempenho em casos com discurso jurídico mais estabelecido, talvez mais memorizado.

2. Desempenho de Avaliação

• Alinhamento com a Rubrica: Ao utilizar a rubrica LP-Eval, o GPT-OSS alcançou alta concordância com especialistas humanos (AC1 = 0,91–0,93), comparável à concordância entre especialistas (0,94).
• Importância da Estrutura: Remover as etapas da rubrica e solicitar apenas uma pontuação geral reduziu a concordância para 0,85, demonstrando que a orientação estruturada é crítica para avaliadores LLM.
• Limites de Sensibilidade: Embora os LLMs orientados por rubrica tenham se alinhado bem com os especialistas nas pontuações gerais, eles falharam em detectar as diferenças significativas de qualidade entre casos bem estabelecidos e recentes que os especialistas humanos identificaram. Isso indica que, embora os LLMs possam imitar a pontuação de especialistas, eles carecem da sensibilidade para capturar distinções qualitativas mais finas relacionadas à proeminência do caso.

Significado e Contribuições

O artigo faz três contribuições principais para o campo do Legal NLP:

1. Rubrica LP-Eval: Introduz o primeiro quadro de avaliação estruturado e desenhado por especialistas especificamente para a geração de proposições jurídicas, indo além de métricas de nível superficial para avaliar validade formal e dimensões de qualidade substantiva.
2. Conjunto de Dados LP-Eval: Lança um conjunto de dados curado de 100 proposições jurídicas anotadas por especialistas provenientes de decisões do TJUE, fornecendo um benchmark para pesquisas futuras em raciocínio e geração jurídica.
3. Insights Empíricos: O estudo fornece a primeira evidência sistemática de que:
   • LLMs podem gerar proposições jurídicas de alta qualidade e formalmente válidas.
   • A qualidade da geração está correlacionada com a proeminência e a idade do caso de origem, provavelmente devido a efeitos dos dados de treinamento.
   • A avaliação orientada por rubrica por LLMs é uma alternativa viável à pontuação humana para alinhamento geral, mas atualmente carece da sensibilidade para detectar variações sutis na abstração jurídica percebidas por especialistas humanos.

Os autores concluem que, embora os LLMs ofereçam promessa para automatizar a geração e avaliação de proposições jurídicas, os modelos atuais permanecem insuficientemente sensíveis às distinções sutis e de alto risco inerentes ao raciocínio jurídico, necessitando de contínua dependência de expertise humana para avaliação de alta granularidade.