Validate Your Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification

Resumo Técnico: Validação da Autoridade na Classificação do Tratamento de Precedentes Jurídicos

Declaração do Problema
Em jurisdições de common law, a doutrina do stare decisis exige que os praticantes do direito determinem se uma decisão judicial permanece "boa lei" ou se sua autoridade foi enfraquecida ou anulada por casos subsequentes. Os casos podem ser "tratados negativamente" de várias maneiras nuances, como serem superados, criticados, distinguidos ou questionados. A má classificação desses tratamentos acarreta riscos significativos, potencialmente levando a julgamentos desfavoráveis e repercussões profissionais. Embora serviços comerciais de citadores (por exemplo, Shepard's, KeyCite) empreguem editores humanos para analisar esses tratamentos, erros humanos documentados estimularam o interesse em soluções automatizadas. No entanto, pesquisas anteriores indicam que classificar o tratamento de citações é intrinsecamente difícil para modelos de aprendizado de máquina, particularmente devido às sutilezas semânticas do raciocínio jurídico e à escassez de dados de alta qualidade anotados por especialistas. Este artigo aborda a questão central: Com que precisão os Modelos de Linguagem de Grande Porte (LLMs) contemporâneos podem replicar o raciocínio jurídico sofisticado necessário para classificar as várias maneiras pelas quais um precedente judicial é tratado em um caso subsequente?

Metodologia
Os autores realizaram uma avaliação sistemática de LLMs modernos em um novo conjunto de dados anotado por especialistas, derivado de Hellyer (2018), que originalmente avaliou serviços comerciais de citadores.

• Curadoria do Conjunto de Dados: Os autores digitalizaram e estruturaram um corpus de 329 relações de citação, filtrando casos ambíguos para criar um conjunto de alta confiança. Eles recuperaram opiniões de texto completo para 239 casos citantes via API CourtListener para fornecer aos modelos o contexto do documento completo, em vez de trechos isolados.
• Construção da Verdade Terrena: A verdade terrena foi estabelecida usando uma lógica baseada em prioridade. Correções explícitas feitas pelo anotador original foram priorizadas. Para entradas sem correções explícitas, foram adotadas etiquetas consideradas "aceitáveis". Crucialmente, o conjunto de dados é multietiqueta, reconhecendo que múltiplos tratamentos distintos (por exemplo, "Criticado por" e "Questionado por") podem ser simultaneamente válidos para uma única relação.
• Esquemas de Classificação: O estudo utiliza um esquema de dois níveis:
  1. Granularidade Fina: 16 categorias distintas (por exemplo, Superado, Distinguido por, Reformado por).
  2. Nível Superior: 5 grupos conceitualmente distintos (por exemplo, INVALIDADO, CRITICADO OU QUESTIONADO, LIMITADO OU DISTINGUIDO) projetados para mitigar a sobreposição semântica extrema de etiquetas de granularidade fina.
• Configuração Experimental: O estudo avaliou quatro modelos: Gemini 2.5 Pro e Gemini 2.5 Flash do Google, GPT-5-mini da OpenAI e o código aberto Qwen3 (30B). Os experimentos foram conduzidos usando estratégias de prompting de zero-shot e few-shot. Os modelos receberam a citação do caso semente e o texto completo do caso citante, especificamente os parágrafos que analisam o caso citado.
• Métricas de Avaliação: Além da Precisão Baseada em Instâncias padrão, os autores introduziram o Erro de Severidade Médio e o Erro de Severidade Mediano. Essas métricas mapeiam etiquetas para uma escala de severidade (1 para Neutro a 5 para Invalidado) para quantificar o impacto prático de más classificações, distinguindo entre erros menores (confundir duas etiquetas negativas) e erros críticos (confundir um tratamento negativo com um neutro).

Principais Resultados
Os experimentos revelaram uma divisão de desempenho entre os modelos dependendo da complexidade do esquema:

• Esquema de Nível Superior: O Gemini 2.5 Flash alcançou a maior precisão (79,1% em zero-shot). Desempenhou excepcionalmente bem na etiqueta mais frequente, LIMITADO OU DISTINGUIDO (Precisão: 0,947), mas teve dificuldades com classes sub-representadas como CITAÇÃO NEUTRA (F1: 0,400).
• Esquema de Granularidade Fina: O GPT-5-mini foi o melhor desempenho (67,7% em zero-shot), embora o desempenho tenha caído significativamente para etiquetas raras. Sete das quinze etiquetas de granularidade fina resultaram em zero previsões bem-sucedidas (F1: 0,000), incluindo tratamentos juridicamente significativos como Reformado por e Questionado por.
• Análise de Severidade: Em termos de Erro de Severidade Médio, o Gemini 2.5 Flash novamente liderou, alcançando as menores pontuações de erro (0,3933 para nível superior, 0,3755 para granularidade fina). O Erro de Severidade Mediano para os principais modelos foi 0,0, indicando que, para mais da metade das previsões, os modelos produziram a etiqueta perfeitamente correta.
• Descobertas Qualitativas: A análise de erros revelou que os modelos frequentemente lutam com o "alvo da ação judicial" (atribuir erroneamente se um tribunal está corrigindo o argumento de uma parte versus o próprio precedente) e enfrentam ambiguidade inerente onde etiquetas distintas (por exemplo, Criticado vs. Não Seguido) são semanticamente sobrepostas e dependentes do contexto.

Principais Contribuições

1. Novo Conjunto de Dados: O artigo introduz um conjunto de dados publicamente disponível, anotado por especialistas, de 239 citações jurídicas do mundo real com contexto de texto completo e verdade terrena multietiqueta, abordando a escassez de dados de alta qualidade para esta tarefa específica.
2. Framework de Avaliação Robusto: Os autores propõem a métrica Erro de Severidade Médio, argumentando que a precisão padrão é insuficiente para tarefas jurídicas onde o custo da má classificação varia drasticamente com base na severidade do erro.
3. Avaliação Sistemática: Este trabalho estabelece uma linha de base crucial para o desempenho de LLMs modernos na classificação de tratamento de precedentes negativos, demonstrando que, embora modelos proprietários mostrem potencial significativo, eles permanecem limitados pelo desequilíbrio de classes e pela complexidade intrínseca da semântica jurídica.

Significado e Alegações
O artigo alega ser o primeiro estudo acadêmico a avaliar sistematicamente LLMs modernos na classificação multietiqueta de granularidade fina de tratamentos de citação negativos. Os autores afirmam que seu trabalho fornece uma linha de base necessária para uma tarefa de PLN "crítica, porém nuances", onde a má classificação acarreta alto risco. Eles concluem que, embora os principais modelos proprietários tenham o potencial de automatizar este aspecto da pesquisa jurídica, o desempenho atual é limitado pela escassez de dados e pela complexidade semântica do raciocínio jurídico. O estudo enfatiza que métricas de precisão padrão são inadequadas para este domínio e que a avaliação baseada em severidade proposta oferece uma avaliação mais realista da adequação do modelo para aplicações jurídicas de alto risco. Os autores permanecem modestos quanto à natureza definitiva dos resultados, observando que a subjetividade inerente da interpretação jurídica sugere um teto na precisão alcançável e que os resultados devem ser vistos como uma exploração das capacidades atuais, em vez de um julgamento final sobre o raciocínio jurídico.