From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Resumo Técnico: Dos Julgados às Questões: Extração Estruturada de Raciocínio Jurídico com Controle de Alucinação de Citações

Definição do Problema
Os sistemas judiciais modernos, particularmente na Itália, geram decisões judiciais em uma escala que excede a capacidade dos profissionais do direito de lê-las individualmente. A base de dados dos tribunais tributários italianos contém, sozinha, quase um milhão de sentenças, crescendo em centenas de milhares anualmente. Embora este volume possua um valor significativo para usos secundários — como busca de precedentes, análise de redes de citações e treinamento de sistemas de PLN jurídico — a natureza não estruturada dos PDFs originais dificulta essas aplicações. Os métodos de extração existentes frequentemente tratam o julgamento inteiro como uma unidade única, introduzindo ruído proveniente de textos procedimentais padronizados (boilerplate) e falhando em isolar questões jurídicas específicas. Além disso, os Grandes Modelos de Linguagem (LLMs) são propensos a "alucinar" citações jurídicas, fabricando referências plausíveis, mas inexistentes, a legislação e jurisprudência, o que compromete a confiabilidade de pipelines automatizados de raciocínio jurídico.

Metodologia
Os autores propõem um pipeline automatizado projetado para decompor julgamentos dos tribunais tributários italianos em questões jurídicas individuais e extrair uma representação XML estruturada para cada uma. A metodologia é construída sobre três componentes principais:

1. Decomposição Baseada em Questões e Design de Esquema:
   Em vez de processar julgamentos como blocos monolíticos, o pipeline trata a questão jurídica como a unidade de análise. Isso se alinha com as teorias da justificação judicial (ex: MacCormick, 1994), onde a adjudicação é vista como a resolução de questões jurídicas específicas. A estrutura extraída é fundamentada no framework IRAC (Issue, Rule, Application, Conclusion — Questão, Regra, Aplicação, Conclusão) e no silogismo jurídico. Cada questão é codificada em XML com campos específicos:

   • <text>: Uma formulação do tipo "Seja que + cláusula" da questão jurídica.
   • <issue_outcome>: A decisão, classificada pelo beneficiário (contribuinte, autoridade fiscal, outro).
   • <factual_premises>: Fatos e eventos relevantes.
   • <legal_references>: Uma lista de citações (legislação, jurisprudência, princípios, prática administrativa) com tipos.
   • <citation_reason>: Explicações do porquê referências específicas foram citadas.
   • <judge_reasoning>: A aplicação do direito aos fatos.
   • <summary>: Um resumo abstrativo da questão.

2. Pipeline de Extração e Seleção de Modelo:
   O pipeline processa um corpus de aproximadamente 330.000 sentenças de primeira e segunda instância dos tribunais tributários italianos. Para equilibrar capacidade com o custo de processamento de centenas de milhares de documentos, os autores selecionaram o DeepSeek V3, um modelo de propósito geral que oferece uma relação custo-desempenho favorável (aprox. US$ 0,0035 por julgamento). A extração utiliza uma estratégia de prompting de dois passos para julgamentos longos:

   • Passo 1: Identificar as questões e extrair o <text>, <summary> e <issue_outcome>.
   • Passo 2: Para cada questão identificada, extrair o raciocínio detalhado, os fatos e as citações.
     Um passo de correção pós-extração utiliza few-shot prompting para garantir que o campo <text> siga estritamente o formato "Seja que + cláusula".

3. Controle de Alucinação via Linkoln:
   Para abordar a falta de confiabilidade das citações de LLMs, o pipeline integra uma camada de verificação usando a biblioteca Linkoln (Bacci et al., 2019). Este passo:

   • Analisa as referências jurídicas tanto no texto original do julgamento quanto na saída do LLM.
   • Normaliza-as para identificadores padrão (URN-NIR, ECLI, CELEX).
   • Compara os dois conjuntos. Qualquer referência presente na saída do LLM, mas não encontrada no texto de origem, é sinalizada como uma alucinação e removida.
   • Para princípios jurídicos (que carecem de identificadores padrão), uma whitelist de 182 princípios canônicos derivados por especialistas é utilizada para validar as correspondências.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Esquema Estruturado: Um novo esquema XML ao nível de questão, fundamentado no IRAC e no silogismo jurídico, projetado para ser legível por máquina, útil para consulta humana e extraível de forma confiável por LLMs de médio porte.
2. Pipeline de Baixo Custo com Controle de Alucinação: Um pipeline escalável utilizando o DeepSeek V3 combinado com um filtro de alucinação automático baseado em parser que normaliza e valida citações contra o texto de origem.
3. Avaliação Validada por Especialistas: Um protocolo de validação rigoroso em 50 julgamentos anotados por dois especialistas em direito tributário de nível de doutorado, reportando o acordo entre anotadores (IAA), o acordo LLM-vs-especialista e o desempenho do filtro de alucinação.

Resultos
A avaliação no subconjunto de 50 julgamentos produz os seguintes achados:

• Extração de Questões: O LLM demonstra alta precisão (93–94%), mas recall moderado (70–82%) em comparação com especialistas humanos. O modo de erro dominante é a subextração (omissão de questões) em vez de alucinação. Apenas 4 de 78 questões extraídas foram marcadas como ausentes pelos especialistas.
• Extração de Citações: O LLM alcança um F1 score de aproximadamente 74% contra as anotações dos especialistas. Embora o modelo extraia um número de referências semelhante ao dos especialistas, ele às vezes inclui referências que não são consideradas relevantes para a questão específica.
• Desempenho do Filtro de Alucinação: O filtro é altamente eficaz. Antes da filtragem, a taxa de alucinação era de 11,7%. Após a filtragem, caiu para 0,9%. O filtro removeu 29 de 31 referências alucinadas, enquanto removeu incorretamente apenas 7 citações válidas (taxa de falso positivo de 3,0%). O filtro foi menos eficaz em "princípios de direito", que apresentaram uma taxa de alucinação de 69% antes da filtragem.
• Pontuações Qualitativas: Campos de texto livre (raciocínio, resumo, resultado) receberam pontuações médias altas (4,6–4,9/5) dos especialistas. O acordo entre anotadores nas dimensões qualitativas foi muito alto (Gwet's AC2 > 0,93).
• Estocasticidade: Os autores observam que, mesmo com sementes (seeds) fixas, o LLM exibe não-determinismo. O acordo entre execuções (F1 ~78% para questões, ~73% para citações) é inferior ao acordo entre anotadores, mas comparável ao acordo LLM-vs-humano, sugerindo que a estocasticidade do modelo explica uma parte significativa da lacuna de desempenho.

Significância e Alegações
Os autores afirmam que este trabalho fornece o primeiro pipeline de extração estruturada ao nível de questão, validado por especialistas e com controle de alucinação, especificamente para decisões dos tribunais tributários italianos. Eles posicionam o pipeline como um ponto de partida concreto para aplicações subsequentes, incluindo:

• Recuperação ao nível de questão: Isolar questões jurídicas individuais para melhorar a precisão da busca.
• Análise de rede de citações: Construir grafos onde as arestas refletem referências realmente utilizadas para decidir disputas, em vez de menções incidentais.
• Construção de datasets: Criar conjuntos de dados estruturados em larga escala de raciocínio jurídico para treinamento e benchmarking de sistemas de PLN jurídico.

O artigo mantém um tom modesto, reconhecendo limitações como a pequena amostra de validação (50 julgamentos), a dependência de um único modelo e jurisdição, e a subjetividade inerente à segmentação de julgamentos em questões. Os autores enfatizam que o formato proposto serve como um template metodológico para a extração estruturada que é independente de jurisdições ou modelos específicos, demonstrando que os atuais LLMs podem instanciar de forma confiável estruturas complexas de raciocínio jurídico quando pareados com camadas de verificação apropriadas.