Resumo Técnico: Avaliação de Desempenho na Detecção de Alucinações Jurídicas

Definição do Problema

A rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) na prática jurídica transformou a fabricação de citações jurídicas de um erro individual raro em uma questão sistêmica. Embora pressuposições anteriores sugerissem que modelos mais novos alucinariam menos ou que sanções judiciais dissuadiriam autores negligentes, evidências empíricas indicam o contrário: o número de petições judiciais contendo citações fabricadas está crescendo ano após ano, e as taxas de alucinação em modelos mais recentes (ex: GPT-5.1) não estão diminuindo consistentemente em comparação com as iterações de meados de 2024.

Essa tendência cria um ônus de verificação cumulativo. Modelos mais novos geram mais citações por documento e recorrem a um conjunto de casos mais amplo e menos canônico, tornando a verificação individual mais difícil. Esse ônus afeta desproporcionalmente os litigantes pro se, que carecem de acesso a bases de dados jurídicas comerciais (ex: Westlaw, LexisNexis) e são os menos equipados para detectar alucinações. Atualmente, verificar citações é um processo manual realizado por advogados, escrivães ou juízes, consumindo recursos judiciais significativos. Existe uma lacuna crítica na literatura: enquanto pesquisas anteriores avaliam se os LLMs produzem explicações ou resumos jurídicos factualmente corretos, nenhum benchmark anterior avalia a eficácia de sistemas de IA na verificação automática de citações jurídicas.

Metodologia

1. Taxonomia de Alucinações de Citação Jurídica

Os autores propõem uma taxonomia fundamentada em petições reais, categorizando as alucinações em cinco tipos distintos:

• Citação inexistente: A citação aponta para um caso que não existe (ex: volume ou página do repositório alterados).
• Incompatibilidade de nome de caso: A citação do repositório e o nome do caso referem-se a dois casos reais diferentes.
• Pincite incorreto: A citação refere-se ao caso correto, mas o número da página específico não sustenta a proposição citada.
• Citação literal incorreta: A linguagem citada não aparece exatamente como escrita no caso citado (ex: substituição por sinônimos).
• Representação incorreta de conteúdo: O caso citado existe, mas não sustenta a proposição jurídica para a qual é citado.

2. O Conjunto de Dados LEPHANTOMCITE

Para permitir o benchmarking, os autores construíram o LEPHANTOMCITE, um conjunto de dados de 1.300 trechos de memoriais jurídicos:

• 1.000 trechos de memoriais de apelação federais reais (pré-2022) com alucinações sistematicamente injetadas cobrindo todas as cinco categorias da taxonomia.
• 300 entradas do conjunto de dados "Large Legal Fiction" (Dahl et al., 2024), verificadas manualmente e reformatadas para fornecer exemplos realistas de representação incorreta de conteúdo.
• O conjunto de dados contém 4.499 instâncias de citação no total, com 1.107 contendo alucinações.

3. Estrutura de Verificação Agêntica

O estudo avalia a verificação de citações usando um sistema agêntico baseado na estrutura de Design Experimental Ótimo Bayesiano (BOED) (Zheng et al., 2026). Diferente das linhas de base não agênticas que geram uma única resposta, o agente mantém um estado de crença explícito, baseado em linguagem, atualizado após cada ação.

• Ações: O agente pode realizar buscas em bases de dados jurídicas (CourtListener, Westlaw), buscas na web e extração de informações.
• Processo: O agente extrai citações, decide sobre estratégias de coleta de informações e atualiza iterativamente seu estado de crença (correto, alucinado ou pendente) até que uma determinação seja feita ou o orçamento de etapas seja esgotado.
• Modelos Avaliados: Cinco modelos foram testados tanto em configurações agênticas quanto não agênticas: GPT-5, GPT-OSS-120B, Qwen3-8B, Qwen3.5-27B e Gemini-2.5-flash. Um agente de produção Claude Code (Opus 4.8) também foi avaliado para fins de comparação.

Principais Resultados

Métricas de Desempenho

O estudo mede o desempenho usando Precisão, Recall (Revocação) e F1 score, tratando a detecção de alucinação como uma tarefa de recuperação com critérios de correspondência flexíveis.

• Agêntico vs. Não Agêntico: Estruturas agênticas superaram consistentemente as linhas de base não agênticas. Para o GPT-5, a estrutura agêntica melhorou o recall em 19,7% (de 63,1% para 82,8%).
• Melhor Desempenho Geral: O GPT-5 em uma configuração agêntica alcançou o maior recall (82,8%) e F1 score (60,5%).
• Claude Code: O agente Claude Code alcançou a maior precisão (76,1%) e F1 score (68,8%), embora com recall (62,8%) inferior ao do GPT-5. Ele utilizou chamadas de ferramentas de forma mais eficiente (média de 15,4 chamadas por trecho vs. o volume maior do GPT-5).

Desempenho por Tipo de Alucinação

• Alto Recall: Os modelos geralmente tiveram bom desempenho na detecção de casos inexistentes e incompatibilidades de nome de caso.
• Baixo Recall: Todos os modelos tiveram dificuldade significativa com pincites incorretos (recall tão baixo quanto 18,2% para o GPT-5). Isso é atribuído ao fato de que a informação de número de página é frequentemente disponível apenas em bases de dados comerciais (Westlaw/Lexis) e está ausente de repositórios públicos gratuitos como o CourtListener.
• Representação Incorreta de Conteúdo: O desempenho variou conforme a força do modelo; o GPT-5 detectou mais de 80% desses erros, enquanto modelos mais fracos detectaram cerca de 50%.

Análise de Erros

• Limites de Acesso à Informação: Uma parte significativa dos falsos positivos ocorreu porque os modelos interpretaram a ausência de um caso em bases de dados gratuitas (CourtListener) como uma alucinação, em vez de uma lacuna de cobertura.
• Exaustão de Recursos: 25% dos falsos negativos ocorreram porque os agentes atingiram o limite de 30 etapas antes de verificar todas as citações.
• Redundância: Os agentes frequentemente desperdiçavam etapas em consultas redundantes ou reemitindo buscas que já haviam chegado a um beco sem saída.
• Utilidade Inesperada: O agente identificou com sucesso mais de 10 erros de digitação de citações feitos por humanos em memoriais pré-LLM que estavam presentes nos documentos originais.

Significância e Alegações

O artigo argumenta que a alucinação de citação jurídica não é um artefato temporário dos primeiros LLMs, mas um desafio persistente e crescente que não se autocorrigirá à medida que os modelos melhoram. Os autores alegam as seguintes contribuições:

1. Evidência Empírica: Dados longitudinais através de oito gerações de ChatGPT mostram que as taxas de alucinação não diminuem consistentemente, enquanto o volume de petições alucinadas cresce.
2. Infraestrutura de Benchmarking: A introdução do LEPHANTOMCITE e sua respectiva taxonomia fornece o primeiro conjunto de dados padronizado para avaliar e auditar ferramentas automatizadas de verificação de citação jurídica.
3. Viabilidade da Verificação Agêntica: O estudo demonstra que sistemas agênticos podem melhorar significativamente o recall em relação a modelos estáticos, oferecendo um caminho estrutural para reduzir o ônus de verificação nos tribunais.
4. Implicações de Políticas: Os resultados destacam que o acesso à informação é uma restrição vinculativa ao desempenho da verificação. A incapacidade de ferramentas automatizadas verificarem pincites sem acesso a bases de dados comerciais cria uma disparidade que desfavorece litigantes pro se e o público. Os autores sugerem que melhorar o acesso público aos dados jurídicos (ex: paginação oficial) é um pré-requisito necessário para uma verificação automatizada eficaz, em vez de depender apenas de melhorias nos modelos ou sanções reativas.

Os autores concluem que o implantação responsável da IA no direito exige tratar a verificação como um "problema de primeira classe", fornecendo uma base para construir e auditar as ferramentas necessárias para manter a integridade do processo judicial.