Resumo Técnico: LegalCiteBench

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais integrados em fluxos de trabalho jurídicos, mas sua confiabilidade na geração de autoridades de casos específicas sem recuperação externa (configuração de livro fechado) permanece não quantificada. Em sistemas de common law, os argumentos jurídicos dependem de citações precisas a precedentes judiciais; autoridades incorretas ou fabricadas podem levar a sanções profissionais e minar a confiança em ferramentas de IA. Embora as benchmarks jurídicas existentes se concentrem em raciocínio estatutário, compreensão de contratos ou resposta geral a perguntas jurídicas, elas não avaliam sistematicamente um modo crítico de falha: a geração de citações plausíveis, porém incorretas, quando se pede aos modelos que forneçam autoridades de casos sem fundamentação externa. O problema central é saber se os LLMs atuais conseguem recuperar citações judiciais exatas, abster-se quando incertos, ou se, em vez disso, fabricam autoridades convincentes, porém errôneas.

Metodologia

Construção do Conjunto de Dados: LegalCiteBench

Os autores introduzem o LegalCiteBench, uma benchmark composta por aproximadamente 24.000 instâncias de avaliação derivadas de 1.000 opiniões judiciais reais dos EUA, obtidas do Case Law Access Project (Harvard Law School). O pipeline de construção envolve:

1. Material de Origem: Amostragem de 1.000 casos-raiz recentes em diversas jurisdições dos EUA.
2. Sumarização Intermediária: Uso de três LLMs comerciais (GPT-4o-mini, Gemini-2.5-Flash, Claude-3.5-Haiku) para gerar notas de construção estruturadas resumindo os antecedentes do caso, histórico processual e questões jurídicas. Essas notas são usadas apenas para a construção de prompts, não como verdade fundamental.
3. Ancoragem da Verdade Fundamental: Os rótulos de verdade fundamental são estritamente derivados de fontes não geradas: listas de citações extraídas das opiniões de origem e metadados dos casos-raiz.
4. Validação Humana: Uma auditoria direcionada de 100 casos-raiz amostrados por três revisores para verificar a fidelidade da construção, a qualidade da anonimização e a correção da verdade fundamental.

Taxonomia de Tarefas

A benchmark avalia cinco tarefas centradas em citações divididas em dois níveis:

• Tarefas em Nível de Citação:
  • Cat1 (Recuperação de Citação): Dada uma pergunta de pesquisa no estilo de um advogado, derivada de um caso real, o modelo deve recuperar as autoridades específicas citadas na opinião de origem.
  • Cat2 (Completamento de Citação): Dado um conjunto parcial de citações, o modelo deve identificar as autoridades restantes da opinião de origem.
  • Cat3 (Detecção de Erro de Citação): Dado um parágrafo de análise jurídica, o modelo deve detectar e corrigir erros de citação (por exemplo, volume, página ou repórter incorretos).
• Tarefas em Nível de Caso:
  • Cat4-1 (Correspondência de Caso): Dado um cenário jurídico anonimizado, o modelo deve identificar o caso de origem subjacente.
  • Cat4-2 (Verificação e Correção de Caso): Dado um cenário com uma citação explícita, o modelo deve verificar sua correção e fornecer o caso correto se a citação estiver errada.

Protocolo de Avaliação

• Modelos Avaliados: 21 LLMs, incluindo modelos proprietários (por exemplo, GPT-4o-mini, Claude-3.5-Haiku, Gemini-2.5-Flash) e modelos de código aberto (por exemplo, Llama 3, Qwen, DeepSeek, SaulLM).
• Mecanismo de Julgamento: Um protocolo "LLM como juiz" usando GPT-4o-mini (com rubricas específicas) para avaliar as saídas. As pontuações são normalizadas para uma escala de 0–100.
• Métricas:
  • F1 de Citação: Para tarefas de recuperação, usando correspondência de substrings insensível a maiúsculas e minúsculas para comparar as citações previstas com a verdade fundamental.
  • Taxa de Resposta Enganosa (MAR): Uma métrica de segurança para tarefas pesadas em recuperação (Cat1, Cat2, Cat4-1). Mede a proporção de respostas com baixa pontuação em que o modelo fornece uma citação concreta ou resposta de caso em vez de se abster. Uma MAR alta indica uma tendência a alucinar autoridades específicas em vez de expressar incerteza.
  • Taxa de Abstenção: A frequência com que os modelos afirmam explicitamente que não podem verificar ou identificar a autoridade solicitada.

Principais Resultados

1. A Recuperação Exata de Citações é Universalmente Desafiadora

Na configuração de livro fechado, a recuperação exata de autoridades ancoradas em opiniões é extremamente difícil para todos os modelos avaliados.

• Pontuações Baixas: Mesmo o modelo mais forte, claude-sonnet-4.5, obteve apenas 6,80 na Cat1 e 6,35 na Cat2. Nenhum modelo ultrapassou 7/100 na recuperação ou completamento de citações.
• Assimetria: Há uma lacuna acentuada de desempenho entre geração e verificação. Os modelos obtêm pontuações significativamente mais altas em tarefas de verificação (Cat3: até 75,59; Cat4-2: até 96,07) em comparação com tarefas de geração. Isso sugere que os modelos frequentemente conseguem julgar a plausibilidade de uma citação fornecida, mas não conseguem recuperar com fiabilidade a autoridade correta da memória.

2. Altas Taxas de Resposta Enganosa (MAR)

Os modelos frequentemente fornecem respostas concretas, porém pouco confiáveis, em vez de se absterem.

• Dominância da MAR: Para 20 dos 21 modelos, a MAR em tarefas pesadas em recuperação excedeu 94%. Mesmo o melhor desempenho (gpt-5-mini) teve uma MAR de 89,24%.
• Implicação: Quando os modelos falham, eles tendem a fabricar autoridades específicas em vez de admitir incerteza, o que representa um risco de segurança significativo em fluxos de trabalho jurídicos.

3. Impacto Limitado da Escala e do Pré-treinamento de Domínio

• Escalonamento: O aumento do tamanho do modelo produz apenas ganhos marginais. Por exemplo, Llama-3.1-70B (3,82 na Cat1) performou apenas ligeiramente melhor que Llama-3.1-8B (1,47 na Cat1), apesar de ser quase 9 vezes maior.
• Especialização de Domínio: SaulLM-54B, um modelo de domínio jurídico, alcançou a maior pontuação na detecção de erro de citação (Cat3: 75,59), mas permaneceu fraco na recuperação (Cat1: 3,77; Cat2: 4,06) com uma MAR alta (97,69%). Isso indica que o pré-treinamento em domínio jurídico melhora as habilidades de verificação, mas não resolve a lacuna de fundamentação para a recuperação de citações em livro fechado.

4. Mitigação Apenas por Prompt

Um experimento diagnóstico testou se instruções explícitas de abstenção poderiam reduzir a MAR.

• Resultados: Instruções explícitas reduziram a MAR para alguns modelos (por exemplo, Llama-3.1-8B-Instruct reduziu a MAR de 100% para 62,7%), principalmente ao aumentar a taxa de abstenção.
• Limitação: A redução na MAR não correlacionou-se com uma melhoria na correção das citações (as pontuações F1 permaneceram próximas de zero). O uso de prompts torna os modelos menos propensos a fabricar, mas não os equipa com o conhecimento para gerar autoridades corretas.

Significado e Alegações

O artigo posiciona o LegalCiteBench como uma estrutura de diagnóstico e não como uma certificação de competência jurídica. Suas principais contribuições são:

1. Benchmarking da Geração de Autoridades: Estabelece um método padronizado e auditável para avaliar a recuperação de citações em livro fechado, um modo crítico de falha em IA jurídica que as benchmarks existentes ignoram.
2. Revelação de Lacunas de Calibração: Os resultados demonstram uma lacuna substancial na calibração dos modelos; os LLMs atuais são propensos à fabricação confiante de autoridades jurídicas quando a fundamentação externa está ausente.
3. Avaliação Orientada à Segurança: Ao introduzir a Taxa de Resposta Enganosa (MAR), o trabalho destaca que alta precisão em tarefas de verificação não garante segurança em tarefas de recuperação.
4. Limitações das Abordagens Atuais: O estudo conclui que nem o escalonamento nem o pré-treinamento específico de domínio resolvem atualmente o problema da recuperação exata de citações em configurações de livro fechado. Argumenta-se que uma IA jurídica confiável requer sistemas aumentados por recuperação, módulos de verificação ou estratégias de pós-treinamento que visem especificamente a abstenção calibrada, em vez de depender apenas da memória paramétrica.

Os autores enfatizam que essas descobertas não devem ser interpretadas como uma falha de sistemas jurídicos aumentados por recuperação, mas sim como um teste de estresse que revela os riscos da geração sem fundamentação. Eles defendem a verificação independente de qualquer citação produzida sem fundamentação externa antes de seu uso em análise jurídica profissional.