Resumo Técnico: Fundamentação de Citação para Detecção e Redução de Alucinações de Citação em LLMs

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem um problema sistemático de confiabilidade em domínios jurídicos: a alucinação de citação. Isso envolve a geração de referências plausíveis, mas fabricadas, de estatutos, citando disposições revogadas, confundindo jurisdições ou construindo cadeias de raciocínio jurídico inválidas. Embora os LLMs tenham um bom desempenho em benchmarks de raciocínio jurídico (ex: exames da ordem), as estruturas de avaliação existentes (LEXTREME, LexGLUE, LegalBench) focam em tarefas de classificação e carecem de métricas para medir ou detectar a precisão das citações em saídas generativas. A verificação manual por especialistas jurídicos é o padrão atual, mas não escala para monitoramento contínuo ou idiomas de baixos recursos.

2. Metodologia

2.1 O Grafo de Citação de Verdade Fundamental (Ground-Truth)

A base da abordagem proposta é um massivo grafo de citação bipartido $G = (V, E)$ extraído do Registro Unificado de Decisões Judiciais do Estado (EDRSR) da Ucrânia.

• Escala: 100,8 milhões de nós de decisão ($V_d$), 21.736 nós de estatutos únicos ($V_n$) e 502,2 milhões de arestas de citação ($E$).
• Estrutura: As arestas conectam uma decisão judicial ao artigo específico do estatuto que ela cita.
• Escopo Temporal: O grafo abrange 2025–2026, cobrindo três épocas jurídicas distintas (tempo de paz, guerra híbrida e invasão em escala total/lei marcial), permitindo verificações de validade temporal.

2.2 Métrica de Fundamentação de Citação (CG)

Os autores propõem a Fundamentação de Citação (CG - Citation Grounding), uma métrica que verifica citações geradas por LLMs contra o grafo de verdade fundamental $G$. Ela é decomposta em três componentes para permitir o diagnóstico diferencial de tipos de alucinação:

1. Precisão de Citação (CP): Verifica a existência. O nó do estatuto citado existe em $V_n(G)$?
2. Relevância de Citação (CR): Verifica a adequação contextual. O artigo citado é usado em decisões semanticamente similares à consulta? (Computado via embeddings XLM-RoBERTa).
3. Temporalidade de Citação (CT): Verifica a validade temporal. O estatuto estava em vigor na data do evento jurídico relevante?

A qualidade da citação composta ($CQ$) é calculada como a média do produto de CP e a média de CR e CT. Um estatuto inexistente (CP=0) resulta em qualidade zero, refletindo o padrão jurídico de que uma única citação fabricada invalida um documento.

2.3 CG-DPO (Otimização de Preferência Direta para Fundamentação de Citação)

Para reduzir alucinações sem anotação humana, o artigo introduz o CG-DPO, um método para construir pares de treinamento de Otimização de Preferência Direta (DPO) algoritmicamente.

• Mecanismo: Partindo de decisões judiciais verificadas em $G$, o sistema cria versões "corrompidas" do texto modificando as citações.
• Estratégias de Corrupção:
  1. Troca de Artigo: Substitui um artigo por outro do mesmo código (alvo: CP).
  2. Troca de Lei: Substitui o código mantendo o número do artigo (alvo: CR).
  3. Injeção de Alucinação: Substitui um artigo real por um inexistente (alvo: CP).
  4. Anacronismo: Substitui um estatuto por um promulgado após a data da decisão (alvo: CT).
• Treinamento: O texto original com citações corretas serve como a resposta preferida ($y_w$), e o texto corrompido serve como a resposta rejeitada ($y_l$). Isso elimina a necessidade de anotadores humanos.

3. Configuração Experimental e Resultados

3.1 Avaliação Empírica

Os autores avaliaram cinco sistemas em 100 consultas jurídicas ucranianas em sete domínios (Civil, Criminal, Administrativo, Trabalhista, Família, Constitucional, Militar):

• Sistemas: Quatro LLMs comerciais via AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) e um sistema de produção aumentado por RAG (LEX Chat, baseado em Claude Sonnet 4).
• Descobertas:
  • Taxas de Alucinação: Os escores de CG variaram de 0,791 a 0,873, indicando que 13–21% das citações foram alucinadas.
  • Superioridade do RAG: O sistema aumentado por RAG alcançou o maior CG (0,873) com a menor densidade de citação (2,9 citações/resposta), sugerindo que a recuperação restringe os modelos a citações baseadas em evidências.
  • Correlação Densidade-Precisão: Entre os modelos brutos, a correlação entre densidade de citação e precisão foi fraca ($\rho = -0,12$), contradizendo a hipótese de um trade-off universal.
  • Variância de Domínio: O direito constitucional alcançou fundamentação perfeita (CG = 1,0) em todos os modelos. O direito de família e o direito do trabalho mostraram a maior variância (CG 0,46–0,90).

3.2 Resultados do Treinamento CG-DPO

Um modelo Qwen2.5-7B-Instruct foi ajustado via LoRA usando um conjunto de dados de 2.244 decisões judiciais com pares de preferência construídos algoritmicamente.

• Desempenho: O modelo alcançou 98,5% de precisão média de validação ao distinguir citações corretas de corrompidas através de três sementes aleatórias.
• Estabilidade: A margem de recompensa foi de +14,9 com um desvio padrão de < 0,3 pontos percentuais.
• Convergência: O treinamento convergiu rapidamente, atingindo precisão quase perfeita logo na primeira época.

4. Principais Contribuições

1. Métrica de Fundamentação de Citação: Uma nova métrica decomponível (CP, CR, CT) para medir e diagnosticar alucinações de citação jurídica em escala, utilizando um grafo de citação de 502 milhões de arestas.
2. Avaliação em Larga Escala: Um estudo empírico de cinco LLMs sobre o direito ucraniano, revelando que sistemas RAG superam modelos brutos em precisão de citação e que as taxas de alucinação variam significativamente por domínio jurídico.
3. CG-DPO: Um método para gerar pares de DPO algoritmicamente a partir de um grafo de citação, removendo a dependência de anotação jurídica humana dispendiosa para o alinhamento de citações.

5. Significância e Alegações

O artigo afirma que um grafo de citação em larga escala serve a um duplo propósito: atuando como um oráculo de avaliação para detectar alucinações e como um sinal de treinamento para alinhar modelos sem intervenção humana.

• Ciclo Fechado: A abordagem fecha o ciclo desde a detecção até a mitigação sem anotação manual em qualquer etapa.
• Escalabilidade: O CG-DPO demonstra que sinais derivados de grafos são suficientes para o alinhamento de citações, oferecendo uma solução escalável para IA jurídica em ambientes de recursos limitados.
• Validade da Métrica: Os autores validam o CG como uma métrica conservadora; embora possa produzir falsos positivos (sinalizando estatutos reais, mas raramente citados devido a lacunas de cobertura do grafo), ele não produz falsos negativos em relação a provisões fabricadas.
• Recursos Abertos: O grafo de citação, a estrutura de avaliação e o conjunto de dados CG-DPO são liberados como recursos abertos para facilitar pesquisas futuras.

Os autores observam limitações, incluindo a dependência do grafo em relação às decisões judiciais existentes (lacunas de cobertura para novas leis), a implementação atual de temporalidade (verificando a existência em vez da validade de versões específicas) e o foco em sistemas de direito civil, sugerindo trabalhos futuros para adaptação ao direito comum (common law) e avaliação de geração de ponta a ponta.