Resumo Técnico: Desalinhamento Temporal em RAG Jurídico

Definição do Problema: Desalinhamento Temporal (Temporal Misgrounding)

O artigo identifica o desalinhamento temporal como um modo de falha sistemática no RAG (Geração Aumentada por Recuperação) Jurídico. Este fenômeno ocorre quando um sistema recupera e cita a versão atualmente em vigor de um artigo jurídico, mesmo quando a lei aplicável para uma consulta específica é uma versão anterior ou futura.

Os autores argumentam que o RAG jurídico padrão trata o corpus como estático, enquanto o questionamento jurídico é inerentemente um problema de recuperação indexado temporalmente. Esta falha é impulsionada por três causas raízes estruturais:

1. Viés de Recência Paramétrico: Os LLMs são treinados em snapshots que sobre-representam estados jurídicos recentes, enviesando os priors para a lei atual.
2. Ausência de Condicionamento Temporal: Recuperadores densos padrão indexam por similaridade semântica sem condicionamento à data implícita na consulta.
3. Aliasing de Número de Artigo: Identificadores de artigos (ex: Artigo 219 do CGI) persistem através das versões, mas seu conteúdo substantivo (taxas, limites) muda. A recuperação simples não consegue distinguir qual versão é a pretendida.

O artigo postula que LLMs maiores ou mais recentes não resolvem isso parametricamente devido ao enorme volume de versões históricas e à dificuldade de desambiguar textos quase idênticos sem mudanças estruturais na recuperação.

Metodologia e Design do Benchmark

O Corpus FiscalQA Pro

Para enfrentar isso, os autores construíram o FiscalQA Pro, composto por:

• Corpus Versionado: 32.436 versões de artigos do código tributário francês (CGI, seus anexos e o LPF) abrangendo 93 anos (1938–2031). Isso inclui versões de efeito futuro adiadas por leis de finanças recentes.
• Ligação de Jurisprudência: Um conjunto de dados auxiliar de 69.208 links de citação conectando decisões judiciais às versões específicas de artigos aplicáveis no momento da decisão (98–99% de precisão).
• Construção: Os dados foram extraídos da API oficial PISTE Légifrance, garantindo procedência total ao nível de versão de artigo com campos explícitos de date debut e date fin.

A Trilha de Raciocínio Temporal R3

O benchmark central é a trilha R3, projetada para isolar o desalinhamento temporal.

• Escopo: 209 perguntas avaliadas por especialistas, distribuídas em 33 artigos do CGI (221 liberados, 12 excluídos por problemas de escopo).
• Dificuldade: O conjunto é "difícil para todos os modelos" (all-model-hard). Um filtro de conhecimento paramétrico garantiu que nenhum modelo avaliado (entre 11 modelos e 4 amostragens) pudesse responder às perguntas apenas por memória.
• Mecanismo de Pontuação: As respostas são pontuadas deterministicamente via "nuggets" (fragmentos) de verdade fundamental atômica (regex-match para identificadores de artigos e valores numéricos com tolerância). Os autores rejeitam explicitamente a pontuação "LLM-as-judge" para evitar herdar o mesmo viés temporal que o sistema visa avaliar.
• Regimes de Questões: O artigo foca em R3 (Raciocínio Temporal), onde a resposta correta depende da versão da lei em uma data específica. Outros regimes (R1: Extração de Citação, R2: Computação Determinística, R4: Síntese de Múltiplos Documentos) são lançados como trilhas adicionais.

Design Experimental

Os autores conduziram um experimento controlado de três condições no subconjunto R3 usando 11 modelos (5 de fronteira com API fechada, 1 de substituição de fronteira, 5 de pesos abertos):

1. Condição A (Apenas LLM): Apenas conhecimento paramétrico (sem recuperação).
2. Condição B (RAG Estático): Recuperação sobre um corpus estático contendo apenas a versão atual (representando sistemas implantados atuais). O modelo recebe o ID do artigo correto, mas apenas a versão atual.
3. Condição C (RAG Consciente de Versão): Recuperação sobre o corpus temporalmente versionado.
   • Cor (Oráculo): O modelo recebe o ID do artigo correto, mas deve selecionar a versão correta do índice.
   • Cprod (End-to-End): O modelo deve recuperar tanto o artigo correto quanto a versão correta sem um oráculo.

Resultados Principais

Falha de Abordagens Estáticas

• Conhecimento Paramétrico (Condição A): A precisão estrita média entre 11 modelos foi de 3,0%.
• RAG Estático (Condição B): A precisão estrita média foi de 2,7%, estatisticamente indistinguível da Condição A. Crucialmente, o RAG estático recuperou a versão aplicável à data 0% das vezes. Ele citou com confiança versões reais, porém inaplicáveis (atuais).
• Conclusão: O RAG padrão falha não silenciosamente, mas com confiança, substituindo a lei histórica pela lei atual.

Sucesso da Recuperação Consciente de Versão

• Seleção de Versão via Oráculo (Cor): Quando o artigo correto era fornecido e o modelo selecionava a versão correta, a precisão estrita média atingiu 99,1%. Isso demonstra que, uma vez disponível a versão correta, os modelos conseguem extrair o valor correto.
• Recuperação End-to-End (Cprod): O recuperador end-to-end, sem oráculo, alcançou 98,3% de precisão estrita média.
• Análise de Gargalo: A lacuna entre Cor (99,1%) e Cprod (98,3%) é de 0,8 pontos, atribuída inteiramente à recuperação de primeira etapa (localizar o artigo correto) e não à seleção da versão. A versão de ouro estava nos 5 primeiros resultados recuperados em 99% das questões.

Significância e Alegações

O artigo afirma que o QA jurídico deve ser reestruturado como um problema de recuperação indexado temporalmente. A principal contribuição é demonstrar que o gargalo no RAG jurídico para questões sensíveis ao tempo não é o tamanho do modelo ou a capacidade de raciocínio, mas a falta de indexação consciente de versões e de recuperação condicionada à data.

• Estrutural vs. Paramétrico: A falha do alinhamento temporal é estrutural à arquitetura de recuperação, não uma limitação dos parâmetros do LLM.
• Avaliação Determinística: Ao usar regex e fragmentos numéricos em vez de juízes LLM, o benchmark evita o viés circular, fornecendo uma medida confiável de alinhamento temporal.
• Generalização: Embora focado no direito tributário francês, os autores argumentam que o desalinhamento temporal é um problema estrutural para qualquer corpus estatutário de direito civil que sofra emendas in loco (ex: sistemas alemão, suíço, belga), conforme evidenciado por achados independentes concomitantes em QA estatutário alemão.

O trabalho fornece o primeiro corpus versionado e benchmark especificamente desenhado para quantificar e mitigar o desalinhamento temporal, disponibilizando o corpus, o benchmark, as respostas dos modelos e o código do pipeline para a comunidade.