Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

Resumo Técnico: Diagnóstico e Mitigação de Modos de Falha Temporais em Resposta a Questões Estatutárias Baseada em Modelos de Linguagem de Grande Escala

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais adotados para pesquisa jurídica, contudo, seus dados de treinamento estáticos e cortes de conhecimento fixos criam um desalinhamento fundamental com a natureza evolutiva do direito estatutário. Este artigo identifica dois modos de falha temporais específicos em Resposta a Questões Jurídicas (QA):

1. Obsolescência Pós-Corte: Modelos aplicam regras legais superadas a padrões de fato ocorridos após emendas legislativas, baseando-se em conhecimento paramétrico desatualizado.
2. Viés de Recência: Modelos priorizam incorretamente disposições legais mais recentes, mesmo quando o padrão de fato exige explicitamente a aplicação de uma versão histórica e superada da lei.

Os autores observam que, embora profissionais jurídicos dependam cada vez mais de IA para pesquisa (com o uso aumentando de 14% para 26% em 2024–2025), essas ferramentas frequentemente carecem de consciência sobre sua robustez temporal limitada. Diferentemente do conhecimento geral, a correção jurídica depende estritamente da versão específica de uma disposição e de sua aplicabilidade temporal.

Metodologia
Para diagnosticar e mitigar essas questões, os autores construíram um novo benchmark e avaliaram cinco LLMs em quatro configurações de inferência.

• Construção do Conjunto de Dados: Os autores criaram um conjunto de dados de 312 pares de questões e respostas (QA) sobre estatutos alemães, validados por especialistas e sensíveis ao tempo. Os dados foram gerados sinteticamente utilizando versões consolidadas históricas de seis estatutos alemães (BGB, StPO, AO, EStG, BauGB, HGB) obtidos de buzer.de. O conjunto de dados é dividido em três categorias:
  • Questões de Emenda Pós-Corte (115 itens): Projetadas para testar a obsolescência apresentando datas de fato posteriores ao corte de treinamento do modelo, exigindo conhecimento de mudanças legislativas ocorridas após o corte.
  • Questões Pré-Emenda (113 itens): As datas de fato ocorrem antes de uma emenda, exigindo que o modelo aplique uma versão mais antiga da lei, apesar de versões mais recentes estarem disponíveis em seu contexto ou treinamento.
  • Questões Pré-Emenda Multi-Disposição (84 itens): Cenários complexos que exigem a síntese de múltiplas disposições, onde pelo menos uma deve ser aplicada em sua versão histórica.
• Modelos Avaliados:
  • Tarefas Pós-Corte: ChatGPT-5.1 e Claude Sonnet 3.7 (cortes de conhecimento precedem a data de avaliação).
  • Tarefas Pré-Emenda: ChatGPT-5.2, Claude Opus 4.5 e DeepSeek v3.2 (modelos de última geração na época do experimento).
• Configurações de Inferência:
  • Vanilla: Confiança exclusiva no conhecimento paramétrico interno.
  • Pesquisa na Web: Modelos utilizam ferramentas de pesquisa na web nativas ou externas para recuperar informações atuais.
  • RAG-kNN: Geração Aumentada por Recuperação usando busca de vizinhos mais próximos (k-nearest neighbor) em embeddings de texto, filtrada por uma data "as-of" extraída para garantir que apenas versões válidas de parágrafos sejam recuperadas.
  • RAG-ToC: Uma estratégia de recuperação que utiliza o sumário do estatuto para selecionar parágrafos relevantes, seguida pela mesma filtragem temporal e recuperação do RAG-kNN.
• Avaliação: Um LLM como juiz (Gemini 3 Flash Preview), validado contra classificações de especialistas humanos, pontuou as respostas com base em quatro critérios: Correção do Resultado, Correção do Raciocínio Jurídico, Correção da Base Legal e Correção da Aplicação da Versão.

Principais Resultados

• Obsolescência Severa em Modelos Vanilla: Nas tarefas Pós-Corte, os modelos Vanilla exibiram degradação severa. Por exemplo, o Claude Sonnet 3.1 alcançou pontuações de correção do resultado tão baixas quanto 24,35%, com a correção do raciocínio jurídico caindo para 0%. Os modelos aplicaram confiantemente disposições superadas em vez de sinalizar incerteza.
• Eficácia do RAG Temporal: Tanto o RAG-kNN quanto o RAG-ToC melhoraram substancialmente o desempenho em todos os tipos de questões. Em cenários Pós-Corte, os métodos RAG alcançaram pontuações de correção do resultado entre 78% e 94%, superando significativamente as linhas de base Vanilla e Pesquisa na Web. As duas variantes RAG não mostraram diferença estatisticamente significativa no desempenho, sugerindo que a filtragem temporal é o fator crítico e não o mecanismo de recuperação (embeddings versus sumário).
• Instabilidade da Pesquisa na Web: Embora a pesquisa na Web tenha melhorado o desempenho em relação ao Vanilla em alguns casos, ela produziu ganhos instáveis e exibiu um viés de recência marcado. Em tarefas ancoradas historicamente, os modelos habilitados para a Web performaram significativamente melhor em questões recentes do que em questões antigas, frequentemente recuperando estatutos atuais mesmo quando versões históricas eram exigidas.
• Complexidade Multi-Disposição: O desempenho geralmente declinou ligeiramente para questões Multi-Disposição em comparação com tarefas de disposição única, particularmente nas configurações Vanilla e Web. No entanto, os métodos RAG permaneceram robustos, indicando que, uma vez fornecido o contexto temporal correto, os LLMs atuais podem sintetizar múltiplas disposições de forma eficaz.
• Viés de Recência: Divergências significativas de desempenho baseadas na idade da questão foram observadas exclusivamente na condição de pesquisa na Web, sugerindo que o viés de recência neste contexto é impulsionado por pipelines de recuperação que favorecem conteúdo "fresco", em vez de vieses paramétricos inerentes aos modelos.

Significado e Alegações
O artigo alega que uma QA jurídica confiável exige tratar a validade temporal como uma restrição rígida. Os autores argumentam que:

1. Treinamento estático é insuficiente: O descompasso entre parâmetros de modelo estáticos e direito estatutário dinâmico cria um ponto crítico de falha para IA jurídica, representando riscos significativos de responsabilidade quando modelos aplicam confiantemente leis desatualizadas.
2. RAG com Filtragem Temporal é a solução: Simplesmente recuperar correspondências semânticas "relevantes" é inadequado. Os sistemas devem filtrar explicitamente os espaços de recuperação com base na data "as-of" do padrão de fato jurídico para garantir que o modelo raciocine dentro do regime jurídico correto.
3. Pesquisa na Web não é uma panaceia: Ferramentas genéricas de pesquisa na Web são propensas ao viés de recência e não podem substituir de forma confiável bancos de dados estatutários curados e versionados para tarefas jurídicas sensíveis ao tempo.

O trabalho preenche uma lacuna em benchmarks existentes (que frequentemente carecem de foco no direito civil ou falham em testar a obsolescência pós-corte) e fornece evidências empíricas de que, embora a recuperação possa mitigar a obsolescência de dados, as capacidades de raciocínio dos LLMs em relação à síntese histórica complexa e multi-disposição ainda enfrentam tetos modestos. Os autores concluem que pesquisas futuras devem explorar como essas descobertas se generalizam para jurisdições de common law e investigar ainda mais os mecanismos do viés de recência.