Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models

Título: Aproveitando Bancos de Dados Temporais para Avaliação Sistemática de Respostas a Perguntas Fatos Sensíveis ao Tempo em LLMs

1. O Problema

Os fatos não são estáticos; eles evoluem com o tempo. À medida que os Grandes Modelos de Linguagem (LLMs) são integrados em aplicações do mundo real, sua capacidade de gerenciar conhecimento factual sensível ao tempo torna-se crucial para garantir precisão e confiabilidade. No entanto, os benchmarks existentes para Respostas a Perguntas Sensíveis ao Tempo (TSQA) enfrentam gargalos significativos:

• Dependência de Esforço Manual: A construção e manutenção de benchmarks frequentemente dependem de curadoria humana para criar contextos temporais diversos (ex: "antes de 2019", "durante os Jogos Olímpicos") e atualizar fatos conforme o mundo muda.
• Limitações de Escala e Diversidade: Muitos benchmarks baseiam-se em templates fixos ou em dados do Wikipedia/Wikidata, limitando a diversidade de cenários e a generalização para domínios específicos (como jurídico ou médico).
• Avaliação Insuficiente: As avaliações tradicionais focam apenas na precisão da resposta final. Elas falham em detectar quando o modelo fornece a resposta correta, mas alucina nas referências temporais ou explicações (ex: identificar o presidente atual corretamente, mas citar a data de início errada).

2. Metodologia: O Framework TDBench

Os autores propõem o TDBench, um novo framework de benchmarking que utiliza técnicas de banco de dados para automatizar a construção e avaliação de tarefas TSQA, eliminando a necessidade de curadoria manual extensiva.

A. Construção Sistemática de QA (Perguntas e Respostas)
O processo segue três etapas principais, baseadas em bancos de dados temporais (que armazenam intervalos de validade de dados, como datas de início e fim):

1. Seleção de Conhecimento via Dependências Funcionais Temporais (TFDs): O sistema utiliza TFDs para identificar automaticamente quais atributos podem ser usados para gerar perguntas. Uma TFD ($X \xrightarrow{T} Y$) garante que, em qualquer ponto no tempo, os valores de $X$ determinam unicamente os valores de $Y$ (ex: "País" e "Cargo" determinam o "Nome" do líder). Isso permite selecionar automaticamente pares de pergunta-resposta válidos.
2. Geração de Consultas SQL Temporais: Em vez de usar templates manuais, o framework gera consultas SQL dinâmicas que codificam contextos temporais diversos. Utilizando a Álgebra de Intervalos de Allen, o sistema cria 13 relações temporais distintas (ex: before, after, overlap, meet, contain), indo muito além das 4-6 relações comuns em outros benchmarks.
3. Conversão para Linguagem Natural: Um LLM (tradutor SQL-to-text) converte as consultas SQL geradas em perguntas naturais diversas, enquanto a resposta é obtida diretamente da execução da consulta no banco de dados, garantindo a "verdade do solo" (ground truth).

B. Nova Métrica: Precisão Temporal (Time Accuracy)
Além da precisão da resposta (Answer Accuracy), o TDBench introduz a Precisão Temporal (Time Accuracy).

• Definição: Mede a correção das referências temporais (datas de início e fim) fornecidas pelo modelo em suas explicações.
• Verificação Automática: O sistema verifica automaticamente se as datas mencionadas pelo modelo correspondem às restrições temporais definidas na consulta SQL original.
• Importância: Captura casos onde o modelo acerta a resposta factual, mas falha no raciocínio temporal (alucinação de datas), um erro frequentemente ignorado em avaliações tradicionais.

C. Cenários de Avaliação
O benchmark suporta três cenários principais:

1. Alinhamento Temporal: Testa se o modelo conhece o estado atual do mundo (ex: "Quem é o presidente atual?").
2. Raciocínio Temporal: Avalia a compreensão de contextos temporais diversos (ex: "Quem foi presidente entre 1990 e 1995?").
3. Perguntas Multi-hop Implícitas: Utiliza joins temporais para criar perguntas complexas que exigem raciocínio entre eventos (ex: "Quem era o presidente do país sede durante a 5ª Olimpíada de Inverno?"), onde a data não é explícita, mas deve ser inferida.

3. Contribuições Principais

1. TDBench: Um benchmark escalável e automatizado que elimina a dependência de curadoria humana para a construção de pares QA, permitindo a avaliação em bancos de dados específicos de domínio (médico, legal, etc.).
2. Métrica de Precisão Temporal: Uma nova métrica que avalia a validade das referências temporais nas explicações do modelo, revelando alucinações que a precisão da resposta sozinha não detecta.
3. Cobertura Temporal Rica: Suporte a 13 tipos de relações temporais (baseadas em SQL), superando a limitação de templates fixos de trabalhos anteriores.
4. Análise de Raciocínio: Capacidade de diagnosticar falhas em etapas intermediárias de raciocínio (multi-hop) e identificar "pontos cegos" temporais dos modelos.

4. Resultados Experimentais

Os autores avaliaram vários LLMs de ponta (GPT-3.5, GPT-4, GPT-4o, Llama3.1, Mixtral, Gemma2, Qwen2, Granite3) em dados do Wikipedia e domínios específicos (Lei, Carbono, Patrimônio, Netflix).

• Alucinação Temporal Oculta: Ao introduzir a métrica de Precisão Temporal, descobriu-se que, embora os modelos tenham alta precisão na resposta final, eles frequentemente alucinam datas nas explicações. Houve uma queda média de 21,7% na pontuação geral (Answer-Time Accuracy) em comparação com a avaliação apenas de resposta, revelando uma lacuna de confiabilidade.
• Desempenho por Tipo de Restrição: Os modelos performam bem em relações simples (como "igual a" ou "em 2025"), mas têm dificuldade significativa em relações complexas como "conter" (contain) e "sobrepor" (overlap), que exigem raciocínio sobre datas de início e fim simultaneamente.
• Domínios Específicos: O TDBench demonstrou eficácia em domínios fora do Wikipedia (ex: leis de casamento igualitário, taxas de carbono), onde modelos especializados ou generalistas mostraram comportamentos variados, destacando a necessidade de avaliação em dados reais de domínio.
• Perguntas Multi-hop: Em tarefas de 3 saltos (hops), modelos como o GPT-4o mostraram alta precisão, mas outros modelos apresentaram taxas de alucinação significativas em etapas intermediárias. Técnicas como Chain-of-Thought (CoT) e Time-CoT ajudaram a mitigar erros, superando abordagens de RAG (Retrieval-Augmented Generation) que muitas vezes recuperam contextos temporalmente desalinhados.
• Validação: O TDBench apresentou alta concordância (F1 > 0.95) com verificação manual, validando a eficácia da abordagem baseada em banco de dados.

5. Significância e Impacto

O trabalho representa um avanço crucial na avaliação de LLMs:

• Mudança de Paradigma: Move a avaliação de TSQA de uma dependência de curadoria manual e dados estáticos (Wikipedia) para uma abordagem sistemática, automatizada e baseada em dados estruturados (bancos de dados temporais).
• Confiabilidade: Ao expor a discrepância entre a resposta correta e a explicação temporal incorreta, o TDBench destaca um risco crítico de segurança e confiança em aplicações de IA, onde datas erradas podem levar a decisões equivocadas.
• Escalabilidade: Permite que pesquisadores e desenvolvedores criem seus próprios benchmarks para domínios específicos (saúde, direito, finanças) sem esforço manual massivo, apenas definindo o esquema do banco de dados e as dependências funcionais.
• Ferramenta de Diagnóstico: Oferece uma granularidade fina para diagnosticar onde os modelos falham (ex: raciocínio de intervalos vs. alinhamento de fatos atuais), guiando o desenvolvimento futuro de modelos mais robustos.

Em resumo, o TDBench estabelece um novo padrão para a avaliação de conhecimento factual sensível ao tempo, combinando a precisão dos bancos de dados com a flexibilidade dos LLMs para criar um ambiente de teste rigoroso, escalável e livre de viés de curadoria humana.