How often do Answers Change? Estimating Recency Requirements in Question Answering

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) frequentemente falham ao responder perguntas sensíveis ao tempo, fornecendo respostas confiantes, mas desatualizadas, baseadas em seus dados de treinamento (corte temporal).

• Limitação dos Benchmarks Atuais: As avaliações existentes (como TimeQA, FreshQA, RealTimeQA) tratam a validade temporal de forma binária (atual vs. desatualizado) ou usam templates fixos. Elas não conseguem modelar com que frequência uma resposta muda (ex.: atualizações horárias vs. anuais) nem se essa frequência é invariante ao contexto (estacionária) ou dependente do contexto (não estacionária).
• A Lacuna: Não há uma maneira principista de estimar a demanda de recência de uma pergunta ou de distinguir entre fatos estáveis e comportamentos temporais que variam conforme o contexto (ex.: a taxa de inflação pode mudar frequentemente em crises, mas ser estável em outros períodos).

2. Metodologia e Proposta

A. Taxonomia Recência-Estacionariedade

Os autores introduzem uma nova taxonomia bidimensional para caracterizar a sensibilidade temporal das perguntas:

1. Recência (Recency): Mede a frequência esperada de atualização da resposta. É categorizada em 12 classes discretas, variando de "Dentro de uma hora" até "Nunca" (fatos permanentes).
2. Estacionariedade (Stationarity): Determina se a frequência de atualização é consistente ao longo do tempo.
   • Estacionária: A classe de recência permanece a mesma independentemente do contexto (ex.: "Quem é o presidente dos EUA?" muda a cada 4 anos, independentemente do momento).
   • Não Estacionária: A classe de recência varia dependendo do contexto temporal (ex.: "Quem lidera a tabela de medalhas olímpicas?" muda frequentemente durante os jogos, mas não entre eles).

B. Dataset RECENCYQA

Com base na taxonomia, foi construído o RECENCYQA, o primeiro dataset de perguntas de domínio aberto anotado com essas duas dimensões.

• Construção:
  • Seleção de Perguntas: Amostragem de datasets existentes (FreshQA, PATQA, SituatedQA) e geração de novas perguntas baseadas em eventos reais usando o modelo LLaMA 3.3 (70B).
  • Rotulagem: Uso de múltiplas amostras do LLaMA 3.3 (13 vezes por pergunta) para gerar uma distribuição de probabilidade sobre as 12 classes de recência. A classe majoritária é atribuída como rótulo principal.
  • Validação de Estacionariedade: Consolidação de rótulos através de votação entre três LLMs de ponta (GPT-5, Gemini, Claude) e validação cruzada com a distribuição de recência observada.
  • Geração de Contexto: Criação de contextos temporais específicos para ancorar o comportamento temporal da pergunta.
• Estatísticas: O dataset final contém 4.031 perguntas, com 2.910 estacionárias e 1.121 não estacionárias, incluindo contextos verificados e distribuições de recência.

C. Avaliação Experimental

Foram avaliados seis LLMs (Qwen 2.5, LLaMA 3, Mistral, Gemma 3, Apertus) em três tarefas:

1. Classificação de Recência: Prever a classe de recência apenas com a pergunta (sem contexto).
2. Sensibilidade ao Contexto: Comparar o desempenho com e sem contexto temporal fornecido.
3. Transição Dinâmica (RL1 → RL2): Avaliar a capacidade do modelo de adaptar sua previsão quando o contexto muda (apenas para perguntas não estacionárias).

3. Resultados Principais

• Desempenho Geral: A classificação de recência é uma tarefa desafiadora para todos os modelos, com acurácia variando entre 24% e 52%. O Few-shot prompting (poucos exemplos) geralmente superou o Zero-shot e o Chain-of-Thought.
• Impacto do Contexto:
  • Perguntas Não Estacionárias: A adição de contexto melhorou significativamente o desempenho (ganhos de >40% em alguns casos), indicando que os modelos conseguem usar pistas contextuais quando a recência é dinâmica.
  • Perguntas Estacionárias: A adição de contexto frequentemente degradou o desempenho ou não teve efeito. Isso sugere que os modelos atribuem peso indevido a pistas temporais mesmo quando a resposta é estável, revelando uma falta de "seletividade temporal".
• Transição Dinâmica: Os modelos têm dificuldade em adaptar-se a mudanças contextuais. Embora a precisão por contexto seja moderada, a precisão de transição (mudar corretamente a resposta de RL1 para RL2) foi muito baixa (ex.: 14,8% no Few-shot para o Gemma 3), indicando raciocínio temporal predominantemente estático.
• Correlação com Tamanho: Modelos maiores tendem a performar melhor, mas a dificuldade aumenta conforme a frequência de atualização da resposta aumenta.

4. Contribuições Chave

1. Taxonomia Recência-Estacionariedade: Um framework formal para quantificar a volatilidade de respostas e a estabilidade de sua frequência de atualização.
2. Dataset RECENCYQA: Um recurso de benchmark com 4.031 perguntas anotadas com distribuições de recência, rótulos de estacionariedade e contextos temporais verificados.
3. Análise de Limitações: Evidência empírica de que os LLMs atuais falham em distinguir quando devem buscar informações atualizadas versus quando podem confiar no conhecimento interno, especialmente em cenários dinâmicos.

5. Significado e Impacto

O trabalho estabelece uma base fundamental para o desenvolvimento de sistemas de Resposta a Perguntas (QA) e Recuperação de Informação (RAG) conscientes da recência.

• Permite uma avaliação mais granular do raciocínio temporal, indo além da simples "frescura" binária.
• Orienta o desenvolvimento de mecanismos que decidem proativamente quando recuperar informações externas com base na demanda de recência da pergunta e na natureza estacionária ou não estacionária do tópico.
• Oferece um benchmark para calibrar a confiança temporal e melhorar a precisão em aplicações do mundo real onde a atualização de dados é crítica (ex.: finanças, notícias, saúde).

Em resumo, o artigo demonstra que a inteligência temporal dos LLMs não é apenas sobre "ter dados novos", mas sobre entender a dinâmica de mudança dos fatos e adaptar o comportamento de busca e raciocínio de acordo com a estabilidade do tópico.