Resumo Técnico: Frescor e os Limites da Detecção de Tendências por Heurística em RAG Temporal

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) normalmente classificam evidências baseando-se apenas na similaridade semântica dentro de um espaço de incorporação (embedding), ignorando a dinâmica temporal. Essa abordagem atemporal falha em domínios onde a recência, a validade histórica ou a evolução de tópicos são críticos (ex: cibersegurança, análise esportiva, notícias). Sem um componente temporal, os sistemas RAG correm o risco de apresentar informações obsoletas, perder atualizações críticas ou fornecer declarações "conforme ocorrido em" incorretas. Embora as incorporações vetoriais se destaquem na proximidade semântica, elas não conseguem distinguir entre uma atualização nova e uma informação redundante e desatualizada.

Metodologia

Os autores propõem uma camada de memória temporal leve e agnóstica ao modelo que se integra diretamente em pipelines RAG existentes sem o retreinamento dos modelos base. O sistema opera através de quatro estágios distintos:

1. Normalização de Dados: Fluxos de entrada díspares (ex: logs JSONL, CSVs) são mapeados para um esquema unificado contendo um carimbo de data/hora UTC, uma representação de texto compacta e chaves de domínio opcionais.
2. Incorporação (Embedding): Representações de texto são codificadas em vetores de 384 dimensões usando um modelo Sentence-BERT leve (all-MiniLM-L6-v2). Os vetores são normalizados via L2 e armazenados como float16.
3. Rastreamento Semanal de Tópicos:
   • Eventos são agrupados por semana ISO.
   • Agrupamento (Clustering): O K-means é aplicado dentro de cada semana para identificar temas dominantes. O número de clusters ($K$) é determinado automaticamente via método do cotovelo (elbow method).
   • Correspondência (Matching): Clusters de semanas adjacentes são vinculados usando uma atribuição gulosa de um-para-um baseada na similaridade de cosseno dos centroides.
   • Rotulagem: Com base nas mudanças de tamanho e movimento do centroide, os tópicos recebem rótulos: Emergência, Crescimento, Declínio, Deriva ou Estável.
4. Recuperação Consciente do Tempo:
   • Consultas "As-of" (Conforme ocorrido em): O sistema filtra a base de conhecimento para incluir apenas documentos até uma data de corte especificada.
   • Consultas de Recência: Candidatos são reclassificados usando uma pontuação fundida que combina similaridade semântica com um prior de decaimento temporal:
     $$\text{score}(q, d, t) = \alpha \cos(q, d) + (1 - \alpha) \cdot 0.5^{\text{age\_days}(t)/h}$$
     Onde $\alpha$ equilibra semântica vs. recência (padrão 0.7) e $h$ é a meia-vida em dias (padrão 14). Crucialmente, os autores observam que para o frescor funcionar, o pool de candidatos deve ser amplo (ou o corpus completo); um corte de cosseno top-$K$ estreito frequentemente descarta o item mais novo e relevante antes que o prior de recência possa agir.

Principais Contribuições

O artigo faz duas contribuições primárias, desacoplando empiricamente o problema do RAG temporal em dois desafios distintos:

1. Uma Solução de Frescor Tratável: Os autores demonstram que um simples prior de recência (decaimento de meia-vida) consegue destacar a evidência mais recente e relevante. Isso é alcançado fundindo pontuações semânticas com uma função de decaimento temporal, permitindo que itens mais novos superem itens antigos quando apropriado.
2. Localização da Falha Heurística na Evolução de Tópicos: O artigo investiga o desempenho de rastreadores de evolução de tópicos baseados em heurísticas simples. Ele descobre que o baixo desempenho de tais rastreadores (baixo macro-F1) não é impulsionado pelo algoritmo de agrupamento (ex: K-means vs. HDBSCAN), mas sim pela regra de rotulagem. A regra que compara semanas consecutivas (delta por semana) falha em capturar tendências de múltiplas semanas, enquanto uma regra relativa à linha de base melhora significativamente o desempenho.

Resultados Experimentais

O sistema foi avaliado em três corpora de realismo crescente:

• Fluxo de Logs Sintéticos:
  • Frescor: A pontuação fundida alcançou 1.00 Latest@10 (item mais novo relevante no top 10), enquanto a linha de base de cosseno pura marcou 0.00.
  • Detecção de Tendência: A regra de rotulagem de linha de base alcançou um macro-F1 de 0.08. Substituir a regra por uma abordagem relativa à linha de base elevou isso para 0.49, e o uso de volumes de verdade fundamental (removendo o ruído de agrupamento) atingiu 0.96. Trocar K-means por HDBSCAN teve impacto negligível (0.10), confirmando que a regra é o gargalo.
• Corpus CERT Logon (849k eventos):
  • Este conjunto de dados serviu como teste de estresse para o frescor, mas foi "degenerado" para detecção de tendência devido a representações de texto quase constantes.
  • Frescor: Com parâmetros ajustados ao corpus ($\alpha=0.3, h=3$), o sistema alcançou 1.00 Latest-Set@10. Os parâmetros padrão sintéticos falharam (0.00), destacando a sensibilidade aos parâmetros.
• Descrições NVD CVE (Dados Reais Diversos):
  • Este corpus testou o cenário "mais novo $\neq$ mais similar". O CVE mais novo e relevante era frequentemente classificado baixo por similaridade de cosseno (ex: 87º percentil para SQL injection).
  • Frescor: A pontuação fundida elevou o Latest@10 de 0.00 (cosseno) e 0.20 (semântico-então-mais-novo) para 0.60 (com $\alpha=0.3$ ajustado).
  • Relevância: A relevância no top-10 (nDCG@10) permaneceu alta ($\ge 0.90$), embora a Precisão@10 tenha visto um compromisso modesto conforme a recência aumentou.

Significância e Alegações

O artigo afirma fornecer um framework reprodutível e desacoplado para RAG temporal que oferece "escopo de dados reais e honesto" para cada componente:

• O Frescor é Real, mas Parcial: Um simples prior de recência é eficaz para destacar evidências recentes, mas é sensível a parâmetros e dependente da densidade do corpus. Não é um problema "resolvido"; fechar a lacuna em dados diversos exige modelos de aprendizado de ranking (learned-to-rank).
• A Evolução de Tópicos é um Problema de Rotulagem: A falha de rastreadores heurísticos simples deve-se principalmente à regra de rotulagem, e não ao algoritmo de agrupamento. Isso reorienta a direção da pesquisa para regras de rotulagem conscientes de mudança e agrupamento baseado em densidade (para evitar o $K$ fixo), em vez de simplesmente buscar agrupadores mais poderosos.
• Engenharia Prática: A abordagem oferece uma solução pragmática para profissionais que não podem retreinar modelos base. Ela ocupa uma posição distinta no espectro de complexidade: um passo de pós-processamento que é mais integrado do que a filtragem simples, mas menos complexo do que redes completas de redesign de pipeline (ex: Grafos de Conhecimento Temporais ou recuperadores especializados).

Os autores concluem que, embora o frescor básico possa ser parcialmente abordado com um prior temporal leve, alcançar uma compreensão temporal profunda para IA continua sendo um desafio de pesquisa significativo e aberto.