Evaluating Temporal Consistency in Multi-Turn Language Models

Resumo Técnico: Avaliando a Consistência Temporal em Modelos de Linguagem Multi-Turn

1. O Problema: Instabilidade de Escopo Temporal

O artigo aborda uma falha crítica em modelos de linguagem (LLMs) quando utilizados em diálogos interativos: a incapacidade de manter e atualizar o escopo temporal ao longo de uma conversa.

Em interações humanas, uma vez que um contexto temporal é estabelecido (ex: "Em 2010, quem era o Primeiro-Ministro do Reino Unido?"), assume-se que as perguntas subsequentes que omitem referências temporais (ex: "Quais foram as principais políticas dele?") herdam esse mesmo contexto. Os autores identificam que os LLMs frequentemente sofrem de "deriva temporal" (temporal drift), onde o modelo abandona o contexto histórico estabelecido e retorna a suposições do presente (conhecimento atual), mesmo possuindo a informação correta em sua base de dados. Esse erro não é uma alucinação (geração de fatos falsos), mas sim uma falha de coerência contextual (atribuição de um fato correto ao tempo errado).

2. Metodologia: O Benchmark ChronoScope

Para diagnosticar esse problema, os pesquisadores introduziram o ChronoScope, um benchmark de larga escala projetado para isolar o comportamento do escopo temporal em interações controladas.

• Construção de Dados: O dataset é composto por mais de 1,4 milhão de cadeias de perguntas geradas de forma determinística a partir do grafo de conhecimento Wikidata. Isso garante que todas as respostas sejam factualmente verificáveis e reprodutíveis.
• Estrutura das Cadeias: As interações são divididas em "famílias de cadeias" que testam diferentes padrões de raciocínio:
  • Carryover: Onde o escopo deve ser herdado implicitamente.
  • Scope Switch: Onde o usuário muda explicitamente o ano, exigindo que o modelo atualize o contexto.
  • Cross-Entity Transfer: Onde o escopo temporal deve ser transferido para uma entidade relacionada.
  • Temporal Narratives: Trajetórias de longo prazo que acompanham mudanças ao longo de vários anos.
• Configurações de Avaliação: Para isolar a causa das falhas, os modelos são testados em três cenários:
  1. Gold Context: O modelo recebe o histórico perfeito (respostas corretas de turnos anteriores), isolando se o erro é de raciocínio de escopo ou de falta de conhecimento.
  2. Self-Conditioned: O modelo interage com suas próprias respostas anteriores (cenário realista), permitindo observar a propagação de erros.
  3. Questions Only: O modelo recebe apenas a pergunta atual, servindo como um limite inferior de desempenho.

3. Principais Contribuições

1. Formalização do Conceito: Definição de "estabilidade de escopo temporal" como uma propriedade mensurável de modelos de linguagem.
2. ChronoScope Dataset: Um benchmark massivo e determinístico que permite o diagnóstico preciso de falhas de coerência temporal.
3. Identificação do "Paradoxo da Escala": Demonstração de que modelos maiores e mais potentes não resolvem necessariamente o problema e podem, inclusive, apresentar maior tendência ao viés do presente devido à forte memorização de fatos atuais durante o pré-treinamento.

4. Resultados Principais

• Falha na Manutenção de Estado: A precisão em cadeias longas (multi-turn) colapsa drasticamente no cenário Self-Conditioned. Um único erro de escopo em um turno inicial "envenena" o restante da conversa, impedindo a recuperação do contexto correto.
• Viés do Presente (Present-Day Bias): O erro dominante é a substituição de fatos históricos por fatos do presente. Os modelos tendem a "derivar" para o ano atual sempre que o sinal temporal enfraquece.
• Diferença entre Conhecimento e Raciocínio: Os resultados mostram que a precisão factual de um único turno (single-turn) não é um bom preditor para a consistência temporal em diálogos. Modelos podem saber o fato correto, mas falham em "amarrá-lo" ao tempo solicitado pela conversa.
• Impacto da Profundidade: A instabilidade temporal aumenta conforme a interação se prolonga; quanto mais turnos ocorrem, maior a probabilidade de o modelo perder o referencial temporal original.

5. Significância e Implicações

O estudo demonstra que a melhoria na precisão factual bruta (conhecimento) não é suficiente para criar agentes de IA confiáveis para uso interativo. Para aplicações sensíveis ao tempo — como análise histórica, pesquisa jurídica, educação ou análise de políticas públicas — os modelos atuais são pouco confiáveis, pois podem fornecer respostas que parecem corretas, mas que estão temporalmente desalinhadas com a premissa do usuário.

Os autores concluem que a estabilidade de escopo temporal deve ser tratada como uma dimensão de avaliação de primeira classe no desenvolvimento de LLMs, sugerindo que futuras arquiteturas precisarão de mecanismos explícitos de rastreamento de estado temporal.