Resumo Técnico: Compreensão Temporal Estruturada, porém Limitada, em Grandes Modelos de Linguagem

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem um forte desempenho em tarefas temporalmente fundamentadas (ex: construção de linhas do tempo, QA temporal), permanece incerto como o seu raciocínio temporal depende do enquadramento linguístico e cognitivo do tempo. As abordagens existentes frequentemente tratam o tempo como carimbos de tempo absolutos ou relações discretas, falhando em considerar como os LLMs, treinados em linguagem natural, herdam abstrações temporais codificadas linguisticamente. Especificamente, falta ao campo uma compreensão sistemática de como os LLMs se adaptam a diferentes Quadros de Referência Temporal (t-FoRs) — distinguindo entre o enquadramento dêitico (ancorado no "agora" de um experienciador, gerando passado/presente/futuro) e o enquadramento sequencial (ancorado em um evento específico, gerando antes/depois). Além disso, a influência de fatores estruturais, como distância temporal, topologia de intervalo (Álgebra de Intervalos de Allen) e duração do evento sobre as representações temporais dos LLMs não está bem caracterizada.

Metodologia

Os autores propõem um framework de avaliação sensível ao quadro utilizando uma tarefa de julgamento de similaridade para sondar a cognição temporal dos LLMs.

1. Construção do Dataset

• Fonte: Eventos do mundo real extraídos da Wikidata, resultando em um dataset de 49.956 eventos abrangendo de 0001 a 2100.
• Anonimização: Para evitar a dependência de conhecimento histórico memorizado, os nomes dos eventos foram substituídos por nomes de animais raros, preservando os carimbos de tempo de início e fim.
• Amostragem: Um subconjunto equilibrado de 321 eventos foi selecionado para garantir a cobertura de todas as 13 relações da Álgebra de Intervalos de Allen.
• Escala: O dataset final contém aproximadamente 2,9 milhões de entradas para o t-FoR dêico e aproximadamente 51.000 entradas para o t-FoR sequencial.

2. Design Experimental

O estudo avalia dois LLMs de código aberto: Qwen3-4B e Qwen3-30B.

• t-FoR Dêico: Os pontos de referência são gerados como uma sequência de carimbos de tempo "agora" ($\tau$) relativos ao experienciador. Os pares de dados são $(\tau, e_i)$, onde $e_i$ é um evento alvo.
• t-FoR Sequencial: Os pontos de referência são eventos específicos ($e_j$). Os pares de dados são $(e_i, e_j)$, estabelecendo a ordenação relativa.
• Tarefa: Os modelos são instruídos a fornecer um escore de similaridade $s \in [-1.00, 1.00]$ indicando o quão similar o tempo/evento de referência é ao evento alvo.
• Métricas:
  • Similaridade Média vs. Distância Temporal: Analisada como uma função da distância assinada (dias).
  • Variância Específica de Intervalo: Agrupada por relações de Allen para medir a estabilidade.
  • Interação de Duração: Analisada via mapas de calor de bins de (distância, duração).

Principais Resultados

1. Adaptação aos Quadros de Referência Temporal

Os LLMs adaptam sistematicamente seu comportamento ao t-FoR escolhido, mas os padrões resultantes diferem significativamente:

• t-FoR Dêico: Os escores de similaridade formam uma estrutura graduada e assimétrica centrada no presente.
  • Futuro: Os escores caem abruptamente e convergem para -1.00 com baixa variância, indicando uma representação comprimida e uniforme.
  • Passado: Os escores declinam mais gradualmente com uma variância substancialmente maior, sugerindo uma representação mais rica, porém menos estável, de eventos passados.
• t-FoR Sequencial: Os escores de similaridade exibem uma forte polarização. Uma vez que os eventos estão temporalmente separados (distância não nula), os escores colapsam rapidamente para valores fortemente negativos. A variância concentra-se apenas próximo à distância zero (onde múltiplas relações de intervalo como sobreposição ou encontro coexistem).

2. Influência da Estrutura de Intervalo (Álgebra de Allen)

• Relações Estáveis: Relações estritamente ordenadas (antes, depois) e relações alinhadas por limites (encontra, é encontrado por, é igual a) produzem escores consistentes e polarizados.
• Relações Instáveis: Relações de sobreposição e contenção (ex: sobrepõe, durante, contém) exibem variância significativamente maior. Isso indica que os LLMs têm dificuldade com topologias temporais estruturalmente ambíguas, particularmente no quadro sequencial.

3. Interação de Duração e Distância Temporal

• t-FoR Dêico (Apenas Passado): Um efeito de duração distinto é observado para eventos passados. Eventos passados de longa duração recebem classificações de similaridade mais altas do que eventos de curta duração em distâncias comparáveis. Em alguns casos, eventos distantes de longa duração são classificados como mais similares do que eventos próximos de curta duração.
• Sem Efeito de Duração: Essa modulação não ocorre para eventos futuros no quadro dêico, nem aparece sob o t-FoR sequencial, onde a similaridade permanece polarizada independentemente da duração.

Principais Contribuições

1. Framework de Avaliação Sensível ao Quadro: Introduziu um benchmark contrastando t-FoRs dêicos e sequenciais usando julgamentos de similaridade em eventos do mundo real, indo além da simples correção factual.
2. Dataset Temporal de Grande Escala: Criou um dataset derivado da Wikidata que preserva a estrutura de intervalo e a duração, permitindo uma análise sistemática de distância temporal, álgebra de Allen e duração em escala.
3. Caracterização Empírica do Comportamento Temporal: Forneceu evidências de que a compreensão temporal dos LLMs é dependente de quadro e moldada por fatores estruturais, identificando especificamente:
   • Assimetria passado-futuro sob enquadramento dêico.
   • Colapso rápido de similaridade sob enquadramento sequencial.
   • Instabilidade elevada em relações baseadas em sobreposição.
   • Efeitos de duração restritos a eventos passados sob ancoragem dêica.

Significância e Alegações

O artigo argumenta que os LLMs possuem uma forma de compreensão temporal estruturada, porém limitada.

• Estruturada: Os LLMs não tratam o tempo aleatoriamente; eles se adaptam coerentemente a diferentes estruturas de referência (dêico vs. sequencial) e são sensíveis à geometria de intervalos e à duração.
• Limitada: Esta compreensão não é uma métrica temporal global e explícita. Ela é restringida pelas regularidades linguísticas e cognitivas codificadas na linguagem natural.
  • As representações são mais ricas no passado do que no futuro.
  • As representações são mais estáveis para relações limpas de ordenação do que para intervalos sobrepostos.
  • A assimetria passado-futuro e o efeito de duração seletivo sugerem que os LLMs não possuem um senso de tempo objetivo e simétrico, mas sim um senso perspectivo ancorado no "experienciador" ou em eventos específicos.

Os autores concluem que a compreensão temporal em LLMs é provavelmente moldada por regularidades adquiridas linguisticamente, em vez de mecanismos de inferência temporal explícitos, manifestando-se como um espaço de similaridade graduado e ancorado no contexto que se adapta ao enquadramento, mas que não colapsa em uma única métrica global.

Limitações

O estudo é atualmente limitado ao texto em inglês. A escolha das taxonomias de t-FoR baseia-se em Evans (2013) para complementar trabalhos anteriores, embora o artigo reconheça que não há um consenso universal sobre qual taxonomia melhor descreve as relações de eventos.