Resumo Técnico: Grandes Modelos para Dados de Séries Temporais e Espaçotemporais: Um Levantamento e Perspectivas

1. Definição do Problema

Dados temporais, abrangendo séries temporais e dados espaçotemporais, são onipresentes em aplicações do mundo real, que variam desde geociências e transporte até saúde e finanças. Embora esses tipos de dados sejam críticos para a compreensão de comportamentos de sistemas dinâmicos, sua análise historicamente dependeu de modelagem estatística e arquiteturas de aprendizado profundo compactas (ex: RNNs, CNNs, GNNs e Transformers padrão). Esses modelos tradicionais são frequentemente específicos para tarefas, limitados em sua capacidade de suportar transferência de aprendizado ampla e carecem de representação semântica robusta e capacidades de raciocínio multitarefa.

Embora os Grandes Modelos de Linguagem (LLMs) e os Modelos de Fundação Pré-treinados (PFMs) tenham alcançado um sucesso notável no Processamento de Linguagem Natural (NLP), Visão Computacional (CV) e outras modalidades, sua aplicação a dados temporais permanece fragmentada. Um desafio significativo reside na disponibilidade limitada de conjuntos de dados de grande escala, diversos e de alta qualidade para dados temporais em comparação com texto ou imagens. Além disso, há uma falta de um framework unificado que integre o estudo de séries temporais e dados espaçotemporais (incluindo grafos, grafos de conhecimento e vídeos) sob o paradigma de grandes modelos. O campo requer uma revisão abrangente para consolidar avanços recentes, esclarecer distinções metodológicas e identificar oportunidades de pesquisa abertas.

2. Metodologia e Taxonomia

Este artigo não propõe um novo algoritmo ou modelo experimental, mas sim fornece um levantamento abrangente e uma taxonomia sistemática dos existentes grandes modelos adaptados para dados de séries temporais e espaçotemporais. Os autores organizam a literatura ao longo de quatro dimensões primárias: tipos de dados, categorias de modelos, escopos de modelos e áreas de aplicação/tarefas.

2.1 Definições Essenciais

O levantamento distingue dois grupos operacionais de grandes modelos:

• Grandes Modelos de Linguagem (LLMs): Modelos de fundação centrados em linguagem reaproveitados para tarefas temporais. Isso inclui tanto modelos de embeddings visíveis (código aberto, ex: Llama, BLOOM) quanto modelos de embeddings invisíveis (código fechado, ex: GPT-4, PaLM). As estratégias de adaptação incluem prompting, reprogramação e ajuste fino (ex: adaptadores, LoRA).
• Modelos de Fundação Pré-treinados (PFMs): Modelos projetados ou adaptados especificamente como backbones de propósito geral para dados temporais, espaciais, relacionais ou multimodais. Estes são distintos de modelos específicos para tarefas e visam capacidades emergentes como ponte de modalidades e raciocínio.

2.2 Taxonomia Unificada

Os autores categorizam o campo em dois clusters principais:

1. Grandes Modelos para Séries Temporais (LM4TS):
   • LLM4TS: Reaproveitamento de modelos de linguagem para tarefas de séries temporais (previsão, classificação, etc.).
   • PFM4TS: Modelos pré-treinados especificamente em dados de séries temporais (ex: Chronos, TimesFM).
   • Escopo: Dividido em Propósito Geral (cross-domain) e Específico de Domínio (Transporte, Finanças, Saúde).
2. Grandes Modelos para Dados Espaçotemporais (LM4STD):
   • LLM4STD & PFM4STD: Modelos que lidam com Grafos Espaçotemporais (STGs), Grafos de Conhecimento Temporais (TKGs) e Dados de Vídeo.
   • Escopo: Similarmente dividido em Propósito Geral e Específico de Domínio (ex: Clima, Computação Urbana).

2.3 Escopo da Revisão

O levantamento cobre trabalhos publicados ou lançados até o momento da submissão (cerca de 2025-2026), extraídos de bases de dados principais (ACM, IEEE, arXiv, etc.). Inclui:

• Séries Temporais: Previsão, classificação, detecção de anomalias, imputação.
• Grafos Espaçotemporais: Previsão de tráfego, predição de links.
• Grafos de Conhecimento Temporais: Completude e previsão.
• Dados de Vídeo: Questionamento de vídeo (QA), legendagem, antecipação.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Um Levantamento Abrangente e Fundamental: Oferece uma revisão profunda dos avanços em grandes modelos para dados temporais, servindo como um recurso fundamental para pesquisadores e profissionais ao mapear sistematicamente o panorama do campo.
2. Taxonomia Unificada e Estruturada: Os autores introduzem um sistema de classificação inovador que organiza a pesquisa em LM4TS e LM4STD, subdivididos por tipo de modelo (LLM vs. PFM) e escopo (Geral vs. Específico de Domínio). Isso fornece um roteiro coerente para entender o campo sob múltiplas perspectivas.
3. Compilação de Recursos Abundantes: O artigo reúne uma riqueza de recursos, incluindo conjuntos de dados (ex: METR-LA, MIMIC-III, CMIP6), implementações de código aberto e benchmarks de avaliação, organizados por principais áreas de aplicação.
4. Oportunidades de Pesquisa Futura: Os autores identificam e detalham seis vias promissoras para pesquisas futuras:
   • Análise Teórica: Compreender a transferibilidade de representações linguísticas para sequências temporais.
   • Modelos Multimodais: Alinhar sinais temporais de múltiplas resoluções através de texto, números e imagens.
   • Aprendizado Contínuo: Abordar a não-estacionaridade e o desvio de conceito (concept drift) sem esquecimento catastrófico.
   • Interpretabilidade: Desenvolver frameworks para explicar decisões de modelos em domínios de alto risco.
   • Privacidade e Segurança: Mitigar riscos de vazamento de dados e ataques adversários em dados temporais sensíveis.
   • Agentes de LLM: Permitir tomada de decisão robusta e consciente de incertezas em sistemas de séries temporais.

4. Principais Descobertas e Resultados

O levantamento sintetiza o estado da arte atual sem apresentar novos resultados experimentais, destacando as seguintes tendências e observações:

• Reaproveitamento vs. Pré-treinamento: Existe uma tendência dupla onde pesquisadores ou reaproveitam LLMs existentes (via prompting ou reprogramação, ex: Time-LLM, PromptCast) ou desenvolvem PFMs dedicados pré-treinados em vastos corpora temporais (ex: Chronos, Pangu-Weather).
• Adaptação de Domínio: Progressos significativos foram feitos em aplicações específicas de domínio. Na Saúde, modelos como NYUTron e MedTsLLM mostram potencial na predição de eventos clínicos. Em Finanças, modelos como M2VN e GPT4FTS integram notícias textuais com dados numéricos para previsão de volatilidade. No Clima, modelos como Pangu-Weather e ClimaX revolucionaram a previsão global com alta precisão e redução de custos computacionais.
• Complexidade Espaçotemporal: Para grafos espaçotemporais e vídeos, grandes modelos são cada vez mais usados para integrar semântica textual com dados estruturais ou visuais. Modelos como STG-LLM e Video-LLaMA demonstram a capacidade de lidar com interações complexas e dependências de longo alcance.
• Desafios: O levantamento observa que, apesar do progresso, permanecem desafios, incluindo a escassez de conjuntos de dados temporais de grande escala e alta qualidade, a dificuldade de alinhar a dinâmica de grafos simbólicos com mudanças temporais contínuas e os custos computacionais associados ao processamento de sequências de vídeo longas ou redes dinâmicas de grande porte.

5. Significância e Perspectivas

O artigo posiciona-se como um catalisador para o florescente campo de grandes modelos para dados temporais. Sua significância reside em:

• Integração: Ele preenche a lacuna entre a análise de séries temporais e a análise espaçotemporal, promovendo a polinização cruzada de ideias entre domínios que antes eram estudados isoladamente.
• Padronização: Ao fornecer uma taxonomia unificada, ajuda a padronizar a terminologia e a classificação de modelos, auxiliando na comparação de diferentes abordagens.
• Acessibilidade de Recursos: A compilação de conjuntos de dados e ferramentas reduz a barreira de entrada para novos pesquisadores.
• Definição de Direção: Ao delinear direções futuras específicas (ex: análise teórica de transferibilidade, PFMs preservadores de privacidade), o artigo guia a comunidade para enfrentar as limitações fundamentais das metodologias atuais.

Os autores concluem que, embora a integração de grandes modelos na análise de dados temporais enfrente desafios únicos, o potencial para avançar a Inteligência Artificial Geral (AGI) na compreensão e processamento de dinâmicas temporais é substancial. O levantamento visa estimular a curiosidade e a pesquisa nesta área dinâmica.