Resumo Técnico: GenTS – Uma Biblioteca Abrangente de Benchmarks para Modelos de Séries Temporais Generativas

1. Declaração do Problema

Embora os modelos generativos tenham demonstrado potencial significativo na análise de séries temporais (por exemplo, síntese, previsão, imputação), o ecossistema atual carece de uma biblioteca de benchmarks unificada e abrangente, projetada especificamente para eles. As bibliotecas existentes de séries temporais (por exemplo, TSLib, GluonTS) são projetadas principalmente para modelos discriminativos, apresentando fluxos de trabalho rígidos otimizados para tarefas específicas, como a minimização do Erro Quadrático Médio (MSE) para previsão.

Essa estrutura é fundamentalmente incompatível com modelos generativos, que frequentemente empregam paradigmas de treinamento distintos e complexos (por exemplo, treinamento adversarial, processos de difusão, equações diferenciais) voltados para aprender distribuições de dados subjacentes, em vez de mapeamentos diretos de entrada-saída. Além disso, as bibliotecas existentes frequentemente carecem de cobertura em:

• Tarefas Diversas: Muitas focam em uma única tarefa (por exemplo, apenas síntese ou apenas previsão) ou ignoram a versatilidade.
• Diversidade de Modelos: Poucas bibliotecas integram o espectro completo de arquiteturas generativas (GANs, VAEs, Difusões, Fluxos, Equações Diferenciais).
• Avaliação: Há uma escassez de métricas de avaliação padronizadas e panorâmicas que avaliem tanto a fidelidade estatística quanto a utilidade downstream.

Essa lacuna impede a avaliação sistemática de novos avanços e a comparação de diferentes abordagens generativas.

2. Metodologia: O Framework GenTS

Para abordar essas limitações, os autores propõem o GenTS, uma biblioteca de benchmarks abrangente e extensível construída sobre PyTorch e PyTorch Lightning. O framework é projetado com uma arquitetura modular que cobre todo o pipeline de benchmarking:

A. Pré-processamento de Dados

• Conjuntos de Dados Multi-Domínio: O GenTS inclui mais de 15 conjuntos de dados de seis domínios (Tráfego, Energia, Financeiro, Médico, Clima, Física), variando de resoluções de alta frequência (Hz) a diárias.
• Dados Sintéticos: Inclui simulações simples de trajetórias físicas (Spiral2D, SineND) para prototipagem rápida.
• BaseDataModule: Uma classe personalizável (herdando LightningDataModule) que gerencia a divisão de conjuntos de dados, a instanciação de dataloaders e o pré-processamento específico de tarefas (por exemplo, simular valores ausentes para imputação ou definir janelas de retrovisor para previsão). Suporta séries temporais irregulares e conjuntos de dados personalizados definidos pelo usuário.

B. Treinamento de Modelos

• Cobertura de Modelos: A biblioteca implementa mais de 25 modelos de última geração (SOTA) e suas variantes, categorizados em cinco tipos:
  • GANs: TimeGAN, RCGAN, COSCIGAN, etc.
  • VAEs: TimeVAE, KoVAE, TimeVQVAE, etc.
  • Difusão: DiffusionTS, CSDI, ImagenTime, TMDM, etc.
  • Fluxos: MAF, FourierFlow, etc.
  • Equações Diferenciais: LatentODE, LatentSDE, etc.
• Baselines Ingênuas: Quatro modelos "Vanilla" (VanillaVAE, VanillaGAN, VanillaDDPM, VanillaMAF) são fornecidos como pontos de partida, utilizando MLPs simples ou backbones 1D-CNN sem adaptações específicas de tarefa.
• BaseModel: Uma classe modelo (herdando LightningModule) que padroniza os passos de treinamento, validação e amostragem. Suporta callbacks flexíveis, registro de logs e acumulação de gradientes. Também inclui um método sample unificado para gerar séries temporais sob várias condições (incondicional, guiada por classe, previsão, imputação).

C. Avaliação de Desempenho

O GenTS vai além do simples MSE para fornecer uma suíte de avaliação panorâmica:

• Métricas Livres de Modelo: Medidas estatísticas incluindo Distância de Wasserstein, Pontuação de Probabilidade Ranqueada Contínua (CRPS) e MSE para medir a proximidade distribucional.
• Métricas Baseadas em Modelo: Avaliações baseadas em redes neurais incluindo:
  • Pontuação Preditiva (PS): Avalia a utilidade de dados sintéticos para treinar modelos de previsão downstream (Treinar em Sintético, Testar em Real).
  • Pontuação Discriminativa (DS): Mede o quão distinguíveis os dados sintéticos são dos dados reais usando um classificador post-hoc.
  • Context-FID (C-FID): Adapta a Distância Fréchet Inception usando embeddings TS2Vec para medir o alinhamento do contexto temporal local.
• Visualização: Ferramentas para visualização t-SNE de distribuições 2D e plotagem de resultados de previsão/imputação com intervalos de previsão.

3. Contribuições Principais

1. Biblioteca GenTS: A primeira biblioteca de benchmarks abrangente projetada especificamente para modelos de séries temporais generativas, oferecendo fluxos de trabalho padronizados, porém personalizáveis, para preparação de dados, treinamento e avaliação em tarefas incondicionais e condicionais.
2. Benchmarking Extensivo: Os autores conduziram experimentos em larga escala em três tarefas principais — Síntese (incondicional e guiada por classe), Previsão e Imputação — utilizando diversos conjuntos de dados e modelos.
3. Insights Empíricos e Diretrizes: Com base nos resultados do benchmark, o artigo fornece sugestões concretas para seleção de modelos em contextos de tarefas cruzadas e específicas de tarefa, identificando potenciais direções futuras de pesquisa.

4. Resultados Experimentais

Os experimentos de benchmarking produziram várias descobertas-chave:

• Síntese de Séries Temporais:
  • Modelos de Difusão (por exemplo, ImagenTime, DiffusionTS) geralmente demonstraram superioridade, particularmente em métricas baseadas em modelo (PS e DS), indicando alta fidelidade e utilidade downstream.
  • GANs: Embora geralmente menos estáveis, o COSCIGAN destacou-se por sua capacidade de ajustar distribuições de dados complexas, apresentando bom desempenho em C-FID e Distância de Wasserstein.
  • Síntese Guiada por Classe: O TimeVQVAE mostrou o melhor alinhamento com clusters reais rotulados por classe. GANs geraram dados categorizados, mas falharam em alinhar-se bem com clusters reais.
• Previsão de Séries Temporais:
  • CSDI e TMDM frequentemente se classificaram como os melhores desempenhos tanto para previsão determinística quanto probabilística.
  • O TMDM mostrou vantagens absolutas em conjuntos de dados não estacionários (por exemplo, Ações) devido ao seu backbone especializado.
  • Surpreendentemente, baselines ingênuas (VanillaMAF, VanillaVAE) mostraram desempenho competitivo em conjuntos de dados específicos (ETTh, Eletricidade), sugerindo que a complexidade arquitetural nem sempre é necessária.
• Imputação de Séries Temporais:
  • Modelos baseados em Difusão dominaram essa tarefa com superioridade absoluta. O CSDI consistentemente superou todos os outros modelos, seguido por ImagenTime e DiffusionTS.
  • Modelos baseados em Equações Diferenciais e baselines ingênuas geralmente exibiram desempenho mais fraco, raramente alcançando classificações no top-3.
• Eficiência:
  • GANs e VAEs: O ônus computacional está principalmente no treinamento; a inferência é rápida.
  • Modelos de Difusão: A velocidade de treinamento é comparável à de outros, mas a inferência é mais lenta devido à remoção iterativa de ruído, tornando-os adequados para implantação offline.
  • Equações Diferenciais: Naturalmente sobrecarregadas por grafos de computação maiores devido à resolução de problemas de valor inicial.

5. Significado e Direções Futuras

O artigo afirma que o GenTS preenche uma lacuna crítica na comunidade de séries temporais generativas, fornecendo uma plataforma unificada para avaliação sistemática. Os autores enfatizam que modelos baseados em difusão são atualmente a escolha mais robusta e recomendável para geração de séries temporais de propósito geral, particularmente para tarefas condicionais.

Os autores sugerem modestamente três potenciais direções futuras de pesquisa:

1. Modelos Fundamentais de Séries Temporais Generativas: Desenvolver modelos treinados em distribuições de dados globais para serem inferidos de forma controlável para diversas tarefas downstream.
2. Avaliação Robusta: Abordar a sensibilidade das métricas baseadas em modelo (PS, DS) à escolha de modelos avaliadores auxiliares, desenvolvendo métricas mais holísticas.
3. Desenvolvimento Online: Criar paradigmas adaptativos para séries temporais dinâmicas do mundo real com mudanças complexas de distribuição, indo além de ambientes estáticos para reduzir latência e ônus computacional.

Os autores concluem que, embora os modelos baseados em equações diferenciais tenham tido desempenho inferior nos benchmarks atuais, seu viés indutivo inerente para tempo contínuo sugere que permanecem uma área promissora e pouco explorada.