Resumo Técnico: Dados Sintéticos Ajudam? Evidências Empíricas de Previsores de Séries Temporais de Aprendizado Profundo

Declaração do Problema

Embora os dados sintéticos tenham revolucionado o treinamento de Modelos de Linguagem de Grande Escala (LLMs) e sistemas de visão computacional, sua eficácia na previsão de séries temporais permanece pouco compreendida. Diferentemente dos dados textuais, que podem ser raspados em escala, os dados de séries temporais frequentemente estão trancados atrás de paywalls ou residem em servidores privados, criando um gargalo para o treinamento de modelos fundamentais. Embora grandes modelos de previsão (por exemplo, Chronos, TimesFM, MOIRAI) tenham começado a incorporar dados sintéticos, não há consenso sobre como utilizá-los efetivamente. Especificamente, não está claro quais tipos de geradores transferem-se bem, quais quantidades são benéficas, se o agendamento curricular importa, e se a augmentação sintética ajuda quando os dados reais são abundantes versus quando são escassos. Este artigo aborda a lacuna entre a promessa teórica dos dados sintéticos e a realidade empírica de seu impacto em diversas arquiteturas de aprendizado profundo.

Metodologia

Os autores conduziram um estudo empírico em grande escala compreendendo 4.218 execuções experimentais organizadas em nove grupos experimentais distintos. O estudo avaliou cinco arquiteturas de última geração em sete conjuntos de dados reais de previsão de longo prazo (incluindo ETTh1/2, ETTm1/2, Weather, Electricity e Traffic).

1. Gerador de Dados Sintéticos

O núcleo da metodologia é um gerador de séries temporais sintéticas controlável e condicionado à dificuldade, com três componentes principais:

• Sistema de Pacotes (Bundle): Define o arquétipo temporal de canais univariados. Quatro pacotes foram criados para representar padrões reais majoritários:
  • Sazonalidade-Tendência (ST): Combina sazonalidade de Fourier, tendências determinísticas e resíduos autorregressivos.
  • Regime Não Estacionário (NR): Processos AR com troca de Markov com rupturas estruturais.
  • Memória Longa (LM): Autocorrelações de decaimento lento via ARFIMA ou movimento browniano fracionário.
  • Eventos de Volatilidade (VE): Dinâmicas financeiras modeladas via processos GARCH e Hawkes.
• Condicionamento de Dificuldade: Um escalar $d \in [0, 1]$ modula a complexidade (por exemplo, número de harmônicos, força da tendência, níveis de ruído).
• Correlação Inter-Canal: Um encapsulador de fator latente ($p_{latent}$) transforma canais gerados independentemente para introduzir correlações entre variáveis, mimetizando estruturas multivariadas reais.
• Alocação de Variância: Componentes são misturados usando pesos distribuídos Dirichlet para garantir contribuições controladas à variância total de saída.

2. Desenho Experimental

O estudo variou sistematicamente cinco fatores entre os nove grupos:

• Escassez de Dados: Simulada retendo apenas uma fração ($s \in \{0,10, 0,25, 0,50\}$) das janelas de treinamento reais.
• Razão de Augmentação: O volume de dados sintéticos adicionados em relação ao tamanho do conjunto de dados original ($r_{synth} \in \{0,25, 0,50, 1,0, 2,0\}$).
• Agendamento Curricular: Testados agendamentos de "annealing" "rígido" (interruptor binário) versus "gradual" (interpolação linear), incluindo direções sintético-para-real e real-para-sintético.
• Seleção de Pacote: Isolou o impacto de tipos específicos de pacotes (ST, NR, LM, VE).
• Correlação Latente: Variou a probabilidade de aplicar correlação inter-canais.

3. Modelos e Métricas

Cinco arquiteturas foram testadas: DLinear e PatchTST (independentes de canal), SegRNN (baseada em RNN), e TimesNet e iTransformer (mistura de canais). O desempenho foi medido usando o Erro Quadrático Médio (MSE) em conjuntos de teste reais retidos para horizontes $H=96$ e $H=336$.

Principais Contribuições

1. Um Gerador Controlável: Um novo gerador de séries temporais sintéticas apresentando quatro tipos de pacotes condicionados à dificuldade e alocação de variância Dirichlet, capaz de simular sazonalidade, mudanças de regime, memória longa e volatilidade.
2. Evidência Empírica em Grande Escala: Um estudo abrangente de 4.218 execuções em nove grupos experimentais, cinco arquiteturas e sete conjuntos de dados, fornecendo a primeira análise sistemática de dados sintéticos na previsão de séries temporais.
3. Descobertas Condicionais à Arquitetura: A identificação da arquitetura do modelo como o determinante primário de sucesso ou fracasso, oferecendo diretrizes concretas para seleção de pacotes, agendamento e implantação.

Resultados

1. A Arquitetura é o Fator Decisivo

O efeito dos dados sintéticos é agudamente condicional à arquitetura do modelo:

• Modelos de Mistura de Canais (Benéficos): TimesNet e iTransformer melhoraram consistentemente com augmentação sintética. O TimesNet melhorou em 67% dos ensaios, e o iTransformer em 71%. Esses modelos beneficiam-se das características espectrais diversas e da diversidade inter-canais fornecidas pelos lotes sintéticos.
• Modelos Independentes de Canal (Prejudiciais): DLinear, PatchTST e SegRNN foram consistentemente degradados por dados sintéticos. O DLinear, por exemplo, viu uma degradação média de MSE de 19,2%. Esses modelos processam canais em isolamento, levando a incompatibilidades de distribuição sem compensação estrutural.
• Impacto Agregado: Em todas as arquiteturas e configurações, a augmentação sintética prejudicou o desempenho em 67% dos ensaios.

2. Configurações de Baixo Recurso

Em cenários com dados reais escassos ($s \le 0,25$), a augmentação sintética pode produzir ganhos notáveis para arquiteturas receptivas:

• Superando Baselines de Dados Completos: O TimesNet treinado com apenas 10% do conjunto de dados Weather com augmentação sintética alcançou um MSE menor (0,2841) do que a baseline real-only de dados completos (0,2850).
• Recuperação: Para o iTransformer, a augmentação com 10% de esparsidade recuperou 42,8% da lacuna de desempenho entre modelos esparsos e de dados completos.

3. Insights de Ablação

• Tipo de Pacote: O pacote Sazonalidade-Tendência (ST) foi o menos prejudicial (e mais benéfico) em todos os benchmarks, alinhando-se com as dinâmicas dominantes de sazonalidade-tendência dos conjuntos de dados de teste. Os pacotes NR, LM e VE causaram maior degradação devido a incompatibilidades de distribuição (por exemplo, introduzindo volatilidade ou mudanças de regime não presentes nos dados alvo).
• Agendamento Curricular: O annealing gradual (sintético $\to$ real) performou de forma similar à mistura estática. No entanto, agendamentos de interruptor rígido (mudança abrupta de dados sintéticos para reais no meio do treinamento) foram catastróficos, aumentando o MSE em 23,6% comparado à mistura estática.
• Condicionamento de Dificuldade: Os níveis de dificuldade tiveram um impacto menor; dificuldade uniforme performou marginalmente melhor do que distribuições difíceis.
• Correlação Latente: Introduzir correlação inter-canais ($p_{latent}$) reduziu monotonicamente a degradação, particularmente para conjuntos de dados de alta dimensão. Um valor de $p_{latent} = 0,5$ é sugerido como padrão seguro.
• Eficiência de Cache: A pré-geração de um cache fixo de 500 amostras foi encontrada ser praticamente equivalente à geração sob demanda em termos de desempenho, enquanto reduz a sobrecarga computacional.

Significado e Alegações

O artigo alega fornecer diretrizes concretas e acionáveis para integrar dados sintéticos em pipelines de previsão de séries temporais, indo além da suposição de que "mais dados é sempre melhor".

• Seleção de Arquitetura: Os autores afirmam que a arquitetura é o preditor mais forte do resultado. A augmentação sintética deve ser priorizada para arquiteturas de mistura de canais (CNNs, atenção multivariada) e evitada para modelos independentes de canal.
• Implantação Estratégica: O estudo conclui que dados sintéticos são mais eficazes em configurações de baixo recurso para arquiteturas receptivas, onde podem igualar ou até exceder o desempenho de dados completos.
• Melhores Práticas Operacionais: O artigo aconselha explicitamente contra agendamentos curriculares de interruptor rígido e recomenda o pacote Sazonalidade-Tendência como padrão seguro para tarefas de previsão de longo prazo.
• Contextualizando Modelos Fundamentais: Os autores reconciliam suas descobertas com modelos como Chronos2, notando que o sucesso de dados sintéticos no pré-treinamento (onde modelos veem milhões de séries diversas) difere do ajuste fino (onde modelos têm poucos epochs para reconciliar incompatibilidades de distribuição). Seus resultados sugerem que dados sintéticos ajudam especificamente quando a arquitetura do modelo é projetada para aprender a partir de interações conjuntas de canais, uma condição satisfeita por transformers fundamentais modernos, mas não por modelos lineares mais simples ou independentes de canal.

O estudo enfatiza que, embora dados sintéticos não sejam uma panaceia universal, são uma ferramenta poderosa quando aplicados com consciência arquitetural e agendamento apropriado.