Resumo Técnico: Conjunto de Dados de Benchmark TailedTS para Previsão de Séries Temporais com Caudas Pesadas

Declaração do Problema

A previsão de séries temporais é um componente crítico das aplicações de aprendizado de máquina em economia, engenharia e ciências ambientais. No entanto, os modelos preditivos tradicionais dependem predominantemente de suposições gaussianas para os resíduos, as quais são frequentemente violadas pelos comportamentos de caudas pesadas, inflação de zeros e não gaussianos observados em conjuntos de dados empíricos do mundo real. Benchmarks existentes, como as Competições M (M4, M5) e os conjuntos de dados de eletricidade da UCI, capturam diversas dinâmicas temporais, mas frequentemente falham em representar a volatilidade extrema, impulsionada por eventos, e a esparsidade de alta dimensionalidade inerentes a padrões complexos de interesse humano. Especificamente, esses conjuntos de dados não exibem adequadamente as distribuições de lei de potência, onde uma fração mínima de eventos accounts pela maioria das observações, criando uma lacuna na avaliação da robustez dos modelos contra explosões estocásticas e outliers extremos.

Metodologia

O artigo apresenta o TailedTS, um conjunto de dados de benchmark em grande escala derivado de observações horárias de visualizações de páginas da Wikipedia ao longo de 2024. A metodologia abrange três componentes principais:

1. Construção e Alinhamento do Conjunto de Dados

O conjunto de dados compreende aproximadamente 24,69 bilhões de pontos de dados, abrangendo cerca de 3 milhões de páginas únicas da Wikipedia por mês. Para garantir a qualidade dos dados e focar em conteúdo frequentemente visualizado, os autores filtraram os dados brutos para incluir apenas páginas que mantiveram um limite mínimo de 10 visualizações por dia para cada dia do mês. Esse filtro resulta em um conjunto de dados onde aproximadamente 5% das páginas respondem por mais de 70% do total de visualizações de páginas, aderindo a uma distribuição de lei de potência pronunciada. Os dados são armazenados no formato Apache Parquet de alta eficiência.

2. Framework de Quantificação de Periodicidade

Para analisar a estrutura periódica das séries temporais, os autores propõem um framework de autoregressão esparsa com restrições de esparsidade e não negatividade. O problema de otimização é formulado para identificar automaticamente as autocorrelações dominantes (por exemplo, ciclos diários e semanais).

• Formulação: O problema minimiza o erro quadrático sujeito a uma restrição de norma $\ell_0$ no vetor de coeficientes $w_\gamma$ e a uma restrição de não negatividade ($w_\gamma \in \mathbb{R}^d_+$).
• Implementação: O problema é reformulado como um problema de Programação Quadrática Inteira Mista (MIQP), resolvido utilizando o algoritmo CPLEX. O modelo assume conjuntos de suporte consistentes entre diferentes categorias de popularidade de páginas.

3. Modelagem Preditiva Robusta

O artigo avalia modelos de previsão autoregressiva usando uma suíte de funções de perda não gaussianas para lidar com ruído de caudas pesadas. O objetivo de otimização minimiza a soma de uma função de perda $\rho(\varepsilon_t)$ sobre os resíduos. O estudo compara:

• Perda de norma $\ell_2$: Mínimos Quadrados Padrão (suposição gaussiana).
• Perda de norma $\ell_1$: Desvios Absolutos Mínimos (LAD).
• Perda de Huber: Interpola entre $\ell_2$ e $\ell_1$, aplicando penalização quadrática a pequenos resíduos e penalização linear a grandes resíduos.
• Perda de quantil: Permite a estimação de quantis condicionais usando penalidades lineares assimétricas.
• Perda de norma $\ell_p$ ($0 < p < 1$): Oferece robustez agressiva ao penalizar resíduos sublinearmente, embora introduza desafios de otimização não convexa.

Principais Contribuições

O artigo delineia contribuições triplas:

1. Conjunto de Dados de Benchmark: O TailedTS fornece um conjunto de dados de séries temporais de alta dimensionalidade, com caudas pesadas e inflação de zeros, contendo milhões de séries temporais ao longo de um longo período (8.784 passos temporais horários em 2024). Permite que a comunidade de pesquisa avalie modelos contra resíduos não gaussianos e explosões estocásticas, um cenário onde estimadores padrão baseados em gaussianas frequentemente falham.
2. Quantificação de Periodicidade: Os autores utilizam autoregressão esparsa para revelar que páginas frequentemente visualizadas exibem estrutura periódica significativamente mais fraca do que as contrapartes menos visualizadas. Essa descoberta sugere que páginas populares são mais suscetíveis a eventos especiais e anomalias, complicando sua previsão apesar de seu alto volume.
3. Modelagem Preditiva Robusta: O estudo demonstra que estimadores padrão baseados em gaussianas degradam-se substancialmente em categorias de páginas de alto volume. Em contraste, alternativas robustas (perdas de Huber, norma $\ell_p$ e quantil) fornecem ganhos consistentes em todas as escalas de tráfego ao mitigar a influência de outliers extremos.

Resultados Experimentais

Os autores conduziram experimentos extensivos no conjunto de dados TailedTS e em quatro conjuntos de dados de benchmark externos (eletricidade da UCI, tráfego de SF, qualidade do ar e dados meteorológicos).

• Análise de Sazonalidade: Sob níveis de esparsidade $\tau=8$ e $\tau=10$, as autocorrelações dominantes para ciclos diários (24h), bidiários (48h) e semanais (168h) foram identificadas. A análise confirmou que categorias de páginas de alto volume (por exemplo, $O(10^4)$ visualizações) apresentaram coeficientes de sazonalidade mais baixos em comparação com categorias de menor volume, indicando maior volatilidade.
• Desempenho de Previsão no TailedTS:
  • Para categorias de alto volume ($O(10^4)$), a perda de norma $\ell_2$ padrão resultou em um RMSE de 1163,08.
  • Estimadores robustos superaram significativamente a linha de base: a perda de norma $\ell_p$ alcançou um RMSE de 129,28, e a perda de Huber alcançou 139,87.
  • A perda de norma $\ell_2$ mostrou resultados competitivos apenas em categorias de menor magnitude ($O(10^2)$), mas o desempenho degradou-se abruptamente à medida que o volume aumentava.
• Desempenho em Benchmarks Externos: O estudo verificou que os resíduos em benchmarks padrão (eletricidade da UCI, tráfego de SF, etc.) também exibem comportamento de caudas pesadas via histogramas log-log. Funções de perda não gaussianas reduziram consistentemente o MAPE e o RMSE nesses conjuntos de dados. Por exemplo, nos dados de eletricidade da UCI, as perdas $\ell_1$ e de Huber reduziram o MAPE de 0,095 ($\ell_2$) para 0,083, uma redução relativa de aproximadamente 13%.

Significado e Alegações

O artigo posiciona o TailedTS como um teste de estresse rigoroso para modelos de previsão de séries temporais, visando especificamente as limitações dos métodos atuais de Estado da Arte (SOTA) que dependem de suposições gaussianas. Os autores afirmam que:

• Robustez é Crítica: Estimadores padrão são inadequados para tráfego digital do mundo real caracterizado por ruído de caudas pesadas e volatilidade extrema.
• A Seleção da Função de Perda Importa: A escolha da função de perda é um determinante primário da resiliência do modelo. Perdas robustas (Huber, $\ell_p$, Quantil) são necessárias para capturar padrões de interesse humano irregulares e interconectados que se desviam das restrições físicas encontradas em sistemas de transporte ou climáticos.
• Escalabilidade e Generalizabilidade: Ao integrar o TailedTS com benchmarks meteorológicos existentes, os pesquisadores podem avaliar melhor a escalabilidade de frameworks nativos de GPU e a eficácia de funções de perda robustas.

Os autores concluem que, embora estimadores robustos ofereçam redução significativa de erros, os desafios impostos pela escala extrema e pela inflação de zeros pervasiva permanecem uma fronteira formidável. Eles visam que este benchmark catalise o desenvolvimento de modelos de próxima geração, conscientes da distribuição, que preencham a lacuna entre a otimização teórica e as realidades de caudas pesadas de dados de séries temporais em grande escala.

Limitações: Os autores observam que o benchmark é derivado exclusivamente de dados da Wikipedia e pode não capturar todas as formas de não estacionariedades do mundo real, como mudanças abruptas de regime ou manipulação adversária. Consequentemente, as conclusões tiradas podem não generalizar completamente para séries temporais governadas por diferentes mecanismos de geração de dados.