Resumo Técnico: Detecção de Anomalias de Tendência Sazonal (STAD)

Definição do Problema

Detectar anomalias em dados de séries temporais é uma tarefa crítica em diversos domínios, como finanças, energia e saúde. No entanto, os métodos existentes enfrentam limitações significativas quando aplicados a dados do mundo real caracterizados por estruturas complexas. Abordagens tradicionais frequentemente assumem uma linha de base constante ou focam exclusivamente em anomalias pontuais. Embora métodos recentes como o CAPA (Collective And Point Anomalies) possam detectar tanto anomalias pontuais quanto coletivas, eles operam tipicamente sob a premissa de uma linha de base constante com ruído Gaussiano.

Na prática, as séries temporais frequentemente exibem tendências polinomiais e padrões sazonais periódicos. Quando esses componentes estão presentes, os métodos de decomposição padrão (ex: STL, RobustSTL) frequentemente falham em distinguir entre anomalias genuínas e variações estruturais. Especificamente, anomalias coletivas (grupos de pontos anômalos consecutivos) podem ser absorvidas pelos componentes de tendência ou sazonalidade estimados, levando a falsos negativos. Inversamente, tendências e sazonalidades fortes podem ocultar anomalias, causando falsos positivos em métodos que não levam isso em conta. Há uma carência de métodos estatísticos robustos capazes de decompor simultaneamente uma série temporal em tendência, sazonalidade e componentes de anomalia, identificando com precisão tanto anomalias pontuais quanto coletivas.

Metodologia: Detecção de Anomalias de Tendência Sazonal (STAD)

Os autores propõem o STAD, uma abordagem inovadora que estende os frameworks de detecção de anomalias existentes para lidar com tendências polinomiais e componentes sazonais. O método decompõe a série temporal observada $Y$ em quatro componentes:
$$Y = A + T + S + \varepsilon$$
onde $A$ representa as anomalias (tanto coletivas quanto pontuais), $T$ é uma tendência polinomial, $S$ é um componente sazonal periódico e $\varepsilon$ é o ruído Gaussiano.

O algoritmo STAD procede através de quatro etapas iterativas:

1. Estimativa Inicial:

   • Tendência: Para remover a sazonalidade, os dados são diferenciados com um atraso (lag) $D$ que é um múltiplo do período sazonal $P$. Um estimador de tendência robusto é aplicado a esta série diferenciada para obter uma estimativa inicial da tendência $\hat{T}_0$.
   • Sazonalidade: A tendência inicial é subtraída dos dados originais. Um estimador de sazonalidade robusto é então aplicado ao remanescente para obter uma estimativa sazonal inicial $\hat{S}_0$.

2. Estimativa Refinada da Tendência:

   • A tendência refinada é estimada aplicando um estimador de tendência robusto ao remanescente $Y - \hat{S}_0$.
   • Estratégia de Amostragem: Uma inovação fundamental é a estratégia de amostragem sistemática usada para lidar com anomalias coletivas. O método divide a série temporal em segmentos disjuntos e amostra subsegmentos de conjuntos alternados (índices ímpares ou pares). Isso garante que pelo menos uma subamostra esteja livre de anomalias coletivas com alta probabilidade, permitindo uma estimativa confiável da tendência polinomial mesmo na presença de grandes blocos anômalos.
   • O método itera este processo de amostragem $J$ vezes e seleciona a estimativa de tendência que minimiza uma função de custo penalizada aplicada ao passo de detecção de anomalias.

3. Estimativa Refinada da Sazonalidade:

   • Uma vez que a tendência é refinada, o componente sazonal é reestimado aplicando o estimador de sazonalidade robusto a $Y - \hat{T}$, excluindo explicitamente os intervalos identificados como anômalos no passo anterior.
   • Se a sazonalidade for assumida como suave, o suavizamento por spline é aplicado aos coeficientes sazonais estimados.

4. Detecção de Anomalias:

   • Finalmente, o componente de anomalia $A$ é estimado aplicando uma versão modificada do algoritmo CAPA ao remanescente $Y - \hat{T} - \hat{S}$.
   • Este passo utiliza uma abordagem de custo penalizado (Generalized Functional Pruning Optimal Partitioning - GFPOP) para identificar o número, as localizações e as magnitudes de ambas as anomalias coletivas e pontuais.

Principais Contribuições

• Framework de Decomposição Inovador: O STAD é o primeiro método a estimar simultaneamente tendências polinomiais, componentes sazonais e tanto anomalias pontuais quanto coletivas dentro de um framework estatístico unificado.
• Amostragem Robusta para Estimativa de Tendência: O artigo introduz um procedimento de amostragem sistemática que garante a existência de subamostras não anômalas com alta probabilidade. Isso supera a limitação dos estimadores robustos padrão (como estimadores M), que podem ser enviesados por grandes anomalias coletivas.
• Garantias Teóricas: Os autores estabelecem a teoria estatística provando que o STAD:
  • Estima consistentemente o número de anomalias.
  • Fornece limites assintóticos $L_2$ para os erros de estimativa dos componentes de anomalia, tendência e sazonalidade.
  • Garante que os pontos de início e fim estimados das anomalias estejam próximos dos valores reais (dentro de um limite de erro logarítmico).
• Lidando com Não-Estacionariedade: Ao contrário do CAPA, que assume uma linha de base constante, o STAD acomoda dados não estacionários impulsionados por tendências polinomiais e sazonalidade.

Resultados

O desempenho do STAD foi avaliado através de extensos estudos de simulação e uma aplicação no mundo real:

• Estudos de Simulação:

  • O STAD foi comparado contra versões "oráculo" de si mesmo (que conhecem a tendência ou sazonalidade reais) e métodos padrão.
  • Comprimento da Anomalia: O STAD performa quase tão bem quanto os oráculos para anomalias de até aproximadamente 25% do comprimento da série temporal. O desempenho degrada apenas quando as anomalias se tornam excessivamente longas, impedindo a identificação de subamostras não anômalas.
  • Período Sazonal: O método permanece robusto em vários períodos sazonais, desde que haja pelo menos cinco ciclos sazonais nos dados.
  • Múltiplas Anomalias: O STAD detectou com sucesso múltiplas anomalias coletivas com variados comprimentos e magnitudes, igualando o desempenho do oráculo na maioria dos cenários.
  • Ajuste (Tuning): O estudo sugere parâmetros de ajuste padrão ($J=20$ para iterações de amostragem, $\lambda_{coll}=4$, $\lambda_{point}=3$) que oferecem um bom equilíbrio entre precisão e custo computacional.

• Aplicação no Mundo Real:

  • O método foi aplicado aos dados de preços de exportação de eletricidade do Reino Unido (Octopus Agile), que exibem sazonalidade diária e tendências de longo prazo.
  • Comparação: Quando aplicado a estes dados, o CAPA detectou um grande número de falsos positivos atribuídos ao padrão sazonal, mesmo com parâmetros de penalidade elevados.
  • Desempenho do STAD: O STAD decompôs com sucesso os dados e identificou três anomalias coletivas significativas. Estas anomalias correlacionaram-se com períodos de alta geração de energia renovável, demonstrando a utilidade prática do método em distinguir anomalias estruturais de flutuações sazonais típicas.

Significância e Alegações

O artigo afirma que o STAD aborda uma lacuna crítica na análise de séries temporais ao permitir a detecção de anomalias na presença de estruturas complexas e não estacionárias. Os autores enfatizam que os métodos atuais são mal adequados para dados onde tendências e sazonalidades são pronunciadas, frequentemente levando ao mascaramento de anomalias coletivas ou à identificação errônea de padrões sazonais como anomalias.

Ao estabelecer uma teoria estatística rigorosa e demonstrar um forte desempenho em amostras finitas, os autores posicionam o STAD como uma ferramenta robusta para domínios que exigem detecção de anomalias de alta fidelidade, como mercados de energia e monitoramento financeiro. O trabalho estende as bases teóricas do algoritmo CAPA para um cenário mais geral, fornecendo um estimador consistente para o número e localização de anomalias, mesmo quando a linha de base subjacente não é constante. Os autores observam que, embora o método seja restrito a tendências polinomiais e componentes sazonais estacionários, ele representa um passo significativo à frente no tratamento dos desafios estruturais dos dados de séries temporais do mundo real.