Résumé Technique : Détection d'Anomalies de Tendance Saisonnière (STAD)

Énoncé du Problème

La détection d'anomalies dans les séries temporelles est une tâche critique dans de nombreux domaines tels que la finance, l'énergie et la santé. Cependant, les méthodes existantes présentent des limitations significatives lorsqu'elles sont appliquées à des données réelles caractérisées par des structures complexes. Les approches traditionnelles supposent souvent une ligne de base constante ou se concentrent exclusivement sur les anomalies ponctuelles. Bien que des méthodes récentes comme CAPA (Collective And Point Anomalies) puissent détecter à la fois des anomalies ponctuelles et collectives, elles opèrent généralement sous l'hypothèse d'une ligne de base constante avec un bruit gaussien.

En pratique, les séries temporelles présentent fréquemment des tendances polynomiales et des motifs saisonniers périodiques. Lorsque ces composantes sont présentes, les méthodes de décomposition standard (par exemple, STL, RobustSTL) échouent souvent à distinguer les anomalies réelles des variations structurelles. Plus précisément, les anomalies collectives (groupes de points anormaux consécutifs) peuvent être absorbées par les composantes de tendance ou de saisonnalité estimées, entraînant des faux négatifs. Inversement, des tendances et une saisonnalité fortes peuvent masquer les anomalies, provoquant des faux positifs dans les méthodes qui n'en tiennent pas compte. Il existe un manque de méthodes statistiques robustes capables de décomposer simultanément une série temporelle en composantes de tendance, de saisonnalité et d'anomalie, tout en identifiant avec précision les anomalies tant ponctuelles que collectives.

Méthodologie : Détection d'Anomalies de Tendance Saisonnière (STAD)

Les auteurs proposent STAD, une nouvelle approche qui étend les cadres de détection d'anomalies existants pour gérer les tendances polynomiales et les composantes saisonnières. La méthode décompose la série temporelle observée $Y$ en quatre composantes :
$$Y = A + T + S + \varepsilon$$
où $A$ représente les anomalies (tant collectives que ponctuelles), $T$ est une tendance polynomiale, $S$ est une composante saisonnière périodique, et $\varepsilon$ est un bruit gaussien.

L'algorithme STAD procède via quatre étapes itératives :

1. Estimation Initiale :

   • Tendance : Pour éliminer la saisonnalité, les données sont différenciées avec un décalage $D$ qui est un multiple de la période saisonnière $P$. Un estimateur de tendance robuste est appliqué à cette série différenciée pour obtenir une estimation de tendance initiale $\hat{T}_0$.
   • Saisonnalité : La tendance initiale est soustraite des données originales. Un estimateur de saisonnalité robuste est ensuite appliqué au résidu pour obtenir une estimation saisonnière initiale $\hat{S}_0$.

2. Estimation Affinée de la Tendance :

   • La tendance affinée est estimée en appliquant un estimateur de tendance robuste au résidu $Y - \hat{S}_0$.
   • Stratégie d'Échantillonnage : Une innovation clé est la stratégie d'échantillonnage systématique utilisée pour gérer les anomalies collectives. La méthode divise la série temporelle en segments disjoints et échantillonne des sous-segments à partir d'ensembles alternés (segments d'indice impair ou pair). Cela garantit qu'au moins un sous-échantillon est exempt d'anomalies collectives avec une probabilité élevée, permettant une estimation fiable de la tendance polynomiale même en présence de larges blocs anormaux.
   • La méthode itère ce processus d'échantillonnage $J$ fois et sélectionne l'estimation de la tendance qui minimise une fonction de coût pénalisée appliquée à l'étape de détection d'anomalies.

3. Estimation Affinée de la Saisonnalité :

   • Une fois la tendance affinée, la composante saisonnière est ré-estimée en appliquant l'estimateur de saisonnalité robuste à $Y - \hat{T}$, en excluant explicitement les intervalles identifiés comme anormaux lors de l'étape précédente.
   • Si la saisonnalité est supposée lisse, un lissage par spline est appliqué aux coefficients saisonniers estimés.

4. Détection d'Anomalies :

   • Enfin, la composante d'anomalie $A$ est estimée en appliquant une version modifiée de l'algorithme CAPA au résidu $Y - \hat{T} - \hat{S}$.
   • Cette étape utilise une approche de coût pénalisé (Generalized Functional Pruning Optimal Partitioning - GFPOP) pour identifier le nombre, les emplacements et les magnitudes des anomalies collectives et ponctuelles.

Principales Contributions

• Nouveau Cadre de Décomposition : STAD est la première méthode à estimer simultanément les tendances polynomiales, les composantes saisonnières et les anomalies tant ponctuelles que collectives au sein d'un cadre statistique unifié.
• Échantillonnage Robuste pour l'Estimation de la Tendance : Le document introduit une procédure d'échantillonnage systématique qui garantit l'existence de sous-échantillons non anormaux avec une probabilité élevée. Cela surmonte la limitation des estimateurs robustes standards (comme les estimateurs M) qui peuvent être biaisés par de larges anomalies collectives.
• Garanties Théoriques : Les auteurs établissent une théorie statistique prouvant que STAD :
  • Est consistant pour estimer le nombre d'anomalies.
  • Fournit des bornes asymptotiques $L_2$ pour les erreurs d'estimation des composantes d'anomalie, de tendance et de saisonnalité.
  • Garantit que les points de début et de fin estimés des anomalies sont proches des valeurs réelles (avec une borne d'erreur logarithmique).
• Gestion de la Non-Stationnarité : Contrairement à CAPA, qui suppose une ligne de base constante, STAD s'adapte aux données non stationnaires pilotées par des tendances polynomiales et de la saisonnalité.

Résultats

Les performances de STAD ont été évaluées par des études de simulation approfondies et une application au monde réel :

• Études de Simulation :

  • STAD a été comparé à des versions "oracle" de lui-même (qui connaissent la tendance ou la saisonnalité réelles) et à des méthodes standards.
  • Longueur de l'Anomalie : STAD performe presque aussi bien que les oracles pour des anomalies allant jusqu'à environ 25 % de la longueur de la série temporelle. La performance ne se dégrade que lorsque les anomalies deviennent excessivement longues, empêchant l'identification de sous-échantillons non anormaux.
  • Période Saisonnière : La méthode reste robuste à travers diverses périodes saisonnières, à condition qu'il y ait au moins cinq cycles saisonniers dans les données.
  • Anomalies Multiples : STAD détecte avec succès de multiples anomalies collectives de longueurs et de magnitudes variables, égalant la performance des oracles dans la plupart des scénarios.
  • Réglage (Tuning) : L'étude suggère des paramètres de réglage par défaut ($\lambda_{coll}=4$, $\lambda_{point}=3$ pour $J=20$ itérations d'échantillonnage) qui offrent un bon compromis entre précision et coût computationnel.

• Application au Monde Réel :

  • La méthode a été appliquée aux données d'exportation de prix de l'électricité au Royaume-Uni (Octopus Agile), qui présentent une saisonnalité quotidienne et des tendances à long terme.
  • Comparaison : Appliqué à ces données, CAPA a détecté un grand nombre de faux positifs attribués au motif saisonnier, même avec des paramètres de pénalité élevés.
  • Performance de STAD : STAD a réussi à décomposer les données et a identifié trois anomalies collectives significatives. Ces anomalies étaient corrélées avec des périodes de forte production d'énergie renouvelable, démontrant l'utilité pratique de la méthode pour distinguer les anomalies structurelles des fluctuations saisonnières typiques.

Signification et Revendications

Le papier affirme que STAD comble une lacune critique dans l'analyse des séries temporelles en permettant la détection d'anomalies en présence de structures complexes et non stationnaires. Les auteurs soulignent que les méthodes actuelles sont mal adaptées aux données où les tendances et la saisonnalité sont prononcées, ce qui conduit souvent à masquer les anomalies collectives ou à identifier à tort les motifs saisonniers comme des anomalies.

En établissant une théorie statistique rigoureuse et en démontrant une forte performance en échantillon fini, les auteurs positionnent STAD comme un outil robuste pour les domaines nécessitant une détection d'anomalies de haute fidélité, tels que les marchés de l'énergie et la surveillance financière. Ce travail étend les fondements théoriques de l'algorithme CAPA à un cadre plus général, fournissant un estimateur consistant pour le nombre et l'emplacement des anomalies même lorsque la ligne de base sous-jacente n'est pas constante. Les auteurs notent que, bien que la méthode soit restreinte aux tendances polynomiales et aux composantes saisonnières stationnaires, elle représente une étape importante dans la gestion des défis structurels des données de séries temporelles du monde réel.