Riepilogo Tecnico: Rilevamento di Anomalie con Tendenza Stagionale (STAD)

Definizione del Problema

Il rilevamento di anomalie nei dati di serie temporali è un compito critico in vari domini come la finanza, l'energia e l'assistenza sanitaria. Tuttavia, i metodi esistenti affrontano limitazioni significative quando applicati a dati reali caratterizzati da strutture complesse. Gli approcci tradizionali spesso assumono una linea di base costante o si concentrano esclusivamente sulle anomalie puntuali. Sebbene metodi recenti come CAPA (Collective And Point Anomalies) possano rilevare sia anomalie puntuali che collettive, essi operano tipicamente sotto l'assunto di una linea di base costante con rumore Gaussiano.

Nella pratica, le serie temporali esibiscono frequentemente tendenze polinomiali e modelli stagionali periodici. Quando questi componenti sono presenti, i metodi di decomposizione standard (ad es., STL, RobustSTL) spesso falliscono nel distinguere tra anomalie genuine e variazioni strutturali. Nello specifico, le anomalie collettive (gruppi di punti anomali consecutivi) possono essere assorbite nei componenti stimati di trend o stagionalità, portando a falsi negativi. Al contrario, trend e stagionalità forti possono oscurare le anomalie, causando falsi positivi nei metodi che non tengono conto di essi. Manca un metodo statistico robusto capace di scomporre simultaneamente una serie temporale in componenti di trend, stagionalità e anomalie, identificando accuratamente sia le anomalie puntuali che quelle collettive.

Metodologia: Seasonal Trend Anomaly Detection (STAD)

Gli autori propongono STAD, un nuovo approccio che estende i framework di rilevamento delle anomalie esistenti per gestire tendenze polinomiali e componenti stagionali. Il metodo decompone la serie temporale osservata $Y$ in quattro componenti:
$$Y = A + T + S + \varepsilon$$
dove $A$ rappresenta le anomalie (sia collettive che puntuali), $T$ è un trend polinomiale, $S$ è una componente stagionale periodica e $\varepsilon$ è il rumore Gaussiano.

L'algoritmo STAD procede attraverso quattro fasi iterative:

1. Stima Iniziale:

   • Trend: Per rimuovere la stagionalità, i dati vengono differenziati con un lag $D$ che è un multiplo del periodo stagionale $P$. Viene applicato un stimatore di trend robusto a questa serie differenziata per ottenere una stima iniziale del trend $\hat{T}_0$.
   • Stagionalità: Il trend iniziale viene sottratto dai dati originali. Viene quindi applicato un estimatore di stagionalità robusto al residuo per ottenere una stima iniziale della stagionalità $\hat{S}_0$.

2. Stima Raffinata del Trend:

   • Il trend raffinato viene stimato applicando un estimatore di trend robusto al residuo $Y - \hat{S}_0$.
   • Strategia di Campionamento: Un'innovazione chiave è la strategia di campionamento sistematico utilizzata per gestire le anomalie collettive. Il metodo divide la serie temporale in segmenti disgiunti e campiona sottosegmenti da set alternati (segmenti con indice dispari o pari). Ciò garantisce che almeno un sottocampione sia privo di anomalie collettive con alta probabilità, permettendo una stima affidabile del trend polinomiale anche in presenza di grandi blocchi anomali.
   • Il metodo itera questo processo di campionamento $J$ volte e seleziona la stima del trend che minimizza una funzione di costo penalizzata applicata alla fase di rilevamento delle anomalie.

3. Stima Raffinata della Stagionalità:

   • Una volta raffinato il trend, la componente stagionale viene ricalcolata applicando l'estimatore di stagionalità robusta a $Y - \hat{T}$, escludendo esplicitamente gli intervalli identificati come anomali nel passaggio precedente.
   • Se la stagionalità è assunta come fluida, viene applicato lo smoothing spline ai coefficienti stagionali stimati.

4. Rilevamento delle Anomalie:

   • Infine, la componente anomala $A$ viene stimata applicando una versione modificata dell'algoritmo CAPA al residuo $Y - \hat{T} - \hat{S}$.
   • Questo passaggio utilizza un approccio a costo penalizzato (Generalized Functional Pruning Optimal Partitioning - GFPOP) per identificare il numero, le posizioni e le magnitudo di entrambe le anomalie collettive e puntuali.

Contributi Chiave

• Nuovo Framework di Decomposizione: STAD è il primo metodo che stima simultaneamente trend polinomiali, componenti stagionali e sia anomalie puntuali che collettive all'interno di un framework statistico unificato.
• Campionamento Robusto per la Stima del Trend: Il documento introduce una procedura di campionamento sistematico che garantisce l'esistenza di sottocampioni non anomali con alta probabilità. Questo supera il limite dei normali stimatori robusti (come gli M-estimator) che possono essere influenzati da grandi anomalie collettive.
• Garanzie Teoriche: Gli autori stabiliscono una teoria statistica che dimostra come STAD:
  • Stimante coerentemente il numero di anomalie.
  • Fornisca limiti asintotici $L_2$ per gli errori di stima delle componenti di anomalia, trend e stagionalità.
  • Garantisca che i punti di inizio e fine stimati delle anomalie siano vicini ai valori reali (entro un limite di errore logaritmico).
• Gestione della Non-Stazionarietà: A differenza di CAPA, che assume una linea di base costante, STAD accoglie dati non stazionari guidati da trend polinomiali e stagionalità.

Risultati

Le prestazioni di STAD sono state valutate attraverso estesi studi di simulazione e un'applicazione nel mondo reale:

• Studi di Simulazione:

  • STAD è stato confrontato con versioni "oracle" di se stesso (che conoscono il vero trend o la vera stagionalità) e con metodi standard.
  • Lunghezza dell'Anomalia: STAD performa quasi quanto gli oracle per anomalie fino a circa il 25% della lunghezza della serie temporale. Le prestazioni degradano solo quando le anomalie diventano eccessivamente lunghe, impedendo l'identificazione di sottocampioni non anomali.
  • Periodo Stagionale: Il metodo rimane robusto attraverso vari periodi stagionali, purché ci siano almeno cinque cicli stagionali nei dati.
  • Anomalie Multiple: STAD rileva con successo molteplici anomalie collettive con lunghezze e magnitudo variabili, eguagliando le prestazioni degli oracle nella maggior parte degli scenari.
  • Tuning: Lo studio suggerisce parametri di tuning predefiniti ($J=20$ per le iterazioni di campionamento, $\lambda_{coll}=4$, $\lambda_{point}=3$) che offrono un buon compromesso tra accuratezza e costo computazionale.

• Applicazione nel Mondo Reale:

  • Il metodo è stato applicato ai dati dei prezzi di esportazione dell'elettricità nel Regno Unito (Octopus Agile), che esibiscono una stagionalità giornaliera e trend a lungo termine.
  • Confronto: Applicato a questi dati, CAPA ha rilevato un gran numero di falsi positivi attribuiti al pattern stagionale, anche con parametri di penalità elevati.
  • Prestazioni di STAD: STAD ha decomposto con successo i dati e identificato tre significative anomalie collettive. Queste anomalie correla con periodi di alta generazione di energia rinnovabile, dimostrando l'utilità pratica del metodo nel distinguere le anomalie strutturali dalle tipiche fluttuazioni stagionali.

Significato e Rivendicazioni

Il documento afferma che STAD affronta una lacuna critica nell'analisi delle serie temporali, consentendo il rilevamento di anomalie in presenza di strutture complesse e non stazionarie. Gli autori sottolineano che gli attuali metodi sono inadatti per dati dove trend e stagionalità sono pronunciati, portando spesso a mascherare le anomalie collettive o a identificare erroneamente i pattern stagionali come anomalie.

Stabilendo una rigorosa teoria statistica e dimostrando una forte performance in campioni finiti, gli autori posizionano STAD come uno strumento robusto per domini che richiedono un rilevamento delle anomalie ad alta fedeltà, come i mercati energetici e il monitoraggio finanziario. Il lavoro estende le fondamenta teoriche dell'algoritmo CAPA a un contesto più generale, fornendo uno stimatore coerente per il numero e la posizione delle anomalie anche quando la linea di base sottostante non è costante. Gli autori notano che, sebbene il metodo sia limitato a trend polinomiali e componenti stagionali stazionarie, esso rappresenta un passo avanti significativo nel gestire le sfide strutturali dei dati di serie temporali del mondo reale.