Technische Samenvatting: Seasonal Trend Anomaly Detection (STAD)

Probleemstelling

Het detecteren van anomalieën in tijdreeksgegevens is een cruciale taak binnen domeinen zoals finance, energie en de gezondheidszorg. Bestaande methoden kampen echter met aanzienlijke beperkingen wanneer ze worden toegepast op real-world data die gekenmerkt wordt door complexe structuren. Traditionele benaderingen gaan vaak uit van een constante baseline of richten zich uitsluitend op punt-anomalieën. Hoewel recente methoden zoals CAPA (Collective And Point Anomalies) zowel punt- als collectieve anomalieën kunnen detecteren, opereren zij doorgaans onder de aanname van een constante baseline met Gaussische ruis.

In de praktijk vertonen tijdreeksen frequent polynomiale trends en periodieke seizoenspatronen. Wanneer deze componenten aanwezig zijn, falen standaard decompositiemethoden (bijv. STL, RobustSTL) vaak om onderscheid te maken tussen genuante anomalieën en structurele variaties. Specifiek kunnen collectieve anomalieën (groepen opeenvolgende anomalieën) worden geabsorbeerd in de geschatte trend- of seizoenscomponenten, wat leidt tot vals-negatieven. Omgekeerd kunnen sterke trends en seizoensgebondenheid anomalieën maskeren, wat leidt tot vals-positieven bij methoden die hier geen rekening mee houden. Er is een gebrek aan robuuste statistische methoden die in staat zijn om een tijdreeks simultaan te decomponeren in trend-, seizoens- en anomaliecomponenten, terwijl ze zowel punt- als collectieve anomalieën nauwkeurig identificeren.

Methodologie: Seasonal Trend Anomaly Detection (STAD)

De auteurs stellen STAD voor, een nieuwe benadering die bestaande anomaly detection-frameworks uitbreidt om polynomiale trends en seizoenscomponenten te verwerken. De methode deelt de geobserveerde tijdreeks $Y$ op in vier componenten:
$$Y = A + T + S + \varepsilon$$
waarbij $A$ de anomalieën vertegenwoordigt (zowel collectief als punt), $T$ een polynomiale trend is, $S$ een periodieke seizoenscomponent is, en $\varepsilon$ Gaussische ruis is.

Het STAD-algoritme verloopt via vier iteratieve stappen:

1. Initiële Schatting:

   • Trend: Om seizoensgebondenheid te verwijderen, wordt de data gedifferentieerd met een lag $D$ die een veelvoud is van de seizoensperiode $P$. Een robuuste trendschatter wordt toegepast op deze gedifferentieerde reeks om een initiële trendschatting $\hat{T}_0$ te verkrijgen.
   • Seizoensgebondenheid: De initiële trend wordt afgetrokken van de originele data. Vervolgens wordt een robuuste seizoensschatter toegepast op het restant om een initiële seizoensschatting $\hat{S}_0$ te verkrijgen.

2. Verfijnde Trendschatting:

   • De verfijnde trend wordt geschat door een robuuste trendschatter toe te passen op het restant $Y - \hat{S}_0$.
   • Sampling Strategie: Een belangrijke innovatie is de systematische samplingstrategie die wordt gebruikt om collectieve anomalieën te verwerken. De methode verdeelt de tijdreeks in disjuncte segmenten en sampleert subsegmenten uit alternerende sets (oneven of even geïndexeerde segmenten). Dit zorgt ervoor dat met hoge waarschijnlijkheid ten minste één subsample vrij is van collectieve anomalieën, wat een betrouwbare schatting van de polynomiale trend mogelijk maakt, zelfs in de aanwezigheid van grote anomalie-blokken.
   • De methode herhaalt dit samplingproces $J$ keer en selecteert de trendschatting die de gestrafte kostenfunctie minimaliseert die wordt toegepast op de anomaly detection-stap.

3. Verfijnde Seizoensgebondenheid Schatting:

   • Zodra de trend is verfijnd, wordt de seizoenscomponent opnieuw geschat door een robuuste seizoensschatter toe te passen op $Y - \hat{T}$, waarbij de intervallen die in de vorige stap als anomalie zijn geïdentificeerd, expliciet worden uitgesloten.
   • Indien de seizoensgebondenheid als vloeiend wordt verondersteld, wordt spline smoothing toegepast op de geschatte seizoenscoëfficiënten.

4. Anomaly Detection:

   • Ten slotte wordt de anomaliecomponent $A$ geschat door een aangepaste versie van het CAPA-algoritme toe te passen op het restant $Y - \hat{T} - \hat{S}$.
   • Deze stap maakt gebruik van een gepenaliseerde kostenbenadering (Generalized Functional Pruning Optimal Partitioning - GFPOP) om het aantal, de locaties en de magnitudes van zowel collectieve als punt-anomalieën te identificeren.

Belangrijkste Bijdragen

• Nieuw Decompositie Framework: STAD is de eerste methode die polynomiale trends, seizoenscomponenten en zowel punt- als collectieve anomalieën simultaan schat binnen een verenigd statistisch framework.
• Robuuste Sampling voor Trendschatting: Het artikel introduceert een systematische samplingprocedure die garandeert dat er met hoge waarschijnlijkheid niet-anomale subsamples bestaan. Dit overwint de beperking van standaard robuuste schatters (zoals M-estimators) die beïnvloed kunnen worden door grote collectieve anomalieën.
• Theoretische Garanties: De auteurs vestigen een statistische theorie die bewijst dat STAD:
  • Consistent het aantal anomalieën schat.
  • Asymptotische $L_2$-grenzen biedt voor de schattingsfouten van de anomalie-, trend- en seizoenscomponenten.
  • Zorgt dat de geschatte start- en eindpunten van anomalieën dicht bij de werkelijke waarden liggen (binnen een logaritmische foutgrens).
• Omgang met Niet-Stationariteit: In tegenstelling tot CAPA, dat een constante baseline veronderstelt, kan STAD omgaan met niet-stationaire data gedreven door polynomiale trends en seizoensgebondenheid.

Resultaten

De prestaties van STAD werden geëvalueerd via uitgebreide simulatiestudies en een real-world toepassing:

• Simulatiestudies:

  • STAD werd vergeleken met "oracle"-versies van zichzelf (die de ware trend of seizoensgebondenheid kennen) en standaardmethoden.
    • Anomalie Lengte: STAD presteert bijna net zo goed als de oracles voor anomalieën tot ongeveer 25% van de lengte van de tijdreeks. De prestaties verslechteren pas wanneer anomalieën excessief lang worden, waardoor identificatie van niet-anomale subsamples wordt voorkomen.
  • Seizoensperiode: De methode blijft robuust over diverse seizoensperioden, mits er ten minste vijf seizoenscycli in de data aanwezig zijn.
  • Meerdere Anomalieën: STAD detecteert succesvol meerdere collectieve anomalieën met variërende lengtes en magnitudes, waarbij de oracle-prestaties in de meeste scenario's worden benaderd.
  • Tuning: De studie suggereert standaard tuningparameters ($J=20$ voor sampling iteraties, $\lambda_{coll}=4$, $\lambda_{point}=3$) die een goede balans bieden tussen nauwkeurigheid en computationele kosten.

• Real-World Applicatie:

  • De methode werd toegepast op de Britse elektriciteitsexportprijsdata (Octopus Agile), die dagelijkse seizoensgebondenheid en langetermijntrends vertoont.
  • Vergelijking: Bij toepassing op deze data detecteerde CAPA een groot aantal vals-positieven toegeschreven aan het seizoenspatroon, zelfs met hoge strafparameters.
  • STAD Prestaties: STAD slaagde erin de data te decomponeren en identificeerde drie significante collectieve anomalieën. Deze anomalieën correleerden met perioden van hoge hernieuwbare energieopwekking, wat de praktische bruikbaarheid van de methode aantoont bij het onderscheiden van structurele anomalieën van typische seizoensfluctuaties.

Betekenis en Claims

Het artikel claimt dat STAD een kritiek gat in de tijdreeksanalyse opvult door detectie van anomalieën mogelijk te maken in de aanwezigheid van complexe, niet-stationaire structuren. De auteurs benadrukken dat huidige methoden minder geschikt zijn voor data waar trends en seizoensgebondenheid uitgesproken zijn, wat vaak leidt tot het maskeren van collectieve anomalieën of het onjuist identificeren van seizoenspatronen als anomalieën.

Door een rigoureuze statistische theorie vast te stellen en sterke prestaties in eindige steekproeven aan te tonen, positioneren de auteurs STAD als een robuust instrument voor domeinen die hoge-getrouwheid anomaly detection vereisen, zoals energiemarkten en financiële monitoring. Het werk breidt de theoretische fundamenten van het CAPA-algoritme uit naar een algemenere setting, waarbij een consistente estimator voor het aantal en de locatie van anomalieën wordt geboden, zelfs wanneer de onderliggende baseline niet constant is. De auteurs merken op dat hoewel de methode beperkt is tot polynomiale trends en stationaire seizoenscomponenten, het een belangrijke stap voorwaarts is in het aanpakken van de structurele uitdagingen van real-world tijdreeksgegevens.