📊 statistics

Detection of collective and point anomalies at the presence of trend and seasonality

Dieses Paper schlägt eine neuartige Methode vor, die sowohl kollektive als auch punktuelle Anomalien in Zeitreihendaten, die polynomielle Trends und Saisonalität enthalten, präzise erkennt, gestützt durch eine fundierte statistische Theorie, Simulationsstudien sowie reale Anwendungen im Bereich der Energiepreise.

Ursprüngliche Autoren: Yiyin Zhang, Florian Pein, Idris A. Eckley

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yiyin Zhang, Florian Pein, Idris A. Eckley

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hören einen Radiosender, der in einer Endlosschleife Ihr Lieblingslied spielt. Dieses Lied hat einen stetigen Rhythmus (die Saisonalität) und die Lautstärke wird im Laufe der Zeit langsam lauter (der Trend). Stellen Sie sich nun vor, jemand klopft gelegentlich gegen das Mikrofon oder ruft zufällige Wörter hinein (die Anomalien).

Ihr Ziel ist es, genau herauszufinden, wann diese Klopfgeräusche und Rufe aufgetreten sind, ohne durch den Rhythmus des Liedes oder die steigende Lautstärke verwirrt zu werden.

Dies ist das Problem, das die Arbeit „Detection of collective and point anomalies in the presence of trend and seasonality“ zu lösen versucht. Die Autoren, Yiyin Zhang, Florian Pein und Idris A. Eckley, stellen eine neue Methode namens STAD (Seasonal Trend Anomaly Detection) vor.

So funktioniert ihr Ansatz, unterteilt in einfache Konzepte:

Das Problem: Warum alte Methoden scheitern

Frühere Methoden wie CAPA (Collective And Point Anomalies) waren wie ein Sicherheitsmann, der nur wusste, wie man jemanden erkennt, der von einem flachen, leeren Feld wegrennt.

Punktuelle Anomalien (Point Anomalies): Eine einzelne Person, die „Feuer!“ schreit (ein einzelner merkwürdiger Datenpunkt).
Kollektive Anomalien (Collective Anomalies): Eine ganze Gruppe, die plötzlich für eine Minute im Kreis rennt (eine Sequenz merkwürdiger Datenpunkte).

Das Problem ist, dass reale Daten (wie etwa Energiepreise oder Aktienmärkte) kein flaches Feld sind. Sie haben einen „Rhythmus“ (Saisonalität) und eine „Steigung“ (Trend).

Die Falle: Wenn Sie versuchen, den alten „flachen Feld“-Wächter auf einem abfallenden Hügel mit einem Rhythmus einzusetzen, wird der Wächter verwirrt. Er könnte die steigende Lautstärke des Liedes für einen Schrei halten oder er könnte eine Gruppe von Menschen übersehen, die rennen, weil sie im Rhythmus des Liedes untergehen. Die alten Methoden halten oft normale Muster für Anomalien oder übersehen echte Anomalien, weil sie durch den Trend maskiert werden.

Die Lösung: Die „STAD“-Methode

Die Autoren haben ein neues System entwickelt, STAD, das wie ein geschickter Tontechniker agiert. Anstatt nur dem rohen Rauschen zuzuhören, zerlegt STAD das Signal in vier verschiedene Schichten:

Der Trend: Die langfristige Steigung (wird das Lied lauter?).
Die Saisonalität: Der sich wiederholende Rhythmus (die Schleife).
Die Anomalien: Das Klopfen und die Schreie.
Der Rest (Remainder): Das statische Rauschen oder das zufällige Rauschen.

STAD rät nicht einfach nur; es schält die Schichten eine nach der anderen ab, um die Wahrheit zu finden.

Wie STAD arbeitet (Der Prozess des „Ingenieurs“)

Schritt 1: Den Rhythmus verstummen lassen (Entfernen der Saisonalität)
Zuerst nutzt STAD einen Trick namens „Differenzbildung“ (Differencing). Stellen Sie sich vor, Sie nehmen die Lautstärke des Liedes um 13:00 Uhr und subtrahieren davon die Lautstärke von gestern um 13:00 Uhr. Da sich das Lied jeden Tag wiederholt, hebt sich der „Rhythmus“ perfekt auf. Jetzt ist das Audio hinsichtlich der Saisonalität flach, aber der Trend (die steigende Lautstärke) ist immer noch vorhanden.

Schritt 2: Die Steigung finden (Schätzung des Trends)
Nun muss das System den Trend finden, aber es gibt einen Haken: Die Anomalien (die Schreie) sind immer noch da, und es könnten lange Gruppen von Menschen sein, die rennen (kollektive Anomalien).

Die Herausforderung: Wenn Sie versuchen, eine Linie durch eine Grafik zu ziehen, in der eine riesige Gruppe schreiender Menschen vorkommt, wird die Linie nach oben oder unten gezogen, und Sie erhalten die falsche Steigung.
Die clevere Lösung: STAD verwendet eine Strategie der „systematischen Stichprobenentnahme“ (Systematic Sampling). Stellen Sie sich vor, der Ingenieur macht viele kleine, verstreute Schnappschüsse der Daten und stellt sicher, dass diese weit voneinander entfernt liegen. Er sucht nach einem Schnappschuss, der keine schreienden Menschen enthält. Da die schreienden Gruppen endlich sind, ist die Wahrscheinlichkeit hoch, dass mindestens einer dieser verstreuten Schnappschüsse „sauber“ ist. Er nutzt diesen sauberen Schnappschuss, um die perfekte Trendlinie zu zeichnen.

Schritt 3: Die Schichten verfeinern
Sobald der Trend geschätzt wurde, subtrahiert er diesen. Nun kann die Saisonalität (der Rhythmus) genauer geschätzt werden, indem die Teile ignoriert werden, in denen das Schreien stattfand. Dann geht das System zurück und verfeinert den Trend noch einmal unter Verwendung dieser saubereren Daten.

Schritt 4: Die Anomalien erfassen
Schließlich, nachdem der Trend und der Rhythmus entfernt wurden, bleibt nur noch der „Rest“. Hier treten die Anomalien deutlich hervor. STAD verwendet ein mathematisches „Strafsystem“ (eine Art Kostenfunktion), um zu entscheiden: „Ist diese Abweichung nur zufälliges Rauschen oder ist es ein echter Schrei?“ Es identifiziert sowohl einzelne Schreie (punktuelle Anomalien) als auch Gruppen von Schreien (kollektive Anomalien).

Der Beweis: Funktioniert es?

Die Autoren haben dies nicht nur gebaut; sie haben mathematisch bewiesen, dass es funktioniert, und es mit Simulationen getestet.

Die Mathematik: Sie zeigten, dass die Methode mit zunehmender Datenmenge fast perfekt darin wird, die Anzahl der Anomalien sowie deren Beginn und Ende zu finden.
Die Simulation: Sie erstellten künstliche Daten mit komplexen Trends, Saisonalitäten und Anomalien. STAD schnitt in fast allen Fällen fast so gut ab wie ein „perfekter Oracle“ (ein magisches System, das die Antworten bereits kennt).
Der Realwelt-Test: Sie wandten es auf reale Stromexportpreise im Vereinigten Königreich an. Die alte Methode (CAPA) sah tausende von „Anomalien“, nur aufgrund der täglichen Preiszyklen. STAD hingegen identifizierte korrekt nur drei signifikante Preisausschläge, die tatsächlich wie reale Marktereignisse aussah, und ignorierte dabei den täglichen Rhythmus.

Das Fazleit

Das Paper behauptet, dass STAD ein robustes Werkzeug zur Bereinigung von unordentlichen Zeitreihendaten ist. Es trennt erfolgreich das „Signal“ (Trend und Saisonalität) vom „Rauschen“ (Anomalien), selbst wenn die Anomalien große Datenmengen statt nur einzelne Ausreißer sind. Es ermöglicht uns, die „Schreie“ klar zu sehen, selbst wenn sie auf einem „abfallenden Hügel mit einem rhythmischen Beat“ stattfinden.

Technisches Resümee: Seasonal Trend Anomaly Detection (STAD)

Problemstellung

Die Erkennung von Anomalien in Zeitreihendaten ist eine kritische Aufgabe in verschiedenen Bereichen wie Finanzen, Energie und Gesundheitswesen. Bestehende Methoden stehen jedoch vor erheblichen Einschränkungen, wenn sie auf reale Daten mit komplexen Strukturen angewendet werden. Traditionelle Ansätze gehen oft von einer konstanten Baseline aus oder konzentrieren sich ausschließlich auf Punktanomalien. Während neuere Methoden wie CAPA (Collective And Point Anomalies) sowohl Punkt- als als auch Kollektivanomalien erkennen können, operieren sie typischerweise unter der Annahme einer konstanten Baseline mit Gaußschem Rauschen.

In der Praxis weisen Zeitreihen häufig polynomielle Trends und periodische saisonale Muster auf. Wenn diese Komponenten vorhanden sind, versagen Standard-Dekompositionsmethoden (z. B. STL, RobustSTL) oft dabei, zwischen echten Anomalien und strukturellen Variationen zu unterscheiden. Insbesondere Kollektivanomalien (Gruppen aufeinanderfolgender anomaler Punkte) können in die geschätzten Trend- oder Saisonkomponenten absorbiert werden, was zu falsch-negativen Ergebnissen führt. Umgekehrt können starke Trends und Saisonalität Anomalien verdecken, was bei Methoden, die diese nicht berücksichtigen, zu falsch-positiven Ergebnissen führt. Es mangelt an robusten statistischen Methoden, die in der Lage sind, eine Zeitreihe gleichzeitig in Trend-, Saisonalitäts- und Anomaliekomponenten zu zerlegen und dabei sowohl Punkt- als auch Kollektivanomalien präzise zu identifizieren.

Methodik: Seasonal Trend Anomaly Detection (STAD)

Die Autoren schlagen STAD vor, einen neuartigen Ansatz, der bestehende Frameworks zur Anomalieerkennung erweitert, um mit polynomiellen Trends und saisonalen Komponenten umzugehen. Die Methode zerlegt die beobachtete Zeitreihe $Y$ in vier Komponenten:
$Y = A + T + S + \varepsilon$
wobei $A$ die Anomalien (sowohl kollektive als auch punktuelle) darstellt, $T$ ein polynomieller Trend ist, $S$ eine periodische Saisonkomponente ist und $\varepsilon$ Gaußsches Rauschen darstellt.

Der STAD-Algorithmus durchläuft vier iterative Schritte:

Initiale Schätzung:
- Trend: Um die Saisonalität zu entfernen, wird die Differenzbildung mit einem Lag $D$ angewandt, der ein Vielfaches der Saisonperiode $P$ ist. Ein robuster Trendschätzer wird auf diese differenzierte Reihe angewendet, um eine initiale Trendschätzung $\hat{T}_0$ zu erhalten.
- Saisonalität: Der initiale Trend wird von den Originaldaten subtrahiert. Ein robuster Saisonalitätsschätzer wird anschließend auf den Rest angewendet, um eine initiale Saison-Schätzung $\hat{S}_0$ zu erhalten.
Verfeinerte Trendschätzung:
- Der verfeinerte Trend wird geschätzt, indem ein robuster Trendschätzer auf den Rest $Y - \hat{S}_0$ angewendet wird.
- Sampling-Strategie: Eine zentrale Innovation ist die systematische Sampling-Strategie zur Handhabung von Kollektivanomalien. Die Methode unterteilt die Zeitreihe in disjunkte Segmente und zieht Teil-Segmente aus alternierenden Sätzen (ungerade oder gerade indizierte Segmente). Dies stellt sicher, dass mit hoher Wahrscheinlichkeit mindestens eine Teilprobe frei von Kollektivanomalien ist, was eine zuverlässige Schätzung des polynomiellen Trends selbst in Gegenwart großer anomaler Blöcke ermöglicht.
- Die Methode iteriert diesen Sampling-Prozess $J$ -mal und wählt die Trendschätzung aus, die eine penalierte Kostenfunktion im Schritt der Anomalieerkennung minimiert.
Verfeinerte Saisonalitätsschätzung:
- Sobald der Trend verfeinert wurde, wird die Saisonkomponente neu geschätzt, indem ein robuster Saisonalitätsschätzer auf $Y - \hat{T}$ angewendet wird, wobei die als anomal identifizierten Intervalle explizit ausgeschlossen werden.
- Falls die Saisonalität als glatt angenommen wird, wird eine Spline-Glättung auf die geschätzten Saisonkoeffizienten angewendet.
Anomalieerkennung:
- Schließlich wird die Anomaliekomponente $A$ geschätzt, indem eine modifizierte Version des CAPA-Algorithmus auf den Rest $Y - \hat{T} - \hat{S}$ angewendet wird.
- Dieser Schritt nutzt einen penalisierten Kostenansatz (Generalized Functional Pruning Optimal Partitioning - GFPOP), um die Anzahl, die Positionen und die Magnituden sowohl der Kollektiv- als auch der Punktanomalien zu identifizieren.

Zentrale Beiträge

Neuartiges Dekompositions-Framework: STAD ist die erste Methode, die polynomielle Trends, Saisonkomponenten sowie Punkt- und Kollektivanomalien gleichzeitig innerhalb eines einheitlichen statistischen Frameworks schätzt.
Robuste Stichprobenziehung für die Trendschätzung: Das Paper führt ein systematisches Sampling-Verfahren ein, das die Existenz nicht-anomaler Teilproben mit hoher Wahrscheinlichkeit garantiert. Dies überwindet die Einschränkung Standard-robuster Schätzer (wie M-Schätzer), die durch große Kollektivanomalien verzerrt werden können.
Theoretische Garantien: Die Autoren etablieren eine statistische Theorie, die beweist, dass STAD:
- die Anzahl der Anomalien konsistent schätzt.
- asymptotische $L_2$ -Schranken für die Schätzfehler der Anomalie-, Trend- und Saisonkomponenten liefert.
- sicherstellt, dass die geschätzten Start- und Endpunkte der Anomalien nahe an den wahren Werten liegen (innerhalb einer logarithmischen Fehlerschranke).
Umgang mit Nicht-Stationarität: Im Gegensatz zu CAPA, das eine konstante Baseline voraussetzt, kann STAD mit nicht-stationären Daten umgehen, die durch polynomielle Trends und Saisonalität getrieben werden.

Ergebnisse

Die Leistung von STAD wurde durch umfangreiche Simulationsstudien und eine reale Anwendung evaluiert:

Simulationsstudien:
- STAD wurde gegen "Oracle"-Versionen seiner selbst (die den wahren Trend oder die wahre Saisonalität kennen) und gegen Standardmethoden verglichen.
- Anomalielänge: STAD performt nahezu so gut wie die Oracles für Anomalien bis zu etwa 25 % der Zeitreihenlänge. Die Leistung sinkt erst, wenn die Anomalien extrem lang werden und die Identifizierung nicht-anomaler Teilproben verhindern.
- Saisonaler Zeitraum: Die Methode bleibt über verschiedene Saisonperioden hinweg robust, sofern mindestens fünf Saisonzyklen in den Daten vorhanden sind.
- Multiple Anomalien: STAD erkennt erfolgreich mehrere Kollektivanomalien mit unterschiedlichen Längen und Magnituden und erreicht in den meisten Szenarien die Oracle-Leistung.
- Tuning: Die Studie legt Standard-Tuning-Parameter ( $J=20$ für Sampling-Iterationen, $\lambda_{coll}=4$ , $\lambda_{point}=3$ ) nahe, die einen guten Kompromiss zwischen Genauigkeit und Rechenaufwand bieten.
Reale Anwendung:
- Die Methode wurde auf Daten der britischen Stromexportpreise (Octopus Agile) angewendet, die eine tägliche Saisonalität und langfristige Trends aufweisen.
- Vergleich: Bei Anwendung auf diese Daten detektierte CAPA eine große Anzahl von falsch-positiven Ergebnissen, die dem saisonalen Muster zuzuschreiben waren, selbst bei hohen Penalty-Parametern.
- STAD-Leistung: STAD konnte die Daten erfolgreich zerlegen und drei signifikante Kollektivanomalien identifizieren. Diese Anomalien korrelierten mit Perioden hoher regenerativer Energieerzeugung, was den praktischen Nutzen der Methode zur Unterscheidung zwischen strukturellen Anomalien und typischen saisonalen Schwankungen demonstriert.

Bedeutung und Ansprüche

Das Paper behauptet, dass STAD eine kritische Lücke in der Zeitreihenanalyse schließt, indem es die Erkennung von Anomalien in Gegenwart komplexer, nicht-stationärer Strukturen ermöglicht. Die Autoren betonen, dass aktuelle Methoden ungeeignet für Daten sind, in denen Trends und Saisonalität ausgeprägt sind, was oft zur Maskierung von Kollektivanomalien oder zur Fehlidentifikation saisonaler Muster als Anomalien führt.

Durch die Etablierung einer rigorosen statistischen Theorie und den Nachweis einer starken Performance in endlichen Stichproben positionieren die Autoren STAD als robustes Werkzeug für Domänen, die eine hochpräzise Anomalieerkennung erfordern, wie etwa Energiemärkte und Finanzüberwachung. Die Arbeit erweitert die theoretischen Grundlagen des CAPA-Algorithmus auf ein allgemeineres Setting und bietet einen konsistenten Schätzer für die Anzahl und Lage von Anomalien, selbst wenn die zugrunde liegende Baseline nicht konstant ist. Die Autoren merken an, dass die Methode zwar auf polynomielle Trends und stationäre Saisonkomponenten beschränkt ist, aber einen bedeutenden Fortschritt im Umgang mit den strukturellen Herausforderungen realer Zeitreihendaten darstellt.