🤖 machine learning

GDformer: Going Beyond Subsequence Isolation for Multivariate Time Series Anomaly Detection

Dieser Beitrag stellt GDformer vor, ein neuartiges unüberwachtes Framework zur Anomalieerkennung, das einen globalen Wörterbuch-erweiterten Transformer nutzt, um die Einschränkungen isolierter Teilsequenzanalysen zu überwinden, indem es ein einheitliches, auf Serien-Ebene arbeitendes Detektionskriterium auf Basis globaler Repräsentationen und Korrelationsgewichte etabliert und dadurch State-of-the-Art-Leistung über mehrere reale Benchmarks hinweg erzielt.

Ursprüngliche Autoren: Qingxiang Liu, Xiaoliang Luo, Chenghao Liu, Sheng Sun, Di Yao, Lvchun Wang, Wei Yu, Yuxuan Liang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qingxiang Liu, Xiaoliang Luo, Chenghao Liu, Sheng Sun, Di Yao, Lvchun Wang, Wei Yu, Yuxuan Liang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter, der einen riesigen Kontrollraum mit Hunderten von Sensoren überwacht. Diese Sensoren erfassen alles, von Temperatur und Druck bis hin zu Geschwindigkeit und Spannung. Ihre Aufgabe besteht darin, Fehler (eine „Anomalie") zu erkennen, bevor es zu einer Katastrophe kommt.

Das Problem ist jedoch, dass die Daten überwältigend sind. Es ist ein ständiger, chaotischer Strom von Zahlen. Wenn Sie versuchen, nur einen winzigen, isolierten Ausschnitt dieser Daten zu betrachten (wie einen 10-Sekunden-Ausschnitt), könnten Sie den größeren Zusammenhang übersehen. Sie könnten denken, ein plötzlicher Anstieg sei normal, weil er in diesem kurzen Ausschnitt harmlos aussieht, obwohl er tatsächlich ein Zeichen für einen systemweiten Ausfall ist.

Dies ist das Problem, das die Arbeit GDformer zu lösen versucht. Hier ist eine einfache Erklärung, wie sie es tun:

Der alte Weg: Der „verblindete" Detektiv

Die meisten bestehenden KI-Methoden zum Aufspüren dieser Fehler funktionieren wie ein Detektiv, der verblindet ist und nur erlaubt bekommt, jeweils einen kleinen Raum zu betrachten.

Sie zerlegen den gesamten Zeitverlauf der Daten in winzige, isolierte Stücke (Teilsequenzen).
Sie analysieren jedes Stück separat, um zu sehen, ob es seltsam aussieht.
Der Fehler: Da sie nur so kleine Teile betrachten, verpassen sie den „globalen" Kontext. Ein seltsamer Ausschlag in einem Raum mag normal erscheinen, wenn man nicht weiß, was in den anderen 99 Räumen passiert. Dies führt zu Fehlalarmen (normale Vorgänge werden als defekt eingestuft) oder übersehenen Alarmen (defekte Vorgänge werden als normal eingestuft).

Der neue Weg: Der Bibliothekar mit dem „globalen Wörterbuch"

Die Autoren schlagen ein neues Modell namens GDformer vor. Anstatt isolierte Räume zu betrachten, agiert dieses Modell wie ein Bibliothekar mit einem Hauptkatalog der „Normalität".

Hier ist die kreative Analogie, wie es funktioniert:

Das globale Wörterbuch (der Hauptkatalog):
Stellen Sie sich vor, die KI erstellt ein spezielles „Wörterbuch" aus Key- und Value-Vektoren. Denken Sie an diese als eine Sammlung von „perfekt normalen" Mustern, die das System aus allen Daten gelernt hat, nicht nur aus einem kleinen Ausschnitt. Es ist wie eine Hauptliste dessen, wie ein „gesunder" Zustand für das gesamte Gebäude aussieht, nicht nur für einen Raum.
Cross-Attention (der Vergleich):
Wenn ein neuer Datenpunkt hereinkommt, fragt die KI nicht nur nach seinen Nachbarn, sondern: „Wie sehr ähnelt dieser spezifische Moment dem 'Hauptkatalog' normalen Verhaltens?"
- Sie verwendet einen Mechanismus namens Cross-Attention, um den aktuellen Datenpunkt mit diesem globalen Wörterbuch zu vergleichen.
- Wenn der Datenpunkt gut mit dem „Hauptkatalog" übereinstimmt, erhält er eine hohe Punktzahl (er ist normal).
- Wenn er nicht mit dem globalen Muster übereinstimmt, erhält er eine niedrige Punktzahl (es ist eine Anomalie).
Prototypen (das „ideale" Normal):
Um dies noch schärfer zu machen, erstellt die KI Prototypen. Stellen Sie sich diese wie „idealisierte" Versionen normalen Verhaltens vor. Die KI lernt, die spezifische Form der Beziehung zwischen einem Datenpunkt und dem globalen Wörterbuch zu erkennen.
- Normale Punkte werden diesen Prototypen alle sehr ähnlich aussehen.
- Anomalie-Punkte werden sehr unterschiedlich aussehen.
- Die KI misst einfach den Abstand zwischen dem aktuellen Punkt und diesen „Idealen Normalwerten". Wenn der Abstand zu groß ist, ist es ein Alarm.

Warum dies besser ist

Keine Blindstellen mehr: Da die KI das „globale Wörterbuch" verwendet, versteht sie den Kontext der gesamten Reihe, nicht nur eines winzigen Ausschnitts. Sie weiß, wie ein „normaler Tag" für das gesamte System aussieht.
Schneller und leichter: Herkömmliche Methoden versuchen, jeden einzelnen Datenpunkt mit jedem anderen Datenpunkt zu vergleichen (was so ist, als würde man versuchen, jedes Buch in einer Bibliothek mit jedem anderen Buch zu vergleichen). Das dauert ewig und verbraucht viel Speicher. GDformer vergleicht Datenpunkte nur mit dem kleinen „Wörterbuch" (dem Katalog), was viel schneller ist und weniger Rechenleistung benötigt.
Weniger Fehler: Die Arbeit zeigt, dass diese Methode mehr echte Probleme erkennt und im Vergleich zu den alten „verblindeten" Methoden weniger Fehlalarme auslöst.

Das Fazit

Die Arbeit behauptet, dass GDformer durch den Wechsel vom Betrachten isolierter, winziger Datenstücke hin zum Aufbau eines „globalen Wörterbuchs", um das Gesamtbild zu verstehen, Systemstörungen genauer, schneller und mit weniger Fehlern erkennen kann als aktuelle State-of-the-Art-Methoden. Es gibt der KI im Wesentlichen eine „Vogelperspektive" der Daten statt einer „Wurm-Perspektive".

Technischer Überblick: GDformer für die Anomalieerkennung in multivariaten Zeitreihen

1. Problemstellung

Die Anomalieerkennung in multivariaten Zeitreihen (MTS) ist entscheidend für die Aufrechterhaltung der Zuverlässigkeit realer Systeme (z. B. Industriesensoren, Servermetriken). Bestehende Deep-Learning-Ansätze stoßen jedoch aufgrund der Strategie der Subsequenz-Isolierung auf erhebliche Grenzen. Aktuelle Methoden unterteilen lange Zeitreihen typischerweise in nicht überlappende, isolierte Subsequenzen, um zeitliches Wissen innerhalb der Subsequenzen zu erlernen. Dieser Ansatz leidet unter folgenden Problemen:

Begrenzter Horizont: Modelle haben keinen Zugriff auf den kontextuellen Rahmen der gesamten Reihe, was zu Repräsentationen führt, die global nicht aussagekräftig sind.
Inkonsistente Kriterien: Aufgrund der Heterogenität zwischen den Subsequenzen (Schwankungen, Anomaliedichte) sind punktweise Anomaliewerte, die aus isolierten Segmenten abgeleitet werden, stark variabel. Das Zusammenfügen dieser Werte führt beim Festlegen eines einheitlichen Detektionsschwellenwerts für die gesamte Reihe häufig zu falsch positiven und falsch negativen Ergebnissen.
Skalierbarkeitsprobleme: Die direkte Anwendung von Self-Attention auf die gesamte Reihe, um einen globalen Kontext zu erfassen, führt zu einer Zeit- und Speicherkomplexität von $O(n^2)$ , was für lange Sequenzen rechnerisch untragbar ist.

Der Artikel fasst die MTS-Anomalieerkennung als überwachtes Lernproblem auf, mit dem Ziel, ein kompaktes, einheitliches Detektionskriterium abzuleiten, ohne während des Trainings Zugriff auf Anomalie-Labels zu haben.

2. Methodik: GDformer

Die Autoren schlagen GDformer (Global Dictionary-enhanced Transformer) vor, ein Modell, das darauf ausgelegt ist, globale Repräsentationen zu entwickeln, die von allen normalen Punkten über die gesamte Reihe hinweg geteilt werden, und damit die Subsequenz-Isolierung überwindet.

2.1 Kernarchitektur

GDformer ersetzt den Standard-Self-Attention-Mechanismus durch einen wörterbuchbasierten Cross-Attention-Mechanismus.

Globales Wörterbuch: Anstatt Keys ( $K$ ) und Values ( $V$ ) aus der Eingabesequenz abzuleiten (was den Kontext auf die Subsequenz beschränkt), führt GDformer lernbare, globale $K$ - und $V$ -Vektoren ein, die in einem Wörterbuch gespeichert sind. Diese Vektoren werden während des Trainings iterativ aktualisiert, um die geteilten zeitlichen Repräsentationen normaler Punkte über den gesamten Datensatz hinweg zu erfassen.
Cross-Attention: Die Query ( $Q$ ) wird aus den zeitlichen Eingabetokens abgeleitet, während $K$ und $V$ aus dem globalen Wörterbuch stammen. Die Attention-Karte ( $M$ ) spiegelt die Korrelationsgewichte zwischen einem bestimmten Zeitpunkt und den globalen normalen Repräsentationen wider.
Effizienz: Durch die Verwendung eines Wörterbuchs der Größe $N$ (wobei $N \ll T$ , die Sequenzlänge) wird die Komplexität von $O(T^2)$ auf $O(TN)$ reduziert, was die Speicher- und Recheneffizienz erheblich verbessert.

2.2 Ähnlichkeitsbewertung und Prototypen

Um ein robustes Detektionskriterium abzuleiten, führt GDformer Prototypen ein:

Prototyp-Lernen: Eine Menge von $P$ Prototypen wird eingeführt, um die Verteilungsmuster der Korrelationsgewichte zwischen normalen Punkten und dem globalen Wörterbuch zu erfassen.
Ähnlichkeitsabweichung: Das Modell berechnet die Ähnlichkeit zwischen der Attention-Karte eines gegebenen Punktes und diesen Prototypen.
- Normale Punkte: Ihre Verteilung der Attention-Gewichte stimmt eng mit den gelernten Prototypen überein.
- Anomale Punkte: Ihre Verteilungen weichen signifikant von den Prototypen ab.
Verlustfunktion: Das Trainingsziel kombiniert einen Rekonstruktionsverlust ( $L_c$ ) und einen Ähnlichkeitsabweichungsverlust ( $L_s$ ). Der Gesamtverlust wird wie folgt formuliert:
$L_{total} = L_c - \lambda L_s$
wobei $L_s$ die Ähnlichkeitswerte über alle Schichten hinweg aggregiert. Das negative Vorzeichen ermutigt das Modell, die Ähnlichkeit zwischen normalen Punkten und Prototypen zu maximieren, wodurch eine kompakte Entscheidungsgrenze entsteht.

2.3 Inferenz

Während der Inferenz wird der Anomaliewert für einen Punkt aus der negativen Ähnlichkeit zu den Prototypen abgeleitet. Punkte mit geringer Ähnlichkeit (hohe Abweichung) werden als Anomalien markiert. Ein einheitlicher Schwellenwert wird über die gesamte Reihe angewendet, wodurch die Notwendigkeit von subsequenzspezifischen Schwellenwerten entfällt.

3. Hauptbeiträge

Global Dictionary-Enhanced Transformer: Die Autoren schlagen GDformer vor, der einen wörterbuchbasierten Cross-Attention-Mechanismus nutzt, um globale Repräsentationen zu erlernen, die von allen normalen Punkten geteilt werden, und damit die Horizontbeschränkungen der Subsequenz-Isolierung effektiv überwindet.
Prototypenbasiertes Ähnlichkeitskriterium: Die Einführung von Prototypen zur Erfassung von Mustern der Korrelation zwischen normalen Punkten und dem globalen Kontext ermöglicht eine unterscheidbare Ähnlichkeitsabweichung zwischen normalen und anomalen Punkten und liefert eine kompakte und einheitliche Detektionsgrenze.
Effizienz und Skalierbarkeit: Die Methode reduziert die rechnerische Komplexität und den Speicherbedarf im Vergleich zu herkömmlichen Transformer-basierten Ansätzen (z. B. AnomalyTrans, DCdetector) erheblich, indem sie den Attention-Mechanismus von der Sequenzlänge entkoppelt.
Übertragbarkeit: Das globale Wörterbuch und die Prototypen zeigen eine Übertragbarkeit über verschiedene Datensätze hinweg, was darauf hindeutet, dass geteilte normale zeitliche Muster über Domänen hinweg existieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GDformer auf sechs populären Benchmark-Datensätzen: MSL, SMAP, SWaT, PSM, GECCO und ASD.

Leistung: GDformer erzielte State-of-the-Art (SOTA)-Leistung und sicherte sich die höchsten F1-Scores auf fünf von sechs Datensätzen sowie den zweitbesten Wert auf dem verbleibenden. Es übertraf starke Baselines einschließlich AnomalyTrans, DCdetector, MEMTO und ModernTCN in mehreren Metriken (Point-Adjustment F1, Range-AUC und VUS-Metriken).
Effizienz: GDformer zeigte eine überlegene Effizienz. Im Vergleich zu AnomalyTrans und DCdetector erreichte es eine durchschnittliche Reduzierung der Trainingszeit von 88,8 % bzw. 94,7 %, bei gleichzeitig deutlich geringerem Speicherbedarf (z. B. ~4,5 GB vs. ~16 GB für AnomalyTrans).
Ablationsstudien:
- Der Ersatz von Self-Attention durch wörterbuchbasierte Cross-Attention verbesserte die F1-Scores um ca. 5,87 %.
- Die Einführung des auf Ähnlichkeit basierenden Kriteriums (im Vergleich zum Rekonstruktionsfehler allein) verbesserte die F1-Scores um ca. 9,11 %.
- Die Kombination des Ähnlichkeitsverlusts über mehrere Schichten hinweg ergab bessere Ergebnisse als Einzel-Schicht-Ansätze.
Fallstudien: Visualisierungen zeigten, dass Baselines (AnomalyTrans, DCdetector) aufgrund der Heterogenität der Subsequenzen versagten, bestimmte Punktanomalien zu erkennen oder falsch positive Ergebnisse lieferten, während GDformer konsistent Anomalien unter Verwendung seines einheitlichen, reihenweiten Kriteriums erkannte.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass GDformer die fundamentale Einschränkung bestehender Deep-Learning-Methoden adressiert: die Abhängigkeit von isolierten Subsequenzen, die das Erlernen globalen, reihenweiten Wissens verhindert. Durch den Paradigmenwechsel hin zu global wörterbuchgestützter Cross-Attention stellt das Modell ein einheitliches Detektionskriterium sicher, das über die gesamte Zeitreihe hinweg konsistent ist.

Die Autoren betonen, dass das auf Ähnlichkeit basierende Detektionskriterium, das aus der Abweichung zwischen Punkt-globalen Korrelationen und gelernten Prototypen abgeleitet wird, eine kompaktere und effektivere Entscheidungsgrenze bietet als traditionelle Methoden des Rekonstruktionsfehlers oder der statistischen Divergenz (wie KL-/JS-Divergenz). Darüber hinaus deutet die beobachtete Übertragbarkeit des globalen Wörterbuchs auf einen Weg hin, um Foundation-Modelle für die Anomalieerkennung in Zeitreihen zu entwickeln, die sich über verschiedene Domänen hinweg verallgemeinern lassen.

Der Artikel kommt zu dem Schluss, dass GDformer sowohl effektiv als auch effizient ist und die Hypothese validiert, dass die Entwicklung globaler normaler Repräsentationen der isolierten Subsequenzanalyse für die MTS-Anomalieerkennung überlegen ist.