🤖 machine learning

DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches

Dieses Paper stellt die Dissimilarity-based Query Strategy (DQS) vor, einen neuartigen Active-Learning-Ansatz, der die unüberwachte Anomalieerkennung in Zeitreihen verbessert, indem er diverse Stichproben für die Oracle-Labeling auswählt, um die Schwellenwertselektion zu verfeinern, wobei es trotz potenzieller Fehlkennzeichnungen eine überlegene Leistung in Low-Budget-Szenarien demonstriert.

Ursprüngliche Autoren: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Veröffentlicht 2026-08-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lucas Correia, Jan-Christoph Goos, Thomas Bäck, Anna V. Kononova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Wächter einer riesigen, summenden Maschinenfabrik. Jeden Tag zeichnen tausende Sensoren den Herzschlag der Maschinen auf: Temperatur, Vibration, Druck und Geschwindigkeit. Meistens summen diese Maschinen in einem „nominalen“ (normalen) Rhythmus dahin. Aber manchmal rutscht ein Zahnrad oder ein Lager überhitzt, was einen seltsamen, „anomalen“ Fehler erzeugt. Wenn man diese Fehler frühzeitig erkennt, rettet man die Fabrik; wenn man sie übersieht, gehen die Maschinen kaputt. Das Problem ist, dass die Daten so riesig und komplex sind, dass Menschen nicht jede einzelne Sekunde beobachten können. Deshalb nutzen wir Computer, um nach den seltsamen Schlägen zu lauschen.

Aber hier ist der Haken: Computer sind großartig darin, Seltsamkeit zu entdecken, aber sie sind schrecklich darin, zu wissen, wie „seltsam“ zu viel des Guten ist. Es ist wie ein Rauchmelder, der beim Geruch von Toast piept, aber während eines echten Feuers stumm bleibt, weil man ihm nie gesagt hat, wie ein echtes Feuer riecht. Um dies zu beheben, müssen wir dem Computer normalerweise Beispiele von „normalen“ und „kaputten“ Maschinen zeigen, damit er die Grenzlinie lernen kann. Aber in der realen Welt haben wir selten einen Stapel mit beschrifteten „kaputten“ Beispielen bereitliegen. Diese Arbeit lebt in einer Ecke der Wissenschaft namens unüberwachtem Anomalie-Detektionsverfahren (unsupervised anomaly detection), wo wir versuchen, die schlechten Äpfel zu finden, ohne eine fertige Liste dessen zu haben, wie schlechte Äpfel aussehen. Die große Frage lautet: Wenn wir nicht alles beschriften können, wie bringen wir dem Computer gerade genug bei, um es richtig zu machen, ohne ein Vermögen an menschlichen Experten auszugeben?

Die Autoren dieser Arbeit, Lucas Correia und sein Team, beschlossen, dies anzugehen, indem sie zwei Ideen mischen: unüberwachtes Lernen (den Computer auf eigene Faust raten lassen) und aktives Lernen (einen menschlichen Experten nur dann um Hilfe bitten, wenn es absolut notwendig ist). Sie nennen ihre neue Methode DQS (Dissimilarity-based Query Strategy).

Stellen Sie sich den Computer als Detektiv vor, der versucht, einen Dieb in einer Menge zu finden. Der Detektiv hat einen „Verdachtswert“ für jeden. Wenn der Wert zu hoch ist, ist die Person ein Dieb; wenn er niedrig ist, ist sie unschuldig. Aber der Detektiv weiß nicht, wo er die Linie ziehen soll. Normalerweise zieht der Detektiv einfach eine Linie, was oft zu Fehlern führt. Die Autoren schlagen einen klügeren Weg vor: Anstatt den menschlichen Experten zu bitten, zufällige Personen zu beschriften, oder nur die Personen zu fragen, die der Detektiv für am meisten verdächtig hält, sollte der Detektiv nach Personen fragen, die völlig verschieden voneinander sind.

So funktioniert ihre neue Strategie, DQS: Stellen Sie sich vor, der Detektiv hat eine Liste mit „Verdachtswerten“ für jeden. Um die nächste Person auszuwählen, nach der er den menschlichen Experten fragen soll, schaut DQS auf die Werte und fragt: „Wer hier ist am unähnlichsten zu den Personen, nach denen ich bereits gefragt habe?“ Sie verwenden ein mathematisches Werkzeug namens Dynamic Time Warping (DTW), um diese „Unähnlichkeit“ zu messen. Man kann sich DTW als eine Art vorstellen, zwei Lieder zu vergleichen, die vielleicht mit unterschiedlichen Geschwindigkeiten abgespielt werden. Selbst wenn ein Lied schnell und das andere langsam ist, kann DTW herausfinden, ob es dieselbe Melodie oder völlig unterschiedliche Melodien sind. DQS nutzt dies, um Anomaliewerte zu finden, die so verschieden wie möglich von den bereits geprüften Werten sind. Indem der Detektiv die vielfältigsten, „seltsam unterschiedlichen“ Stichproben dem Menschen zeigt, lernt er die Grenzlinie viel schneller und genauer.

Die Autoren testen diese Idee mit einem Datensatz namens PATH, der das komplexe, schwankende Verhalten eines Automotors im Zeitverlauf simuliert. Sie verglichen DQS mit drei anderen Wegen, um um Hilfe zu bitten:

Zufällig (Random): Einfach Leute auswählen, indem man mit einem Würfel spielt.
Top: Nur nach den Leuten fragen, die die höchsten Verdachtswerte haben.
Unsicherheit (Uncertainty): Nach Leuten fragen, deren Werte genau an der Grenze der aktuellen Vermutung liegen.

Die Ergebnisse, gemessen an einem Wert namens F1 (der das Finden aller schlechten Äpfel mit dem Vermeiden von Fehlalarmen abwägt), zeigten einige interessante Dinge. Wenn der menschliche Experte über ein sehr kleines Budget verfügt (das heißt, er kann nur wenige Stichproben beschriften, wie z. B. 1 oder 5), ist DQS der klare Gewinner. Es findet die beste Schwelle viel besser als die anderen Methoden. Die Autoren testeten jedoch auch, was passiert, wenn der menschliche Experte Fehler macht (Fehlbeschriftung). Sie simulierten Szenarien, in denen der Experte 10 %, 20 % oder sogar 30 % der Zeit falsch lag. In diesen chaotischen, realistischen Situationen schnitt DQS immer noch gut ab, aber die „Top“-Strategie (die fragt, nach den verdächtigsten Personen) erwies sich als etwas beharrlicher und robuster gegenüber den Fehlern des Menschen.

Entscheidend ist, dass das Papier zeigt, dass keine einzelne Strategie in jeder Situation perfekt ist. DQS ist kein magisches Allheilmittel, das alles für immer besiegt. Tatsächlich, wenn das Budget groß ist (10 Stichproben), können die anderen Methoden manchmal aufholen oder DQS an bestimmten Tagen sogar übertreffen. Aber die wichtigste Erkenntnis ist, dass jede dieser intelligenten Fragestrategien besser ist als einfach die Linie zu erraten, ohne jemanden zu fragen. Selbst wenn der menschliche Experte Fehler macht, führt die Verwendung einer Strategie zur Auswahl dessen, wen man fragt, immer noch zu besseren Ergebnissen als der Versuch des Computers, die Linie allein zu erraten.

Die Autoren kommen zu dem Schluss, dass, wenn man die Chance hat, die Hilfe eines menschlichen Experten in Anspruch zu nehmen, man dies definitiv tun sollte, man aber klug dabei sein muss, wen man fragt. Wenn man sehr wenig Zeit oder Geld für die Beschriftung hat, sollte man die DQS-Methode verwenden, um die vielfältigsten Stichproben auszuwählen. Wenn man besorgt ist, dass der Experte müde wird und Fehler macht, könnte die „Top“-Strategie sicherer sein. Das Papier behauptet nicht, das Problem der Anomalieerkennung für immer gelöst zu haben, aber es legt nahe, dass wir durch eine strategische Art und Weise, wie wir um Hilfe bitten, viel näher an die perfekte Antwort kommen können, ohne einen Berg an beschrifteten Daten zu benötigen.

Technisches Resümee: DQS – Eine kostengünstige Abfragestrategie zur Verbesserung unüberwachter datengesteuerter Anomalieerkennungsverfahren

1. Problemstellung

Echt unüberwachte Ansätze für die Anomalieerkennung in Zeitreihen sind in der Literatur selten. Bestehende Methoden leiden oft unter schlecht gesetzten Schwellenwerten, was die Erkennungsleistung erheblich beeinträchtigt. Obwohl einige Ansätze als unüberwacht behauptet werden, verlassen sie sich häufig auf gelabelte Teilmengen zur Kalibrierung oder Hyperparameter-Optimierung – eine Ressource, die in realen Szenarien oft nicht verfügbar ist. Selbst wenn echt unüberwachte Methoden existieren (z. B. unter Verwendung eines Temporal Variational Autoencoder, TeVAE), bleibt der Prozess der Schwellenwertwahl ein kritischer Engpass. Correia et al. [12] haben eine signifikante Leistungslücke zwischen unüberwachter Schwellenwertsetzung und einem optimalen Schwellenwert nachgewiesen, was auf ungenutztes Potenzial hindeutet.

Darüber hinaus setzt die bestehende Literatur zum aktiven Lernen in diesem Bereich typischerweise einen „perfekten Orakel“ (100 % Kennzeichnungsgenauigkeit) voraus – eine idealisierte Annahme, welche die Realität von menschlichen Fehlern, Ermüdung und der Schwierigkeit bei der Kennzeichnung bestimmter Proben ignoriert. Es mangelt an Forschung, die untersucht, wie sich Fehlkennzeichnungsraten auf die Anomalieerkennung auswirken, wenn aktives Lernen zur Schwellenwertwahl eingesetzt wird.

2. Methodik

2.1 Active-Learning-Framework

Der vorgeschlagene Ansatz integriert aktives Lernen in eine bestehende unüberwachte Pipeline zur Anomalieerkennung. Das System arbeitet in einer Schleife, die Folgendes umfasst:

Das Orakel: Ein Domänenexperte, der ungelabelte Proben als nominal oder anomal kennzeichnet.
Das Modell: Ein unüberwachter Anomalie-Detektor (speziell TeVAE), der auf ungelabelten Daten trainiert wurde.
Die Abfragestrategie (Query Strategy): Ein Mechanismus, um zu entscheiden, welche Proben aus einem Kandidatenpool an das Orakel zur Kennzeichnung gesendet werden sollen, begrenzt durch ein Abfragebudget $B$ .
Die Feedback-Strategie: Der Prozess, die neu gelabelten Daten zu nutzen, um den Entscheidungsschwellenwert zu verfeinern und dadurch die Erkennungsleistung zu verbessern.

2.2 Dissimilaritätsbasierte Abfragestrategie (DQS)

Der Kernbeitrag dieser Arbeit ist die Dissimilaritätsbasierte Abfragestrategie (DQS). Dies ist eine nicht-parametrische Strategie, die darauf abzielt, die Diversität der abgefragten Proben zu maximieren, ohne eine vorherige Parametrisierung zu erfordern.

Mechanismus: DQS bewertet die Ähnlichkeit der Anomalie-Scores verschiedener Zeitreihen mittels Dynamic Time Warping (DTW). Im Gegensatz zu Metriken wie dem mittleren quadratischen Fehler (Mean Squared Error) kann DTW Sequenzen variabler Länge handhaben und berücksichtigt zeitliche Fehlausrichtungen.
Selektionslogik:
1. Initialisierung: Für die erste Abfrage in einer Runde wird eine Zufallsprobe aus dem Kandidaten-Score-Set ( $C_{as}$ ) ausgewählt.
2. Maximierung der Diversität: Für nachfolgende Abfragen innerhalb einer Runde identifiziert der Algorithmus die Probe, die am wenigsten dissimilar zur ähnlichsten bereits im Abfrage-Set ( $Q_{as}$ ) befindlichen Probe ist.
3. Prozess:
  - Berechne die DTW-Distanz zwischen allen Kandidaten in $C_{as}$ und allen Proben in $Q_{as}$ .
  - Identifiziere den Kandidaten ( $o$ ) in $C_{as}$ , der die minimale Distanz zu irgendeiner Probe in $Q_{as}$ aufweist (die „ähnlichste“).
  - Identifiziere den Kandidaten ( $r$ ) in $C_{as}$ , der die maximale Distanz zu $o$ aufweist (die „unähnlichste“).
  - Verschiebe $r$ zu $Q_{as}$ .
Schwellenwertverfeinerung: Sobald das Budget $B$ für eine Runde erschöpft ist, werden die gelabelten Proben in $Q_{as}$ verwendet, um eine Gittersuche für einen optimalen Schwellenwert $\tau$ durchzuführen, welcher den Standard-unüberwachten Schwellenwert ( $\tau_{us}$ ) ersetzt.

2.3 Experimenteller Aufbau

Datensatz: Der PATH-Datensatz, der die Dynamik eines Automobil-Antriebsstrangs repräsentiert, wurde verwendet. Er besteht aus multivariaten Zeitreihen mit nicht-trivialen Anomalien.
Simulation realer Bedingungen: Die Daten wurden in zunehmenden zeitlichen Fenstern (1 Tag bis 28 Tage) aufgeteilt, um die graduelle Datenakkumulation nachzubilden.
Simulation von Fehlkennzeichnungen: Um die Robustheit zu testen, wurden die Ground-Truth-Labels basierend auf einer Bernoulli-Verteilung mit Fehlkennzeichnungswahrscheinlichkeiten ( $p_m$ ) von 0,1, 0,2 und 0,3 manipuliert.
Baselines:
- Unüberwachter Schwellenwert ( $\tau_{us}$ ): Maximaler Fehler aus dem Validierungsset.
- Hypothetisch bester Schwellenwert ( $\tau_{best}$ ): Der optimale Schwellenwert, der via Gittersuche auf dem Testset gefunden wurde (in der Praxis nicht beobachtbar).
- Zufällige Abfragestrategie (RQS): Zufällige Auswahl.
- Top-basierte Abfragestrategie (TQS): Auswahl von Proben mit den höchsten Anomalie-Scores (Unsicherheit-basiert in einigen Literaturquellen).
- Unsicherheitsbasierte Abfragestrategie (UQS): Auswahl von Proben, die dem aktuellen Schwellenwert am nächsten liegen.

3. Kernbeiträge

Neuartige Abfragestrategie (DQS): Einführung einer nicht-parametrischen Abfragestrategie, die DTW nutzt, um die Diversität der Stichproben im Kontext der diskreten Sequenz-Anomalieerkennung zu maximieren.
Analyse der Fehlkennzeichnung: Eine neuartige Testmethodik, die explizit die Fehlkennzeichnungswahrscheinlichkeiten des Orakels berücksichtigt und damit eine Lücke in der Literatur schließt, in der oft eine perfekte Kennzeichnung angenommen wird.
Integration von aktivem Lernen: Demonstration eines praktischen Frameworks zur Kombination von aktivem Lernen mit unüberwachten Modellen, spezifisch zur Verfeinerung der Schwellenwertsetzung statt des Modell-Retrainings.

4. Ergebnisse

4.1 Leistung vs. Abfragebudget

Kleine Budgets ( $B < 10$ ): DQS übertraf konsistent RQS, TQS und UQS über verschiedene Zeit-Splits hinweg (1 bis 28 Tage). Es erreichte F1-Scores, die signifikant näher am hypothetisch besten Schwellenwert ( $\tau_{best}$ ) lagen als die unüberwachte Baseline.
Größere Budgets ( $B = 10$ ): DQS blieb wettbewerbsfähig und übertraf oft andere Strategien, wobei TQS in spezifischen Splits eine starke Leistung zeigte.
Allgemeiner Trend: Alle Abfragestrategien übertrafen den unüberwachten Schwellenwert ( $\tau_{us}$ ), sobald der Trainings-Subset groß genug war, damit das Modell aussagekräftige Repräsentationen lernen konnte.

4.2 Einfluss der Fehlkennzeichnung

Robustheit: Während DQS in Szenarien mit geringem Budget und sauberen Labels am besten abschnitt, zeigte TQS eine höhere Robustheit gegenüber höheren Raten an Fehlkennzeichnungen ( $p_m = 0,2, 0,3$ ).
Sensitivität von DQS: Die Leistung von DQS verschlechterte sich mit zunehmenden Fehlkennzeichnungsraten deutlicher als die von TQS, insbesondere in späteren Zeit-Splits.
Gesamtfund: Trotz Fehlkennzeichnungen übertrafen alle Active-Learning-Strategien den rein unüberwachten Schwellenwert ( $\tau_{us}$ ). Selbst mit einer Fehlerrate von 30 % lieferten die auf aktivem Lernen basierenden Schwellenwerte bessere F1-Scores als die unüberwachte Baseline.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit eine praktische Lösung für Szenarien bietet, in denen gelabelte Daten knapp sind, aber ein Orakel (menschlicher Experte) für begrenzte Abfragen zur Verfügung steht. Die Bedeutung liegt in:

Effizienz bei geringem Budget: DQS ist besonders effektiv, wenn die Kosten für die Kennzeichnung hoch sind (kleines Budget), da es den Informationsgewinn pro Abfrage maximiert, indem es eine diverse Stichprobenauswahl sicherstellt.
Machbarkeit von aktivem Lernen: Die Studie validiert, dass der Einsatz eines aktiven Lernens zur Schwellenwertverfeinerung empfohlen wird, da es konsistent besser als unüberwachte Schwellenwertsetzung abschneidet, selbst bei unvollkommenen Kennzeichnungen.
Realistische Evaluierung: Durch die Einführung von Fehlkennzeichnungswahrscheinlichkeiten bietet das Paper eine realistischere Bewertung von Active-Learning-Strategien in der Zeitreihen-Anomalieerkennung und bewegt sich damit über die idealisierte Annahme eines „perfekten Orakels“ hinaus.

Das Paper kommt zu dem Schluss, dass keine einzelne Strategie alle Kategorien dominiert (DQS glänzt in Low-Budget/Clean-Label-Szenarien; TQS in High-Mislabeling-Szenarien), die Integration von aktivem Lernen zur Schwellenwertverfeinerung jedoch ein praktikabler und überlegener Ansatz gegenüber rein unüberwachten Methoden ist. Als zukünftige Arbeit wird vorgeschlagen, sich auf die Standardisierung von Benchmarking-Verfahren und die Entwicklung von Abfragestrategien zu konzentrieren, die eine Balance zwischen Low-Budget-Effizienz und Robustheit gegenüber Fehlkennzeichnungen finden.