Uncertainty-Guided Label Rebalancing for CPS Safety Monitoring

Die Arbeit stellt U-Balance vor, einen überwachten Ansatz, der Verhaltensunsicherheit nutzt, um durch probabilistisches Neukennzeichnen unsicherer sicherer Datenfenster als unsicher das extreme Klassenungleichgewicht in der Sicherheitsüberwachung von Cyber-Physical Systems zu überwinden und so die Vorhersagegenauigkeit signifikant zu steigern.

Das Wesentliche

Das große Problem: Der "Nadel-im-Heuhaufen"-Effekt

Stell dir vor, du bist ein Sicherheitschef für eine Flotte von Drohnen (unbemannten Fluggeräten). Deine Aufgabe ist es, vorherzusagen, wann eine Drohne abstürzen oder einen Unfall bauen könnte.

Das Problem ist: Unfälle passieren extrem selten.
Von 47 Flugstunden sind 46 Stunden alles perfekt sicher. Nur eine Stunde ist gefährlich. Das ist wie nach einer winzigen Nadel in einem riesigen Heuhaufen zu suchen.

Wenn du einen Computerlern-Algorithmus (eine Art "Roboter-Detektiv") trainierst, indem du ihm diese Daten zeigst, passiert Folgendes: Der Roboter wird faul. Er sagt einfach immer: "Alles sicher!" und hat damit in 98% der Fälle recht. Aber genau das ist das Problem: Wenn er einmal einen Unfall vorhersagen müsste, versagt er, weil er so selten etwas anderes gelernt hat.

Die alte Lösung: Fälschen und Zählen

Bisher haben Forscher zwei Wege versucht, das zu lösen:

1. Fälschen (SMOTE): Sie haben künstlich mehr "Unfall-Daten" erfunden, indem sie echte Daten durcheinander gemischt haben. Das ist wie wenn du versuchst, einen echten Regenwald zu simulieren, indem du Plastikpflanzen auf einen Tisch legst. Es sieht grün aus, aber es ist nicht echt und verwirrt den Roboter.
2. Zählen (Gewichtung): Sie sagten dem Roboter: "Wenn du einen Unfall falsch einschätzt, bekommst du eine riesige Ohrfeige!" Das hilft manchmal, aber bei solch extremen Ungleichgewichten (46 zu 1) funktioniert es oft nicht gut genug.

Die neue Idee: U-Balance (Die "Zweifel"-Methode)

Die Autoren dieses Papers haben eine geniale neue Idee namens U-Balance. Sie nutzen etwas, das wir alle kennen: Zweifel.

Stell dir vor, du fährst Auto.

• Sicher: Du fährst geradeaus, die Straße ist klar, du bist entspannt.
• Unsicher: Plötzlich weicht ein Reh aus, es regnet stark, du ruckelst am Lenkrad, du zögert.

Die Forscher haben bemerkt: Wenn eine Drohne "zweifelt" (also unsichere Manöver macht, zittert oder abrupte Richtungswechsel hat), ist die Wahrscheinlichkeit eines Unfalls viel höher. Auch wenn sie am Ende vielleicht doch sicher landet.

Wie funktioniert U-Balance? (Die 3 Schritte)

Stell dir U-Balance wie einen cleveren Lehrer vor, der seinen Schüler (den Sicherheits-Roboter) auf eine Prüfung vorbereitet:

Schritt 1: Der "Zweifel-Spürhund" (Uncertainty Predictor)
Zuerst trainieren sie einen kleinen Roboter, der nur eine Aufgabe hat: Er schaut sich die Flugdaten an und sagt: "Wie unsicher war das gerade?"

• Fliegt die Drohne ruhig? -> "Niedriger Zweifel".
• Zittert sie, ändert sie wild die Richtung? -> "Hoher Zweifel".
  Dieser Roboter lernt, diese "Zweifel-Signale" zu erkennen.

Schritt 2: Der "Label-Rebalancer" (uLNR) – Der Clou!
Jetzt kommt der magische Teil. Normalerweise sind die Daten mit "Sicher" und "Unsicher" (Unfall) beschriftet.
Der neue Algorithmus schaut sich die Daten an, die als "Sicher" markiert sind. Aber er fragt: "Hey, war das hier nicht eigentlich sehr unsicher? Die Drohne hat gezittert und gezweifelt!"

Wenn eine "sichere" Flugstunde sehr viele Zweifel-Signale hatte, ändert der Algorithmus das Etikett. Er sagt: "Okay, das hier war zwar technisch sicher, aber es war so unsicher, dass es fast ein Unfall war. Wir tun so, als wäre es ein Unfall."

• Warum machen sie das? Nicht um zu lügen, sondern um dem Roboter beizubringen, dass "Zweifel" gefährlich sein kann. Sie füllen den "Unfall-Korb" mit diesen schwierigen, unsicheren Beispielen auf, ohne künstliche Daten zu erfinden. Sie nehmen echte Daten und geben ihnen eine neue Bedeutung.

Schritt 3: Der "Sicherheits-Roboter" (Safety Predictor)
Jetzt trainieren sie den eigentlichen Sicherheits-Roboter auf diesen "neu sortierten" Daten. Da er jetzt viele Beispiele für "unsichere Situationen" gesehen hat (die vorher als sicher galten), lernt er viel besser, echte Unfälle vorherzusagen.

Das Ergebnis: Ein großer Erfolg

Die Forscher haben das an echten Drohnendaten getestet.

• Ergebnis: Der neue Roboter war 14,3 % besser als alle anderen besten Methoden, die es bisher gab.
• Warum? Weil er nicht nur auf "Sicher" vs. "Unfall" geschaut hat, sondern verstanden hat, dass der Weg dorthin (die Unsicherheit) genauso wichtig ist.

Zusammenfassung in einer Metapher

Stell dir vor, du willst jemanden lehren, Blitze zu erkennen.

• Das alte Problem: Du zeigst ihm 1000 Bilder von blauem Himmel und nur 1 Bild von einem Blitz. Er lernt: "Himmel = Kein Blitz".
• Die alte Lösung (Fälschen): Du malst 100 künstliche Blitze auf den Himmel. Der Schüler merkt: "Das sieht komisch aus, das sind keine echten Blitze."
• Die neue Lösung (U-Balance): Du zeigst ihm Bilder von blauem Himmel, aber sagst: "Schau mal hier, der Himmel ist zwar blau, aber die Wolken sind ganz unruhig und dunkel. Das fühlt sich an wie ein Blitz. Behandle das so, als wäre es ein Blitz."
  • Der Schüler lernt: "Aha! Wenn die Wolken unruhig sind, muss ich aufpassen!"
  • Wenn dann ein echter Blitz kommt, erkennt er ihn sofort, weil er gelernt hat, auf die "Unruhe" zu achten.

Fazit: U-Balance nutzt das Gefühl der "Unsicherheit" der Drohne, um den Sicherheits-Alarm smarter zu machen. Es ist ein cleverer Trick, um aus wenigen Daten mehr zu lernen, ohne die Realität zu verfälschen.

Technische Zusammenfassung

1. Problemstellung

Die Überwachung der Sicherheit in Cyber-Physical Systems (CPS), wie z. B. unbemannten Luftfahrzeugen (UAVs), ist entscheidend, um Unfälle zu verhindern. Ein zentrales Hindernis für datengetriebene Sicherheitsvorhersagemodelle ist das extreme Ungleichgewicht der Klassen (Class Imbalance). In realen Betriebsdaten überwiegen sichere Ereignisse (Majority Class) unsichere Ereignisse (Minority Class) massiv (im getesteten Datensatz im Verhältnis von ca. 46:1).

Herkömmliche Rebalancing-Techniken wie SMOTE (Synthetic Minority Over-sampling Technique) oder Klassen-Gewichtung scheitern oft bei Zeitreihendaten:

• SMOTE erzeugt unrealistische synthetische Samples, die die zeitliche Struktur von Telemetriedaten zerstören.
• Klassen-Gewichtung führt bei extremem Ungleichgewicht oft zu Overfitting auf die Minderheitenklasse oder bleibt ineffektiv.

Zudem wird Verhaltensunsicherheit (behavioral uncertainty) – definiert als der Grad an Zweifel oder Unsicherheit in CPS-Entscheidungen (z. B. erratic Steuer-signale, schnelle Kursänderungen) – zwar als korreliert mit Sicherheitsrisiken erkannt, aber bisher nicht effektiv zur Verbesserung von Vorhersagemodellen genutzt.

2. Methodik: U-Balance

Die Autoren schlagen U-Balance vor, einen überwachten Lernansatz, der Verhaltensunsicherheit nutzt, um das Datensatz-Ungleichgewicht vor dem Training eines Sicherheitsvorhersagemodells auszugleichen. Der Ansatz besteht aus drei Hauptkomponenten:

A. Unsicherheitsprädiktor (Uncertainty Predictor)

Ein neuronales Netzwerk, das für jeden Telemetrie-Fenster (Window) einen Unsicherheitswert berechnet.

• Vorverarbeitung: Rohdaten (Kurswinkel, Position x, y, z) werden in verteilungsbezogene kinematische Merkmale umgewandelt (Mittelwert, Standardabweichung, Minimum, Maximum pro Kanal). Dies erfasst die zeitliche Variabilität und Extremwerte.
• Architektur: Ein GatedMLP (Gated Multi-Layer Perceptron). Inspiriert von Gated Recurrent Units (GRU), nutzt dieser Mechanismus eine "Gate"-Schicht, um zu steuern, welche Merkmale relevant sind und welche unterdrückt werden sollen. Dies ermöglicht eine dynamische Anpassung an unterschiedliche Flugbedingungen.
• Ausgabe: Ein Unsicherheits-Score ($\hat{u}_t$) für jedes Fenster.

B. Unsicherheitsgeführtes Label-Rebalancing (uLNR)

Dies ist der Kerninnovation. Anstatt neue Daten zu synthetisieren, werden Labels basierend auf der Unsicherheit neu gesetzt.

1. Z-Score-Berechnung: Die Unsicherheits-Scores der als "sicher" gelabelten Fenster werden standardisiert (Z-Score), um Abweichungen vom typischen sicheren Verhalten zu messen.
2. Flip-Rate-Berechnung: Ein Schwellenwert ($\tau$) und eine verschobene Tangens-Hyperbolicus-Funktion ($\tanh$) wandeln den Z-Score in eine Wahrscheinlichkeit um, ein Label zu kippen. Fenster mit sehr hoher Unsicherheit erhalten eine hohe Wahrscheinlichkeit, als "unsicher" neu gelabelt zu werden.
3. Stochastisches Neulabeln: Sichere Fenster werden mit der berechneten Wahrscheinlichkeit stochastisch in unsichere Fenster umgelabelt. Dies füllt die Minderheitenklasse mit informativen Randbeispielen (Samples nahe der Entscheidungsgrenze), ohne neue Daten zu erfinden.

C. Sicherheitsvorhersager (Safety Predictor)

Ein klassisches Zeitreihen-Modell (hier ein Multi-Layer Bi-LSTM), das auf dem neu balancierten Datensatz trainiert wird, um sicherzustellen, dass es in Echtzeit unsichere Zustände erkennt.

3. Schlüsselbeiträge

1. U-Balance Framework: Der erste Ansatz, der Verhaltensunsicherheit explizit zur Rebalancierung von Datensätzen in der CPS-Sicherheitsüberwachung nutzt.
2. Neuartiger Unsicherheitsprädiktor: Entwicklung eines GatedMLP-basierten Prädiktors, der Zeitfenster durch verteilungsbezogene kinematische Merkmale zusammenfasst und Unsicherheit effizient schätzt.
3. uLNR-Mechanismus: Eine Anpassung der Label Noise Rebalancing (LNR)-Strategie auf Zeitreihendaten, die das Problem der synthetischen Datengenerierung umgeht und stattdessen existierende, aber unsichere "sichere" Daten nutzt.
4. Empirische Validierung: Umfassende Evaluierung auf einem großen UAV-Benchmark-Datensatz (Khatiri et al.), der 1.498 Flüge umfasst.

4. Ergebnisse

Die Experimente wurden auf einem Datensatz mit einem Sicherheits-zu-Unsicherheits-Verhältnis von 46:1 durchgeführt.

• Korrelation: Es wurde eine moderate, aber signifikante Korrelation ($r_{pb} \approx 0.44$) zwischen Verhaltensunsicherheit und tatsächlicher Sicherheit nachgewiesen. Unsichere Fenster neigen zu höheren Unsicherheitswerten.
• Vergleich der Integrationsstrategien: Die direkte Fusion von Unsicherheitsdaten (Early/Late Fusion) verbesserte die Ergebnisse nur geringfügig. uLNR erwies sich als überlegene Strategie, da es die Trainingsverteilung aktiv verändert.
• Leistung (F1-Score):
  • U-Balance erreichte einen F1-Score von 0,806.
  • Dies ist eine Steigerung von 14,3 Prozentpunkten gegenüber dem besten Baseline-Modell (TimeMoE, ein vortrainiertes Zeitreihen-Modell).
  • Im Vergleich zu anderen Rebalancing-Methoden (SMOTE, T-SMOTE, Klassen-Gewichtung etc.) übertraf uLNR alle mit einem Vorsprung von mindestens 13,1 bis 26,6 Prozentpunkten.
• Effizienz: U-Balance behält eine hohe Inferenz-Effizienz bei (ca. 4,5 ms pro Sample), was für Echtzeitanwendungen geeignet ist, und ist deutlich schneller als einige etablierte Baselines (z. B. Superialist).
• Ablationsstudien:
  • Der GatedMLP und die Vorverarbeitung (verteilungsbezogene Merkmale) trugen signifikant zur Leistung bei.
  • Der Schwellenwert $\tau$ für das Neulabeln ist kritisch; $\tau=3.0$ erwies sich als optimal, um ein Gleichgewicht zwischen Recall und Precision zu finden.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass Verhaltensunsicherheit ein wertvoller Signalgeber ist, der über konventionelle Fusionsmethoden hinausgeht. Durch die Nutzung von Unsicherheit zur gezielten Neukennzeichnung von Daten (uLNR) können datengetriebene Sicherheitsmodelle für CPS erheblich verbessert werden, ohne auf synthetische Daten angewiesen zu sein.

Dies ist besonders relevant für sicherheitskritische Anwendungen, wo das Erkennen seltener, aber katastrophaler Ereignisse (hoher Recall) wichtiger ist als die reine Gesamtgenauigkeit. U-Balance bietet einen neuen Paradigmenwechsel: Statt mehr Daten zu generieren, werden die richtigen bestehenden Daten durch Unsicherheitsanalyse neu interpretiert, um das Lernen zu verbessern. Zukünftige Arbeiten sollen die Methode auf andere CPS-Domänen (z. B. autonome Unterwasserfahrzeuge) und alternative Unsicherheitsschätzverfahren erweitern.