Uncertainty-Guided Label Rebalancing for CPS Safety Monitoring

Dit paper introduceert U-Balance, een supervised methode die gedragsonzekerheid benut om onevenwichtige datasets voor CPS-veiligheidsmonitoring te rebalanceren door veilige vensters met hoge onzekerheid als onveilig te relabelen, wat leidt tot een aanzienlijke verbetering van de F1-score zonder synthetische data.

De kern

Het Probleem: De "Nooit Gebeurde" Ongevallen

Stel je voor dat je een vliegveld hebt met duizenden vliegtuigen (in dit geval drones). Vrijwel elke vlucht verloopt perfect en veilig. Maar soms, heel zelden, gebeurt er iets mis: een drone botst tegen een boom of crasht.

Als je een computer wilt leren om deze ongelukken te voorspellen, heb je een groot probleem:

• Je hebt miljoenen foto's van veilige vluchten.
• Je hebt slechts een handjevol foto's van crashes.

Als je een computer leert met zo'n onbalans, wordt hij erg goed in het zeggen: "Alles is veilig!" Hij wordt als het ware een luie bewaker die nooit alarm slaat omdat hij denkt dat ongelukken zo zeldzaam zijn dat hij ze wel kan negeren. In de echte wereld is dat gevaarlijk; je wilt de bewaker juist wakker schudden voordat het ongeluk gebeurt.

De Oplossing: "U-Balance" (De Slimme Weegschaal)

De onderzoekers van deze paper hebben een nieuwe methode bedacht, genaamd U-Balance. Ze noemen het "Onzekerheid-Gestuurde Label Herbalancering". Dat klinkt ingewikkeld, maar het werkt als volgt:

Stap 1: De "Zenuwachtige" Drone

Stel je voor dat een drone die veilig vliegt, rustig en soepel door de lucht glijdt. Maar een drone die op het punt staat een ongeluk te krijgen, begint vaak nervous te worden. Hij zwaait met zijn neus, maakt plotselinge draaien of zijn besturingssignalen worden onrustig.

De onderzoekers zeggen: "Wacht even! Die onrust is een signaal!"
Zelfs als de drone nog niet is gecrasht, is die onzekerheid (die onrustige bewegingen) een sterk teken dat er iets misgaat.

Stap 2: De "Nieuwe Bewaker" (De Onzekerheidsvoorspeller)

Eerst bouwen ze een slimme computer die speciaal kijkt naar die onrust.

• Hij kijkt niet naar of de drone al gecrasht is (want dat gebeurt te weinig).
• Hij kijkt naar: "Is deze drone aan het trillen? Maakt hij rare bochten?"
• Als de drone erg onrustig is, geeft de computer een hoge onzekerheids-score.

Stap 3: Het Magische Herlabelen (uLNR)

Dit is het slimste deel. Normaal gesproken zou je zeggen: "Deze drone is veilig, want hij is niet gecrasht."
Maar met U-Balance zeggen ze: "Hé, deze drone is wel veilig, maar hij was zo onrustig dat hij bijna een ongeluk had. Laten we die 'veilige' label even veranderen in 'potentieel gevaarlijk'."

Ze doen dit niet zomaar, maar wiskundig slim:

• Ze nemen de veilige vluchten die erg onrustig waren.
• Ze zeggen: "Deze zijn zo raar, dat we ze beter kunnen behandelen alsof ze bijna een ongeluk hadden."
• Hierdoor heeft de computer ineens veel meer voorbeelden van "gevaarlijke situaties" om van te leren, zonder dat ze nep-gegevens hoeven te verzinnen.

Het is alsof je een kok bent die wil leren hoe je een verbrande toast herkent. Je hebt 1000 perfecte toastjes en 1 verbrande.

• De oude methode: Je probeert 999 nieuwe verbrande toastjes te maken (synthetisch), maar die smaken vaak raar en helpen niet echt.
• De U-Balance methode: Je kijkt naar de perfecte toastjes die net iets te lang in de broodrooster zaten (onrustig). Je zegt: "Deze zijn bijna verbrand, laten we ze ook als 'verbrand' trainen." Zo leer je de computer beter te zien wat er aan de hand is voordat het echt misgaat.

Waarom is dit beter dan andere methoden?

Anderen proberen vaak:

1. Synthetische data: Nieuwe, nep-ongelukken maken. Dit werkt vaak slecht bij drones omdat de bewegingen dan onnatuurlijk lijken (alsof je een nep-ongeluk probeert te filmen).
2. Gewicht geven: Zeggen: "Let extra op op de zeldzame ongelukken." Dit werkt vaak niet goed genoeg.

U-Balance wint omdat het gebruikmaakt van de natuurlijke onrust van de drone. Het leert de computer om te kijken naar de grens tussen veilig en gevaarlijk.

De Resultaten

Toen ze dit testten op een grote dataset met duizenden dronevluchten:

• De oude methoden misten vaak de ongelukken (ze waren te bang om onnodig alarm te slaan).
• U-Balance pakte veel meer van de echte ongelukken op (een verbetering van ongeveer 14% in prestatie).
• Het was ook nog snel genoeg om in real-time te werken (de computer kan dit binnen een fractie van een seconde doen).

Conclusie

Kort samengevat:
De onderzoekers hebben een slimme manier bedacht om een computer te leren ongelukken te voorspellen bij drones. In plaats van te wachten tot er een ongeluk gebeurt (wat zeldzaam is), kijken ze naar de onrust in het gedrag van de drone. Ze gebruiken die onrust om de computer te leren dat "onrustig gedrag" vaak een voorbode is van gevaar. Hierdoor wordt de drone veiliger, omdat de computer sneller ingrijpt voordat het echt misgaat.

Het is alsof je een slimme alarmklok hebt die niet pas afgaat als je al uit bed valt, maar al begint te piepen als je net begint te wiegen in je bed.

Technische samenvatting

Probleemstelling

Cyber-fysieke systemen (CPS), zoals onbemande luchtvaartuigen (UAV's), vereisen effectieve veiligheidsmonitoring om onveilige gebeurtenissen te detecteren en te voorkomen. Een fundamenteel probleem bij het trainen van datagedreven veiligheidsvoorspellers is de extreme class-imbalance in real-world datasets. Veilige operaties zijn veelvuldig, terwijl onveilige gebeurtenissen zeldzaam zijn (in de gebruikte dataset is de verhouding veilig/onveilig ongeveer 46:1).

Bestaande rebalancing-technieken, zoals SMOTE (synthetische overbemonstering) en class weighting, presteren slecht op tijdreeksdata van CPS:

• SMOTE genereert vaak onrealistische synthetische samples die ruis introduceren.
• Class weighting heeft moeite bij extreme onbalans en leidt tot overfitting op de minderheidsklasse.
• Label Noise Rebalancing (LNR), een recente methode die labels stochastisch omkeert zonder nieuwe data te synthetiseren, is ontwikkeld voor afbeeldingen maar is nog niet effectief toegepast op tijdreeksdata in CPS-omgevingen.

Daarnaast wordt gedragsonzekerheid (bijv. onstabiele besturingssignalen of snelle koerswijzigingen) vaak geassocieerd met onveilige toestanden, maar deze informatie wordt onderbenut in bestaande veiligheidsmonitoring.

Methodologie: U-Balance

De auteurs stellen U-Balance voor, een supervised aanpak die gedragsonzekerheid gebruikt om datasets te rebalanceren voordat een veiligheidsvoorspeller wordt getraind. De aanpak bestaat uit drie samenwerkende componenten:

1. Onzekerheidsvoorspeller (Uncertainty Predictor):

   • Doel: Het voorspellen van een onzekerheidsscore voor elk telemetry-window.
   • Preprocessing: Ruwe tijdreeksdata (koers en ruimtelijke coördinaten) wordt omgezet in een vector van distributie-kinematische kenmerken (gemiddelde, standaardafwijking, minimum en maximum per kanaal binnen een window). Dit vangt temporele variabiliteit en extreme waarden in.
   • Architectuur: Een GatedMLP (Gated Multi-Layer Perceptron). In tegenstelling tot een standaard MLP, gebruikt deze een "gate"-mechanisme (geïnspireerd op GRU's) om dynamisch te bepalen welke kenmerken relevant zijn en welke onderdrukt moeten worden. Dit is cruciaal omdat de relevantie van kinematische kenmerken varieert per vluchtcconditie.
   • Output: Een onzekerheidsscore per window.

2. Onzekerheidsgeleide Label Rebalancing (uLNR):

   • Dit is de kerninnovatie. In plaats van synthetische data te maken, worden bestaande "veilige" labels omgezet naar "onveilig" op basis van de onzekerheidsscore.
   • Stap 1 (Scoring): De onzekerheidsscores van veilige samples worden genormaliseerd tot Z-scores om afwijkingen van het gemiddelde gedrag te meten.
   • Stap 2 (Flip-rate): Een verschoven hyperbolische tangensfunctie ($\tanh$) converteert de Z-score naar een flip-kans. Samples met een zeer hoge onzekerheid (afwijkend van normaal veilig gedrag) krijgen een hoge kans om hun label te verliezen.
   • Stap 3 (Stochastisch Relabeling): Veilig gelabelde windows met een hoge onzekerheid worden probabilistisch omgelabeld naar "onveilig". Hierdoor wordt de minderheidsklasse verrijkt met informatieve grenssamples (samples die dicht bij de beslissingsgrens liggen) zonder nieuwe data te genereren.

3. Veiligheidsvoorspeller (Safety Predictor):

   • Een Bi-LSTM (Bidirectional Long Short-Term Memory) netwerk dat wordt getraind op de rebalanced dataset ($D_{bal}$) om de kans op een onveilige toestand te voorspellen.

Belangrijkste Bijdragen

1. U-Balance Framework: De eerste aanpak die gedragsonzekerheid gebruikt voor dataset-rebalancing in CPS-veiligheidsmonitoring. Het biedt een alternatief voor conventionele fusie-strategieën (early/late fusion).
2. Nieuwe Onzekerheidsvoorspeller: Een specifieke architectuur voor tijdreeksdata die distributie-kenmerken combineert met een GatedMLP om effectief onzekerheid te schatten.
3. uLNR Mechanisme: De adaptatie van Label Noise Rebalancing naar tijdreeksdata, waarbij onzekerheid als stuurinformatie dient om labels stochastisch aan te passen.

Resultaten

De methode is geëvalueerd op een grote UAV-benchmark (1.498 vluchten, 46:1 onbalans) met 14 state-of-the-art baselines (inclusief deep learning, machine learning en ensemble-methoden).

• Correlatie: Er is een significante, gematigde correlatie gevonden tussen gedragsonzekerheid en veiligheid ($r_{pb} \approx 0.44$).
• Prestatie: U-Balance bereikte een F1-score van 0.806. Dit is een verbetering van 14,3 procentpunten ten opzichte van de sterkste baseline (TimeMoE, F1=0.663).
• Vergelijking met Fusie: Het gebruik van onzekerheid als extra feature (early/late fusion) leverde slechts marginale verbeteringen op (F1 ~0.64). Het gebruik als rebalancing-mechanisme (uLNR) was aanzienlijk effectiever.
• Ablatiestudies:
  • Het verwijderen van de GatedMLP (vervanging door standaard MLP) liet de F1-score dalen naar 0.732.
  • Het verwijderen van de distributie-kenmerk preprocessing (gebruik van ruwe data) liet de score dalen tot ~0.70.
  • Vergelijking met 14 andere rebalancing-technieken (zoals SMOTE, T-SMOTE, undersampling) toonde aan dat uLNR de beste prestaties levert. SMOTE-varianten presteerden slecht (F1 < 0.68) vanwege het genereren van onrealistische tijdreeksen.
• Efficiency: U-Balance behoudt een concurrerende inferentie-efficiëntie (0.0045s per sample) vergeleken met andere deep learning-modellen.

Significantie

Dit paper is significant omdat het een nieuw paradigma introduceert voor het omgaan met extreme class-imbalance in veiligheidskritieke systemen. In plaats van te vertrouwen op synthetische datageneratie die de temporaliteit van CPS-data kan verstoren, gebruikt U-Balance de inherente onzekerheid in het systeemgedrag om de trainingsdistributie te herschikken.

De bevinding dat onzekerheid een krachtig signaal is om de minderheidsklasse te verrijken met "moeilijke" maar realistische samples, biedt een robuustere oplossing dan bestaande methoden. Dit is vooral waardevol voor CPS-toepassingen waar onveilige gebeurtenissen zeldzaam zijn maar kritiek om te detecteren, en waar het genereren van synthetische onveilige scenario's vaak onmogelijk of gevaarlijk is. De methode is model-onafhankelijk en kan potentieel worden toegepast op andere CPS-domeinen zoals autonome voertuigen of onderzeeërs.