A Hierarchical Ensemble Pipeline for Anomaly Detection in ESA Satellite Telemetry

Technische Samenvatting: Een Hiërarchische Ensemble-pijplijn voor Anomaliedetectie in ESA-satelliettelemetrie

Probleemstelling
Het artikel behandelt de uitdaging van het detecteren van anomalieën in multivariate telemetriedata van satellieten van de Europese Ruimtevaartorganisatie (ESA). Satellietoperaties vinden plaats in vijandige omgevingen waar tijdige anomaliedetectie cruciaal is om operationele verstoringen en economische verliezen te voorkomen. De specifieke uitdaging omvat het gelijktijdig bewaken van 58 van de 76 telemetrielijnen. De data presenteert aanzienlijke statistische moeilijkheden, waaronder onregelmatige bemonstering, ontbrekende waarden, kanaalredundantie en een lage dichtheid van anomalieën (1,80%). Bovendien bevat de dataset "nominale zeldzame gebeurtenissen" (bijvoorbeeld resets, kalibraties) die statistisch abnormaal zijn maar geen storingen vertegenwoordigen, waardoor modellen in staat moeten zijn onderscheid te maken tussen ware anomalieën en zeldzame nominale gedragingen. De evaluatiemetric, de gecorrigeerde event-wise F0.5-score, benadrukt precisie en het vermogen om volledige anomalie-intervallen te detecteren in plaats van individuele samples.

Methodologie
De auteurs stellen de ESA Hiërarchische Ensemble-pijplijn voor, een modulair raamwerk dat statistische segmentatie, shapelet-gebaseerde representatie en multi-level ensemble learning integreert. De architectuur is ontworpen om informatielekken te voorkomen en modeldiversiteit te waarborgen via een specifieke data-handlingstrategie.

1. Twee-niveau Maskeringstrategie:
   Om onafhankelijkheid tussen lagen te garanderen en datalekken te voorkomen, hanteren de auteurs een twee-niveau maskeringstrategie tijdens het trainen. De invoer-tijdreeks wordt opgesplitst in $N$ segmenten. Voor elke configuratie wordt het $n$-de segment gemaskeerd op het eerste niveau, en een sub-segment op het tweede niveau.

   • Niveau 1: De resterende data ($\hat{x}_n \setminus \hat{x}_{n,m}$) wordt gebruikt voor training van basismodellen en extractie van shapelets.
   • Niveau 2: Het gemaskeerde segment $x_n$ wordt uitsluitend gebruikt om het intra-kanaal stacking-meta-model te trainen.
   • Cross-kanaal: Een apart segment ($x_{cca}$), afgesneden van het einde van de ruwe reeks, wordt gereserveerd voor het trainen van het cross-kanaal aggregatiemodel.
     Dit zorgt ervoor dat geen trainingsinformatie over lagen wordt hergebruikt, waardoor feature-onafhankelijkheid wordt behouden.

2. Preprocessing en Feature-extractie:

   • Segmentatie: Sliding-window segmentatie wordt toegepast met vaste duur en stride.
   • Feature-extractie: Twee soorten features worden geëxtraheerd:
     • Basis-statistische features: Gemiddelde, variantie, scheefheid, kurtosis, STFT-energie, spectrale centroid, helling en diff_var, geselecteerd via XGBoost-importantie en visuele analyse.
     • Shapelet-features: Lokale patronen (shapelets) worden gedolven uit anomalie-segmenten binnen de gemaskeerde trainingsdata. Deze shapelets worden gebruikt om gelijkenis-scores (maximum en minimum) te berekenen tegenover invoersegmenten, waardoor discriminerende lokale patronen die indicatief zijn voor anomalieën worden vastgelegd.
   • Pooling: Een rolling min-max pooling wordt toegepast op de feature-tijdlijn. Dit vermindert redundantie en benadrukt extreme feature-responsen, wat cruciaal is voor de event-wise F0.5-metric waarbij een enkele detectie met hoog vertrouwen binnen een interval volstaat.

3. Hiërarchische Ensemble-architectuur:

   • Laag 1 (Basismodellen): Onafhankelijke classifiers (XGBoost) worden getraind op elk kanaal met unieke dataslices en shapelet-dictioires die zijn afgeleid van disjuncte data-delen.
   • Laag 2 (Intra-kanaal Stacking): Een meta-classifier (Logistische Regressie) aggregeert voorspellingen van meerdere basismodellen voor elk kanaal. Deze wordt getraind op het gemaskeerde segment $x_n$ om bias door de trainingsdata van de basismodellen te voorkomen.
   • Laag 3 (Cross-kanaal Aggregatie): Deze laag integreert outputs van semantisch coherente groepen kanalen. Een "group reducer"-functie (power-gewogen som gebaseerd op validatie-precisie) aggregeert kanaalprobabiliteiten. Deze signaal op groepsniveau worden ingevoerd in een final multivariaat model (getest: XGBoost, Logistische Regressie, LSTM) getraind op het $x_{cca}$-segment.

Belangrijkste Bijdragen

• Hiërarchische Ensemble-pijplijn: Een nieuw raamwerk dat statistische en shapelet-gebaseerde feature-extractie combineert met een drie-niveau ensemblestructuur (basis, intra-kanaal stacking, cross-kanaal aggregatie).
• Twee-niveau Maskeringstrategie: Een rigoureuze data-splittingtechniek die informatielekken over hiërarchieniveaus voorkomt en modeldiversiteit bevordert door modellen te dwingen te leren vanuit distincte data-zichten.
• Validatie op ESA-ADB: De methode is rigoureus getest op de ESA Anomaly Detection Benchmark (ESA-ADB)-uitdaging, waarbij sterke generalisatie op realistische satelliettelemetrie werd aangetoond.

Resultaten
De pijplijn werd geëvalueerd op de ESA-ADB-uitdaging met de gecorrigeerde event-wise F0.5-score.

• Prestatie: Het voorgestelde algoritme behaalde 1e plaats op de publieke leaderboard (score: 0,931) en 3e plaats op de private leaderboard (score: 0,853).
• Modelconfiguratie:
  • Aggregator: Logistische Regressie bleek het meest robuuste en effectieve model voor de cross-kanaal aggregatielaag, presterend beter dan XGBoost en LSTM in de meeste configuraties.
  • Segmentlengte: Een segmentlengte van 50 tijdstappen leverde de beste prestaties op, vooral in combinatie met shapelet-gebaseerde feature-extractie.
  • Ensemble-combinatie: Het combineren van voorspellingen van verschillende segmentlengten (50, 1000, 2000) via een logische OR-operator verbeterde de prestaties, waarbij de combinatie van 50 en 1000 de sterkste resultaten liet zien op de private leaderboard.
• Efficiëntie: De experimenten werden uitgevoerd op een standaard Mac Mini (M1-chip), met een gemiddelde rekentijd van 10 uur per experiment, wat aangeeft dat de methode geen gespecialiseerde high-performance computing-hardware vereist voor training.

Betekenis
Het artikel stelt dat de hiërarchische modelleringbenadering zeer effectief is voor het detecteren van subtiele anomalieën in realistische satelliettelemetrie. De betekenis ligt in de succesvolle integratie van shapelet-mining met statistische features binnen een strikt anti-leakage-raamwerk. De resultaten tonen aan dat zelfs met een relatief eenvoudige cross-kanaal aggregator (Logistische Regressie), een goed gestructureerd ensemble dat data-onafhankelijkheid respecteert en gebruikmaakt van diverse feature-representaties (statistisch en shapelet), topprestaties kan behalen in een complexe, hoogdimensionale ruimtevaartuitdaging. Het werk valideert dat het prioriteren van robuustheid, precisie en interpreteerbaarheid via hiërarchisch ensembleren een levensvatbare strategie is voor operationeel satellietbewaking.