A Hierarchical Ensemble Pipeline for Anomaly Detection in ESA Satellite Telemetry

Riepilogo Tecnico: Una Pipeline di Ensemble Gerarchico per il Rilevamento di Anomalie nella Telemetria dei Satelliti ESA

Enunciato del Problema
Il documento affronta la sfida del rilevamento di anomalie nei dati di telemetria multivariata provenienti dai satelliti dell'Agenzia Spaziale Europea (ESA). Le operazioni satellitari avvengono in ambienti ostili, dove il rilevamento tempestivo delle anomalie è fondamentale per prevenire interruzioni operative e perdite economiche. La sfida specifica consiste nel monitorare simultaneamente 58 dei 76 canali di telemetria. I dati presentano significative difficoltà statistiche, tra cui campionamento irregolare, valori mancanti, ridondanza dei canali e una bassa densità di anomalie (1,80%). Inoltre, il dataset contiene "eventi rari nominali" (ad esempio, reset, calibrazioni) che sono statisticamente anomali ma non costituiscono guasti, richiedendo ai modelli di distinguere tra vere anomalie e comportamenti nominali rari. La metrica di valutazione, il punteggio F0.5 corretto per evento, enfatizza la precisione e la capacità di rilevare interi intervalli di anomalie piuttosto che singoli campioni.

Metodologia
Gli autori propongono la Pipeline di Ensemble Gerarchico ESA, un framework modulare che integra segmentazione statistica, rappresentazione basata su shapelet e apprendimento di ensemble multilivello. L'architettura è progettata per prevenire la fuoriuscita di informazioni e garantire la diversità del modello attraverso una specifica strategia di gestione dei dati.

1. Strategia di Mascheramento a Due Livelli:
   Per garantire l'indipendenza tra i livelli e prevenire la fuoriuscita di dati, gli autori adottano una strategia di mascheramento a due livelli durante l'addestramento. La serie temporale di input viene suddivisa in $N$ segmenti. Per ogni configurazione, l'$n$-esimo segmento viene mascherato al primo livello e un sottosegmento viene mascherato al secondo livello.

   • Livello 1: I dati rimanenti ($\hat{x}_n \setminus \hat{x}_{n,m}$) sono utilizzati per l'addestramento dei modelli base e per l'estrazione degli shapelet.
   • Livello 2: Il segmento mascherato $x_n$ è utilizzato esclusivamente per addestrare il meta-modello di stacking intra-canale.
   • Inter-canale: Un segmento separato ($x_{cca}$), tagliato dalla fine della serie grezza, è riservato per l'addestramento del modello di aggregazione inter-canale.
     Ciò garantisce che nessuna informazione di addestramento venga riutilizzata tra i livelli, mantenendo l'indipendenza delle caratteristiche.

2. Preprocessing ed Estrazione delle Caratteristiche:

   • Segmentazione: Viene applicata una segmentazione a finestra scorrevole con durata e passo fissi.
   • Estrazione delle Caratteristiche: Vengono estratti due tipi di caratteristiche:
     • Caratteristiche Statistiche di Base: Media, varianza, asimmetria, curtosi, energia STFT, centroide spettrale, pendenza e diff_var, selezionate tramite importanza XGBoost e analisi visiva.
     • Caratteristiche Shapelet: Pattern locali (shapelet) vengono estratti dai segmenti anomali all'interno dei dati di addestramento mascherati. Questi shapelet sono utilizzati per calcolare punteggi di similarità (massimo e minimo) rispetto ai segmenti di input, catturando pattern locali discriminativi indicativi di anomalie.
   • Pooling: Viene applicato un rolling min-max pooling alla timeline delle caratteristiche. Questo riduce la ridondanza e enfatizza le risposte estreme delle caratteristiche, aspetto cruciale per la metrica F0.5 per evento, dove una singola rilevazione ad alta confidenza all'interno di un intervallo è sufficiente.

3. Architettura di Ensemble Gerarchico:

   • Livello 1 (Modelli Base): Classificatori indipendenti (XGBoost) vengono addestrati su ciascun canale utilizzando slice di dati uniche e dizionari di shapelet derivati da porzioni di dati disgiunte.
   • Livello 2 (Stacking Intra-canale): Un meta-classificatore (Regressione Logistica) aggrega le previsioni di più modelli base per ciascun canale. Viene addestrato sul segmento mascherato $x_n$ per evitare bias derivanti dai dati di addestramento dei modelli base.
   • Livello 3 (Aggregazione Inter-canale): Questo livello integra gli output da gruppi di canali semanticamente coerenti. Una funzione "riduttore di gruppo" (somma ponderata con potenza basata sulla precisione di validazione) aggrega le probabilità dei canali. Questi segnali a livello di gruppo vengono immessi in un modello multivariato finale (testati: XGBoost, Regressione Logistica, LSTM) addestrato sul segmento $x_{cca}$.

Contributi Chiave

• Pipeline di Ensemble Gerarchico: Un framework innovativo che combina l'estrazione di caratteristiche basata su statistiche e shapelet con una struttura di ensemble a tre livelli (base, stacking intra-canale, aggregazione inter-canale).
• Strategia di Mascheramento a Due Livelli: Una tecnica rigorosa di suddivisione dei dati che previene la fuoriuscita di informazioni tra i livelli gerarchici e promuove la diversità dei modelli costringendoli ad apprendere da visioni dei dati distinte.
• Validazione su ESA-ADB: Il metodo è stato rigorosamente testato sulla sfida ESA Anomaly Detection Benchmark (ESA-ADB), dimostrando una forte generalizzazione su telemetria satellitare realistica.

Risultati
La pipeline è stata valutata sulla sfida ESA-ADB utilizzando il punteggio F0.5 corretto per evento.

• Prestazioni: L'algoritmo proposto ha ottenuto il 1º posto nella classifica pubblica (punteggio: 0,931) e il 3º posto nella classifica privata (punteggio: 0,853).
• Configurazione del Modello:
  • Aggregatore: La Regressione Logistica si è rivelata il modello più robusto ed efficace per il livello di aggregazione inter-canale, superando XGBoost e LSTM nella maggior parte delle configurazioni.
  • Lunghezza del Segmento: Una lunghezza di segmento di 50 passi temporali ha prodotto le migliori prestazioni, in particolare quando combinata con l'estrazione di caratteristiche basata su shapelet.
  • Combinazione di Ensemble: La combinazione delle previsioni da diverse lunghezze di segmento (50, 1000, 2000) tramite un operatore logico OR ha migliorato le prestazioni, con la combinazione di 50 e 1000 che ha mostrato i risultati più forti nella classifica privata.
• Efficienza: Gli esperimenti sono stati condotti su un Mac Mini standard (chip M1), con un tempo di calcolo medio di 10 ore per esperimento, indicando che il metodo non richiede hardware specializzato ad alte prestazioni per l'addestramento.

Significato
Il documento afferma che l'approccio di modellazione gerarchica è altamente efficace per il rilevamento di anomalie sottili in telemetria satellitare realistica. Il significato risiede nell'integrazione riuscita dell'estrazione di shapelet con caratteristiche statistiche all'interno di un framework rigoroso anti-fuoriuscita. I risultati dimostrano che anche con un aggregatore inter-canale relativamente semplice (Regressione Logistica), un ensemble ben strutturato che rispetta l'indipendenza dei dati e sfrutta rappresentazioni di caratteristiche diversificate (statistiche e shapelet) può raggiungere prestazioni di primo livello in una sfida complessa dello spazio ad alta dimensionalità. Il lavoro convalida che dare priorità a robustezza, precisione e interpretabilità attraverso l'ensembling gerarchico è una strategia praticabile per il monitoraggio operativo dei satelliti.