A Hierarchical Ensemble Pipeline for Anomaly Detection in ESA Satellite Telemetry

Résumé Technique : Un Pipeline d'Ensemble Hiérarchique pour la Détection d'Anomalies dans la Télémétrie des Satellites de l'ESA

Énoncé du Problème
L'article aborde le défi de la détection d'anomalies dans des données de télémétrie multivariées provenant de satellites de l'Agence spatiale européenne (ESA). Les opérations satellitaires se déroulent dans des environnements hostiles où la détection rapide des anomalies est cruciale pour prévenir les perturbations opérationnelles et les pertes économiques. Le défi spécifique consiste à surveiller simultanément 58 des 76 canaux de télémétrie. Les données présentent des difficultés statistiques significatives, notamment un échantillonnage irrégulier, des valeurs manquantes, une redondance des canaux et une faible densité d'anomalies (1,80 %). De plus, l'ensemble de données contient des « événements rares nominaux » (par exemple, réinitialisations, calibrations) qui sont statistiquement anormaux mais ne constituent pas des pannes, ce qui exige que les modèles distinguent les vraies anomalies des comportements nominaux rares. La métrique d'évaluation, le score F0,5 événementiel corrigé, met l'accent sur la précision et la capacité à détecter des intervalles d'anomalies entiers plutôt que des échantillons individuels.

Méthodologie
Les auteurs proposent le Pipeline d'Ensemble Hiérarchique de l'ESA, un cadre modulaire intégrant la segmentation statistique, la représentation basée sur les shapelets et l'apprentissage d'ensemble multi-niveaux. L'architecture est conçue pour prévenir la fuite d'information et assurer la diversité des modèles grâce à une stratégie spécifique de gestion des données.

1. Stratégie de Masquage à Deux Niveaux :
   Pour garantir l'indépendance entre les couches et prévenir la fuite de données, les auteurs emploient une stratégie de masquage à deux niveaux durant l'entraînement. La série temporelle d'entrée est divisée en $N$ segments. Pour chaque configuration, le $n$-ième segment est masqué au premier niveau, et un sous-segment est masqué au deuxième niveau.

   • Niveau 1 : Les données restantes ($\hat{x}_n \setminus \hat{x}_{n,m}$) sont utilisées pour l'entraînement des modèles de base et l'extraction de shapelets.
   • Niveau 2 : Le segment masqué $x_n$ est utilisé exclusivement pour entraîner le méta-modèle d'empilement intra-canal.
   • Inter-canaux : Un segment séparé ($x_{cca}$), découpé à la fin de la série brute, est réservé pour l'entraînement du modèle d'agrégation inter-canaux.
     Cela garantit qu'aucune information d'entraînement n'est réutilisée à travers les couches, maintenant ainsi l'indépendance des caractéristiques.

2. Prétraitement et Extraction de Caractéristiques :

   • Segmentation : Une segmentation par fenêtre glissante est appliquée avec une durée et un pas fixes.
   • Extraction de Caractéristiques : Deux types de caractéristiques sont extraits :
     • Caractéristiques Statistiques de Base : Moyenne, variance, asymétrie, kurtosis, énergie STFT, centroïde spectral, pente et diff_var, sélectionnés via l'importance XGBoost et l'analyse visuelle.
     • Caractéristiques Shapelet : Des motifs locaux (shapelets) sont extraits des segments anormaux au sein des données d'entraînement masquées. Ces shapelets sont utilisés pour calculer des scores de similarité (maximum et minimum) par rapport aux segments d'entrée, capturant ainsi des motifs locaux discriminatifs indicatifs d'anomalies.
   • Regroupement (Pooling) : Un regroupement min-max glissant est appliqué à la chronologie des caractéristiques. Cela réduit la redondance et met en évidence les réponses extrêmes des caractéristiques, ce qui est crucial pour la métrique F0,5 événementielle où une seule détection à haute confiance au sein d'un intervalle suffit.

3. Architecture d'Ensemble Hiérarchique :

   • Couche 1 (Modèles de Base) : Des classifieurs indépendants (XGBoost) sont entraînés sur chaque canal en utilisant des tranches de données uniques et des dictionnaires de shapelets dérivés de portions de données disjointes.
   • Couche 2 (Empilement Intra-canal) : Un méta-classifieur (Régression Logistique) agrège les prédictions de plusieurs modèles de base pour chaque canal. Il est entraîné sur le segment masqué $x_n$ pour éviter le biais provenant des données d'entraînement des modèles de base.
   • Couche 3 (Agrégation Inter-canaux) : Cette couche intègre les sorties de groupes de canaux sémantiquement cohérents. Une fonction de « réducteur de groupe » (somme pondérée par la puissance basée sur la précision de validation) agrège les probabilités des canaux. Ces signaux au niveau du groupe sont alimentés dans un modèle multivarié final (testé : XGBoost, Régression Logistique, LSTM) entraîné sur le segment $x_{cca}$.

Contributions Clés

• Pipeline d'Ensemble Hiérarchique : Un cadre novateur combinant l'extraction de caractéristiques statistique et basée sur les shapelets avec une structure d'ensemble à trois niveaux (base, empilement intra-canal, agrégation inter-canal).
• Stratégie de Masquage à Deux Niveaux : Une technique rigoureuse de division des données qui empêche la fuite d'information à travers les niveaux hiérarchiques et favorise la diversité des modèles en forçant ces derniers à apprendre à partir de vues de données distinctes.
• Validation sur ESA-ADB : La méthode a été rigoureusement testée sur le défi de référence de détection d'anomalies de l'ESA (ESA-ADB), démontrant une forte généralisation sur des télémétries satellitaires réalistes.

Résultats
Le pipeline a été évalué sur le défi ESA-ADB en utilisant le score F0,5 événementiel corrigé.

• Performance : L'algorithme proposé a obtenu la 1re place sur le classement public (score : 0,931) et la 3e place sur le classement privé (score : 0,853).
• Configuration du Modèle :
  • Agrégateur : La Régression Logistique s'est révélée être le modèle le plus robuste et efficace pour la couche d'agrégation inter-canaux, surpassant XGBoost et LSTM dans la plupart des configurations.
  • Longueur du Segment : Une longueur de segment de 50 pas temporels a produit les meilleures performances, en particulier lorsqu'elle était combinée à l'extraction de caractéristiques basée sur les shapelets.
  • Combinaison d'Ensemble : La combinaison des prédictions provenant de différentes longueurs de segment (50, 1000, 2000) via un opérateur logique OU a amélioré les performances, la combinaison de 50 et 1000 montrant les résultats les plus solides sur le classement privé.
• Efficacité : Les expériences ont été menées sur un Mac Mini standard (puce M1), avec un temps de calcul moyen de 10 heures par expérience, indiquant que la méthode ne nécessite pas de matériel informatique haute performance spécialisé pour l'entraînement.

Signification
L'article affirme que l'approche de modélisation hiérarchique est hautement efficace pour détecter des anomalies subtiles dans des télémétries satellitaires réalistes. La signification réside dans l'intégration réussie de l'extraction de shapelets avec des caractéristiques statistiques au sein d'un cadre strict anti-fuite. Les résultats démontrent que même avec un agrégateur inter-canaux relativement simple (Régression Logistique), un ensemble bien structuré respectant l'indépendance des données et exploitant des représentations de caractéristiques diverses (statistiques et shapelets) peut atteindre des performances de premier plan dans un défi complexe de domaine spatial de haute dimension. Ce travail valide que la priorisation de la robustesse, de la précision et de l'interprétabilité par l'entrelacement hiérarchique est une stratégie viable pour la surveillance opérationnelle des satellites.