Résumé technique : XAI et analyse statistique pour une détection d'intrusion fiable dans l'ensemble de données UAVIDS-2025

Énoncé du problème

L'article aborde le défi de la détection d'intrusions dans les réseaux de véhicules aériens sans pilote (UAV), spécifiquement dans le contexte de l'émergence de l'ensemble de données UAVIDS-2025. Bien que l'Intelligence Artificielle Explicable (XAI) et l'Interprétabilité Mécanistique aient gagné en importance dans les systèmes critiques, il reste nécessaire de comprendre les processus de prise de décision des modèles complexes d'Apprentissage Automatique (ML) confrontés à des vecteurs d'attaque spécifiques. Une difficulté principale identifiée dans l'ensemble de données UAVIDS-2025 est l'« Intersection du Support de Densité », où certains types d'attaques — spécifiquement les attaques Blackhole et Wormhole — présentent un chevauchement significatif dans leurs distributions de caractéristiques. Ce chevauchement crée une ambiguïté conduisant à des erreurs de classification, même dans des modèles à haute performance, nécessitant une approche rigoureuse combinant classification avancée, XAI et tests statistiques non paramétriques pour distinguer les attaques masquées.

Méthodologie

1. Prétraitement des données et ingénierie des caractéristiques

L'étude utilise l'ensemble de données UAVIDS-2025, contenant environ 120 000 observations avec 22 caractéristiques et une variable cible comprenant quatre types d'attaques (Sybil, Blackhole, Wormhole, Flooding) et un trafic normal. Le pipeline de prétraitement comprenait :

• Nettoyage : Suppression des valeurs dupliquées, de la caractéristique redondante « Protocol » (exclusivement UDP) et de l'index non informatif « FlowID ».
• Encodage : Encodage d'étiquettes pour la cible ; encodage one-hot pour les ports source/destination ; et encodage par fréquence pour les adresses IP.
• Transformation : Application de transformations de puissance et réciproques pour l'ingénierie des caractéristiques.
• Mise à l'échelle : La détection des valeurs aberrantes via l'IQR et les diagrammes en boîte a conduit à la sélection du Robust Scaler.
• Sélection des caractéristiques : L'élimination récursive des caractéristiques (RFE) avec une forêt aléatoire a identifié les caractéristiques avec une contribution >2,5 %. Pour éviter les problèmes de multicolinéarité dans l'analyse SHAP, les caractéristiques avec des corrélations de Pearson/Kendall >0,7 ont été supprimées, aboutissant à un ensemble final de huit caractéristiques sélectionnées : LostPackets, RxBytes, RxByteRate/s, MeanDelay/s, MeanJitter/s, PacketDropRate, AverageHopCount, et DstPort654.

2. Entraînement et évaluation du modèle

Les auteurs ont évalué un large spectre d'algorithmes en utilisant une validation croisée stratifiée à 10 plis avec un réglage des hyperparamètres par recherche sur grille et un étalonnage des probabilités. Les familles de modèles comprenaient :

• Ensembles d'arbres : XGBoost, LightGBM, Random Forest, Extra-Trees, Gradient Boosting, HB-Gradient Boosting, AdaBoost et Bagging.
• Réseaux de neurones profonds (DNN) : MLP, RealMLP et des versions ensemblistes (Ensemble-RealMLP, Ensemble-NN-Torch, Ensemble-NNFastAiTab).
• Empilement hybride : Modèles combinant des estimateurs linéaires, arborescents et bayésiens (par exemple, Stacking-1 et Stacking-2).
• Lignes de base : Régression logistique et SVM.

La performance a été évaluée à l'aide du score F1, de la Précision, du Rappel et du Roc-Auc.

3. Explicabilité et analyse statistique

• Analyse SHAP : Le modèle le plus performant (XGBoost) a fait l'objet d'une analyse d'explications additives de Shapley (SHAP) pour déterminer les importances globales et locales des caractéristiques. Cela comprenait l'examen de la manière dont des caractéristiques spécifiques influencent les prédictions pour des observations individuelles par rapport aux tendances générales des classes.
• Analyse de distribution : Des diagrammes en violon et des estimations de densité de noyau (KDE) ont été utilisés pour visualiser les formes de données, l'asymétrie et les distributions multimodales.
• Test de permutation de Westfall-Young : Pour valider statistiquement l'hypothèse de « Intersection du Support de Densité » entre les attaques Blackhole et Wormhole, les auteurs ont appliqué un test non paramétrique de Westfall-Young avec B=1000 permutations.
  • Hypothèse : $H_0: P_{i,V} = P_{i,W}$ (les distributions sont égales) vs $H_1: P_{i,V} \neq P_{i,W}$.
  • Statistique : Le test a utilisé la Distance de Jensen-Shannon (JSD) comme métrique, calculant la Statistique Maximale à travers les caractéristiques pour contrôler le Taux d'Erreur Familiale (FWER) et éviter les problèmes de correction de Bonferroni.

Résultats clés

Performance de classification

• Ensembles d'arbres : Tous les modèles basés sur des arbres ont obtenu des scores de test supérieurs à 92 %. XGBoost s'est imposé comme le meilleur performant avec une Précision de test de 95,17 %, un Rappel de 95,04 %, un score F1 de 95,04 % et un Roc-Auc de 96,85 %.
• Apprentissage profond : RealMLP et ses variantes ensemblistes ont montré de solides performances (par exemple, un score F1 de test de RealMLP de 94,28 %), bien qu'ils aient généralement légèrement pris du retard par rapport à XGBoost.
• Lignes de base : La régression logistique a eu des difficultés significatives (49 % F1), tandis que le SVM a atteint des performances presque acceptables (73 % F1).
• Insights de la matrice de confusion : XGBoost a démontré une haute précision mais a présenté des schémas de confusion spécifiques : il a parfois mal classé les attaques Wormhole comme du trafic Normal et a confondu les attaques Blackhole et Wormhole entre elles.

Résultats d'explicabilité

• Importance globale : Des caractéristiques telles que PacketDropRate, RxByteRate/s, RxBytes et DstPort654 ont été les plus impactantes pour les décisions du modèle à travers la plupart des classes.
• Mauvaises classifications locales : L'analyse d'instances spécifiques mal classées (par exemple, une attaque Wormhole prédite comme Blackhole) a révélé que des caractéristiques comme MeanDelay/s, AverageHopCount et MeanJitter/s présentaient souvent des valeurs élevées pour les deux classes, créant une ambiguïté. Le modèle s'est fortement appuyé sur PacketDropRate pour différencier ; lorsque cette valeur était proche de la médiane, le modèle devenait hésitant.
• Formes de distribution : Les diagrammes en violon et les KDE ont révélé que les attaques Blackhole et Wormhole partagent des similitudes de forme extrêmes dans des caractéristiques comme MeanDelay/s et AverageHopCount, caractérisées par de longues queues à droite et des centres de masse similaires.

Validation statistique

Le test de permutation de Westfall-Young a confirmé que pour la plupart des caractéristiques (par exemple, LostPackets, RxBytes, PacketDropRate), les distributions des attaques Blackhole et Wormhole sont statistiquement différentes ($p < 0,001$). Cependant, le test a également mis en évidence que, malgré des différences statistiques de forme, il existe une Intersection du Support de Densité significative (chevauchement) dans des régions spécifiques (par exemple, [0,25, 1,4] pour PacketDropRate). Ce chevauchement, où une attaque imite la densité de l'autre, est la cause racine des fausses prédictions du modèle, et non un échec du processus d'entraînement.

Importance et revendications

L'article revendique la fourniture de modèles robustes, fiables et explicables pour la détection d'intrusions UAV en intégrant des ensembles d'arbres de pointe avec une analyse statistique rigoureuse. Ses contributions principales sont :

1. Rigueur méthodologique : Démontrer que des modèles à haute performance (comme XGBoost) peuvent encore échouer en raison de caractéristiques inhérentes aux données (Intersection du Support de Densité) plutôt que d'un mauvais prétraitement ou d'un mauvais choix de modèle.
2. Analyse des causes racines : Utiliser SHAP et le test de Westfall-Young pour identifier que la confusion entre les attaques Blackhole et Wormhole provient de densités de caractéristiques qui se chevauchent, spécifiquement dans des variables comme PacketDropRate et MeanJitter/s.
3. Cadre d'explicabilité : Établir un flux de travail qui va au-delà des simples métriques de précision pour visualiser et valider statistiquement pourquoi les erreurs de classification se produisent, offrant des insights sur la « nature masquée » de ces attaques.

Les auteurs concluent que, bien que XGBoost atteigne des performances exceptionnelles, le défi de l'Intersection du Support de Densité reste une limitation fondamentale dans l'ensemble de données UAVIDS-2025 qui nécessite une interprétation prudente de la confiance du modèle. Des travaux futurs sont suggérés pour inclure une validation inter-ensembles de données, l'utilisation de Deep-CNN pour les caractéristiques spatiales et de RNN pour l'entraînement en ligne.