Technische Zusammenfassung: XAI und statistische Analyse für zuverlässige Intrusion Detection im UAVIDS-2025-Datensatz

Problemstellung

Der Beitrag adressiert die Herausforderung der Erkennung von Intrusionen in Netzwerken unbemannter Luftfahrzeuge (UAV), speziell im Kontext des aufkommenden UAVIDS-2025-Datensatzes. Während Explainable Artificial Intelligence (XAI) und Mechanistic Interpretability in kritischen Systemen an Bedeutung gewonnen haben, besteht weiterhin ein Bedarf, die Entscheidungsprozesse komplexer Machine-Learning-Modelle (ML) bei spezifischen Angriffsvektoren zu verstehen. Eine primäre Schwierigkeit, die im UAVIDS-2025-Datensatz identifiziert wurde, ist die „Density Support Intersection" (Schnittmenge der Dichteträger), bei der bestimmte Angriffsarten – insbesondere Blackhole- und Wormhole-Angriffe – eine signifikante Überlappung in ihren Merkmalsverteilungen aufweisen. Diese Überlappung erzeugt Mehrdeutigkeiten, die zu Fehlklassifizierungen führen, selbst bei leistungsstarken Modellen, und erfordert einen rigorosen Ansatz, der fortschrittliche Klassifikation, XAI und nicht-parametrische statistische Tests kombiniert, um maskierte Angriffe zu unterscheiden.

Methodik

1. Datenvorverarbeitung und Feature-Engineering

Die Studie nutzt den UAVIDS-2025-Datensatz, der etwa 120.000 Beobachtungen mit 22 Merkmalen und einer Zielvariable umfasst, die vier Angriffsarten (Sybil, Blackhole, Wormhole, Flooding) sowie normalen Datenverkehr beinhaltet. Die Vorverarbeitungspipeline umfasste:

• Bereinigung: Entfernung von Duplikaten, des redundanten Merkmals „Protocol" (ausschließlich UDP) und des nicht-informativen Index „FlowID".
• Codierung: Label-Encoding für die Zielvariable; Dummy-Encoding für Quell- und Zielports; sowie Frequency-Encoding für IP-Adressen.
• Transformation: Anwendung von Power- und Reziprok-Transformationen für das Feature-Engineering.
• Skalierung: Die Erkennung von Ausreißern mittels IQR und Box-Plots führte zur Auswahl des Robust Scaler.
• Feature-Auswahl: Recursive Feature Elimination (RFE) mit einem Random Forest identifizierte Merkmale mit einem Beitrag von >2,5 %. Um Multi-Kollinearitätsprobleme in der SHAP-Analyse zu vermeiden, wurden Merkmale mit Pearson-/Kendall-Korrelationen >0,7 entfernt, was zu einem finalen Satz von acht ausgewählten Merkmalen führte: LostPackets, RxBytes, RxByteRate/s, MeanDelay/s, MeanJitter/s, PacketDropRate, AverageHopCount und DstPort654.

2. Modelltraining und Evaluation

Die Autoren evaluierten ein breites Spektrum an Algorithmen unter Verwendung einer stratifizierten 10-fachen Kreuzvalidierung mit Grid-Search-Hyperparameter-Tuning und Probabilistic Calibration. Die Modellfamilien umfassten:

• Baum-Ensembles: XGBoost, LightGBM, Random Forest, Extra-Trees, Gradient Boosting, HB-Gradient Boosting, AdaBoost und Bagging.
• Tiefe Neuronale Netze (DNN): MLP, RealMLP und Ensemble-Varianten (Ensemble-RealMLP, Ensemble-NN-Torch, Ensemble-NNFastAiTab).
• Hybride Stacking: Modelle, die lineare, baumbasierte und bayesianische Schätzer kombinieren (z. B. Stacking-1 und Stacking-2).
• Baselines: Logistische Regression und SVM.

Die Leistung wurde mittels F1-Score, Precision, Recall und Roc-Auc bewertet.

3. Erklärbarkeit und statistische Analyse

• SHAP-Analyse: Das am besten performende Modell (XGBoost) wurde einer Shapley Additive explanations (SHAP)-Analyse unterzogen, um globale und lokale Feature-Importanzen zu bestimmen. Dies umfasste die Untersuchung, wie spezifische Merkmale Vorhersagen für einzelne Beobachtungen im Gegensatz zu allgemeinen Klassentendenzen antreiben.
• Verteilungsanalyse: Violin-Plots und Kernel Density Estimations (KDE) wurden zur Visualisierung von Datenformen, Schiefe und multi-modalen Verteilungen eingesetzt.
• Westfall-Young-Permutationstest: Um die Hypothese der „Density Support Intersection" zwischen Blackhole- und Wormhole-Angriffen statistisch zu validieren, wandten die Autoren einen nicht-parametrischen Westfall-Young-Test mit B=1000 Permutationen an.
  • Hypothese: $H_0: P_{i,V} = P_{i,W}$ (Verteilungen sind gleich) vs. $H_1: P_{i,V} \neq P_{i,W}$.
  • Statistik: Der Test nutzte die Jensen-Shannon-Distanz (JSD) als Metrik und berechnete die Max-Statistik über alle Merkmale, um die Family-Wise Error Rate (FWER) zu kontrollieren und Bonferroni-Korrekturprobleme zu vermeiden.

Wichtige Ergebnisse

Klassifikationsleistung

• Baum-Ensembles: Alle baumbasierten Modelle erzielten Testwerte von über 92 %. XGBoost erwies sich als Top-Performer mit einer Test-Precision von 95,17 %, einem Recall von 95,04 %, einem F1-Score von 95,04 % und einem Roc-Auc von 96,85 %.
• Deep Learning: RealMLP und seine Ensemble-Varianten zeigten eine starke Leistung (z. B. RealMLP Test-F1 von 94,28 %), blieben jedoch im Allgemeinen leicht hinter XGBoost zurück.
• Baselines: Die Logistische Regression hatte erhebliche Schwierigkeiten (49 % F1), während die SVM nahezu akzeptable Leistung erzielte (73 % F1).
• Einsichten aus der Konfusionsmatrix: XGBoost zeigte eine hohe Genauigkeit, wies jedoch spezifische Verwechslungsmuster auf: Es klassifizierte Wormhole-Angriffe gelegentlich als Normalverkehr und verwechselte Blackhole- und Wormhole-Angriffe miteinander.

Erkenntnisse zur Erklärbarkeit

• Globale Wichtigkeit: Merkmale wie PacketDropRate, RxByteRate/s, RxBytes und DstPort654 waren für die Entscheidungen des Modells über die meisten Klassen hinweg am einflussreichsten.
• Lokale Fehlklassifizierungen: Die Analyse spezifischer fehlklassifizierter Instanzen (z. B. ein als Blackhole vorhergesagter Wormhole-Angriff) ergab, dass Merkmale wie MeanDelay/s, AverageHopCount und MeanJitter/s oft hohe Werte für beide Klassen aufwiesen, was Mehrdeutigkeiten schuf. Das Modell verließ sich stark auf PacketDropRate zur Differenzierung; wenn dieser Wert nahe dem Median lag, wurde das Modell zögerlich.
• Verteilungsformen: Violin-Plots und KDEs zeigten, dass Blackhole- und Wormhole-Angriffe in Merkmalen wie MeanDelay/s und AverageHopCount extreme Ähnlichkeiten in ihren Formen aufweisen, gekennzeichnet durch lange rechte Ausläufer und ähnliche Schwerpunkte.

Statistische Validierung

Der Westfall-Young-Permutationstest bestätigte, dass für die meisten Merkmale (z. B. LostPackets, RxBytes, PacketDropRate) die Verteilungen von Blackhole- und Wormhole-Angriffen statistisch signifikant unterschiedlich sind ($p < 0,001$). Der Test hob jedoch auch hervor, dass trotz statistischer Unterschiede in der Form eine signifikante Density Support Intersection (Überlappung) in bestimmten Bereichen besteht (z. B. [0,25, 1,4] für PacketDropRate). Diese Überlappung, bei der ein Angriff die Dichte des anderen imitiert, ist die Ursache für die falschen Vorhersagen des Modells und nicht ein Versagen des Trainingsprozesses.

Bedeutung und Behauptungen

Der Beitrag beansprucht, robuste, zuverlässige und erklärbare Modelle für die UAV-Intrusion Detection bereitzustellen, indem er modernste Baum-Ensembles mit rigoroser statistischer Analyse integriert. Seine primären Beiträge sind:

1. Methodische Strenge: Der Nachweis, dass leistungsstarke Modelle (wie XGBoost) aufgrund inhärenter Datenmerkmale (Density Support Intersection) versagen können und nicht aufgrund schlechter Vorverarbeitung oder Modellauswahl.
2. Ursachenanalyse: Die Nutzung von SHAP und dem Westfall-Young-Test, um zu identifizieren, dass die Verwechslung zwischen Blackhole- und Wormhole-Angriffen auf überlappende Merkmalsdichten zurückzuführen ist, insbesondere bei Variablen wie PacketDropRate und MeanJitter/s.
3. Erklärbarkeitsrahmen: Etablierung eines Workflows, der über einfache Genauigkeitsmetriken hinausgeht, um zu visualisieren und statistisch zu validieren, warum Fehlklassifizierungen auftreten, und Einblicke in die „maskierte Natur" dieser Angriffe bietet.

Die Autoren schließen, dass XGBoost zwar herausragende Leistung erzielt, die Herausforderung der Density Support Intersection jedoch eine fundamentale Einschränkung im UAVIDS-2025-Datensatz darstellt, die eine sorgfältige Interpretation des Modellvertrauens erfordert. Als zukünftige Arbeiten werden die Validierung über Datensätze hinweg, der Einsatz von Deep-CNNs für räumliche Merkmale und RNNs für Online-Training vorgeschlagen.