Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

Technische Samenvatting: Evaluatie van AutoML-frameworks voor IDS onder Imbalanced Data-condities van de NSL-KDD Dataset

Probleemstelling
Network Intrusion Detection Systems (NIDS) vertrouwen steeds vaker op machine learning (ML) om kwaadaardige activiteiten te identificeren. Er blijft echter een kritieke uitdaging bestaan: de ernstige klassenimbalans die inherent is aan real-world netwerkverkeer-datasets, zoals NSL-KDD. In deze datasets zijn minderheidsaanvalscategorieën (specifiek Remote-to-Local [R2L] en User-to-Root [U2R]) aanzienlijk ondervertegenwoordigd vergeleken met meerderheidsklassen (Normal en Denial of Service). Deze imbalans bias de standaard leerprocessen naar de meerderheidsklassen, wat resulteert in een slechte detectieprestatie voor zeldzame aanvallen. Hoewel Automated Machine Learning (AutoML) frameworks eraan werken om de ML-pipeline te stroomlijnen door middel van geautomatiseerde preprocessing, algoritme-selectie en hyperparameteroptimalisatie, blijft hun effectiviteit bij het afhandelen van ernstige multiclass-imbalans binnen het NIDS-domein onderzocht. Eerdere studies hebben dit probleem vaak vereenvoudigd door het om te zetten naar binaire classificatie of door minderheidsklassen te verwijderen, waardoor ze geen realistische evaluatie bieden van imbalans-gevoelig leergedrag.

Methodologie
Dit werk voert een vergelijkende analyse uit van negen open-source AutoML-frameworks toegepast op de NSL-KDD dataset onder een verenigd, reproduceerbaar experimenteel protocol. De studie behoudt de oorspronkelijke vijf-klasse verdeling (Normal, DoS, Probe, R2L, U2R) om de ernst van de imbalans te behouden, in plaats van de taak te vereenvoudigen.

De geëvalueerde frameworks zijn:

• AutoGluon, PyCaret, TPOT, H2O AutoML, Auto-Sklearn, FLAML, LazyPredict, Auto-PyTorch, en AutoKeras.

Het experimentele ontwerp richt zich op de interne architecturen van deze frameworks, specifiek door de volgende aspecten te analyseren:

1. Pipeline Constructie: Hoe elk framework data-laden, splitsen en iteratieve evaluatie afhandelt.
2. Optimalisatiestrategieën: Het gebruik van genetische programmering (TPOT), Bayesiaanse optimalisatie (Auto-Sklearn, Auto-PyTorch, AutoKeras), kostenbesparende optimalisatie (FLAML), en neural architecture search (AutoKeras, Auto-PyTorch).
3. Imbalans Afhandelingsmechanismen: De aanwezigheid en activatie van native resampling (bijv. SMOTE), klasse-weging en ensemble-strategieën.

De studie maakt gebruik van de KDDTest+ subset voor evaluatie. Prestaties worden gemeten met behulp van de macro-F1 score, weighted-F1, accuratesse, precisie en recall. Cruciaal is dat de macro-F1 metriek wordt geprioriteerd om ervoor te zorgen dat de discriminatie van minderheidsklassen niet wordt gemaskeerd door een hoge algehele accuratesse. De resultaten worden gebenchmarkt tegen gerelateerd werk dat handmatige, handmatig geoptimaliseerde pipelines gebruikt.

Belangrijkste Resultaten
De evaluatie onthult significante prestatieverschillen tussen de frameworks, die direct gecorreleerd zijn met hun vermogen om klassenimbalans af te handelen:

• Top Performers: PyCaret behaalde de beste algehele prestaties met een macro-F1 score van 66%, gevolgd door AutoGluon met 55%. Het succes van PyCaret wordt toegeschreven aan zijn modulaire ontwerp dat gebruikmaakt van stacking, ensembles en verfijnde hyperparameteroptimalisatie (via Optuna). De prestaties van AutoGluon komen voort uit zijn gewogen ensemble-strategie, die modellen (NeuralNetFastAI, Extra Trees, en LGBM) hiërarchisch combineert om de dominantie van de meerderheidsklasse te mitigeren.
• Underperformers: Frameworks die geen native ondersteuning voor balans bieden of die computationele efficiëntie prioriteren boven complexe zoekruimtes, vertoonden een significante degradatie. TPOT en FLAML behaalden macro-F1 scores van respectievelijk 49% en 48%. LazyPredict, dat geen hyperparameteroptimalisatie of ondersteuning voor balans biedt, presteerde ook slecht.
• Vergelijking met Handcrafted Modellen: De studie merkt op dat handmatige architecturen (bijv. gespecialiseerde Random Forest, Gradient Boosting, en Voting Ensembles uit eerdere literatuur) over het algemeen de standaard geconfigureerde AutoML-frameworks hebben overtroffen, met macro-F1 scores tussen de 68,99% en 71,10%. Dit suggereert dat hoewel AutoML robuuste baselines biedt, het momenteel de dataset-specifieke adaptatie (feature selectie, adaptieve weging, undersampling) mist die in handmatig getunede oplossingen te vinden is.
• Metriek Gevoeligheid: De resultaten demonstreren dat accuratesse-georiënteerde optimalisatie onvoldoende is voor imbalanced IDS-scenario's. Frameworks die optimaliseren voor accuratesse gaan vaak samen met een slechte generalisatie op zeldzame aanvalscategorieën.

Bijdragen en Betekenis
Het artikel stelt een gestandaardiseerde benchmark vast voor het evalueren van AutoML-gebaseerde intrusiedetectie onder ernstige multiclass-imbalans. De primaire bijdragen zijn:

1. Realistische Evaluatie: Door de oorspronkelijke vijf-klasse verdeling van NSL-KDD te behouden, vermijdt dit werk de valkuilen van binaire vereenvoudiging, wat een striktere test biedt van imbalans-bewust leren.
2. Architecturale Analyse: De studie identificeert dat frameworks die ensemble learning en imbalans-bewuste optimalisatie bevatten (zoals expliciete resampling of metriek-weging) significant beter presteren dan frameworks die dat niet doen.
3. Identificatie van Beperkingen: Het werk benadrukt dat huidige AutoML-pipelines vaak vertrouwen op gegeneraliseerde zoekruimtes zonder dataset-specifieke adaptatie, wat hun effectiviteit bij het detecteren van zeldzame aanvallen zoals R2L en U2R beperkt in vergelijking met handcrafted oplossingen.
4. Reproduceerbaarheid: De auteurs bieden een publiekelijk beschikbare broncode-repository om de reproduceerbaarheid van het experimentele protocol te waarborgen.

Conclusie
Het artikel concludeert dat hoewel AutoML-frameworks zoals PyCaret en AutoGluon concurrerende baselines kunnen bieden voor NIDS, ze momenteel beperkingen ervaren bij het afhandelen van extreme klassenimbalans zonder handmatige interventie of specifieke configuratie. De auteurs pleiten voor de toekomstige integratie van native balancing strategieën — zoals automatische oversampling, klasse-weging en gestratificeerde validatie — direct in de AutoML zoek- en optimalisatieprocedures om de adaptiviteit en robuustheid in cybersecurity-toepassingen te verbeteren.