UNAD+: An Explainable Hybrid Framework for Unknown Network Attack Detection

Technische Samenvatting van UNAD+: Een Verklaarbaar Hybride Kader voor Detectie van Onbekende Netwerkaanvallen

Probleemstelling
Betrouwbare detectie van eerder onbekende (zero-day) netwerkaanvallen blijft een kritieke uitdaging voor Inbraakdetectiesystemen (IDS). Hoewel methoden voor toezicht op leren goed presteren bij bekende aanvalsklassen, falen ze in het generaliseren naar nieuwe bedreigingen die niet in de trainingsdata aanwezig zijn. Omgekeerd zijn methoden voor onbewaakte anomaliedetectie, die de kenmerken van onschadelijk verkeer leren om afwijkingen te identificeren, beter geschikt voor zero-day detectie, maar lijden vaak onder hoge rates van vals-positieven (FPR). Dit beperkt hun praktische inzet, aangezien ze overvloedige waarschuwingen genereren die beveiligingsanalisten belasten. Bovendien ontbreekt het bestaande hybride systemen vaak aan transparantie; de interne redenering van complexe ensemblemodellen is frequent ondoorzichtig, wat het vertrouwen van analisten, analyse van de oorzaak en naleving in gereguleerde sectoren belemmert.

Methodologie
Het artikel stelt UNAD+ voor, een verbeterd hybride kader dat de originele Unknown Network Attack Detector (UNAD) uitbreidt. UNAD+ integreert drie kerncomponenten in een modulaire pijplijn:

1. Onbewaakt Ensemble uitsluitend voor onschadelijk verkeer met Gewogen Meerderheidsstemming (WMV):

   • De eerste fase maakt gebruik van een heterogeen ensemble van 100 basisleerders (50 Local Outlier Factor- en 50 Isolation Forest-modellen) die uitsluitend zijn getraind op gebootstrapste subsets van onschadelijk verkeer.
   • In tegenstelling tot de originele UNAD, die eenvoudige meerderheidsstemming gebruikte, hanteert UNAD+ Gewogen Meerderheidsstemming. Tijdens validatie krijgt elke basisleerder een gewicht dat evenredig is aan zijn F1-score. Tijdens inferentie worden voorspellingen gewogen met deze scores om de uiteindelijke ensemble-output te bepalen. Deze aanpak vermindert de invloed van zwakkere detectoren en elimineert scenario's voor het oplossen van gelijke stemmen die het originele systeem eerder bevooroordeelden ten gunste van onschadelijke voorspellingen.

2. Supervisie-Verfijningsfase:

   • Om de hoge FPR van de onbewaakte fase aan te pakken, wordt een tweede-fase supervised classifier geïntroduceerd.
   • De initiële detecties van het ensemble (zowel correct geïdentificeerde aanvallen als onschadelijke flows) worden omgezet in pseudo-labels. Deze vormen, gecombineerd met de originele onschadelijke data, een uitgebreide trainingsset.
   • Een Random Forest-classifier, geselecteerd omwille van zijn robuustheid en interpreteerbaarheid, wordt getraind op deze pseudo-gelabelde data. Deze fase leert nauwkeurigere beslissingsgrenzen van verkeerspatronen die dichter bij de operationele detectieomgeving liggen, en corrigeert effectief resterende fouten uit de eerste fase.
   • Er wordt een "mens-in-de-lus"-controlepunt voorgesteld tussen de fasen om domeinexperts in staat te stellen een subset van pseudo-labels te valideren voordat ze worden gebruikt voor supervised training, waardoor foutpropagatie wordt beperkt.

3. Post Hoc Verklaarbaarheidslaag:

   • Om transparantie te vergroten, integreert het kader zowel lokale als globale verklarmechanismen.
   • Lokale Verklaarbaarheid: LIME (Local Interpretable Model-Agnostic Explanations) wordt toegepast op de Random Forest-classifier om uitleg op instance-niveau te genereren, waarbij wordt benadrukt welke verkeerskenmerken (bijvoorbeeld pakketlengten, flow-bytes) hebben bijgedragen aan specifieke voorspellingen.
   • Globale Verklaarbaarheid: Een Decision Tree-surrogaatmodel wordt getraind om het gedrag van de Random Forest te benaderen. Dit biedt een vereenvoudigd, interpreteerbaar overzicht van de globale beslissingslogica, inclusief dominante regels en kenmerkinteracties.

Belangrijkste Bijdragen

• Hybride Architectuur: Het artikel demonstreert een coherente integratie van onbewaakte detectie uitsluitend voor onschadelijk verkeer, supervisie-verfijning met pseudo-labels en verklaarbaarheid binnen één kader.
• Gewogen Stemmechanisme: De introductie van WMV verbetert de besluitvorming van het ensemble door basisleerders te wegen op basis van prestaties, waardoor ambiguïteit gerelateerd aan gelijke stemmen en bevooroordeeldheid ten gunste van de onschadelijke klasse worden verminderd.
• Vermindering van Vals-Positieven: De supervisie-verfijningsfase blijkt een kritiek mechanisme te zijn voor het drastisch verminderen van de vals-positieve rates die inherent zijn aan onbewaakte anomaliedetectie.
• Geïntegreerde Verklaarbaarheid: Het kader gaat voorbij aan het behandelen van verklaarbaarheid als een toevoeging, en integreert het als een structureel component om het vertrouwen van analisten en auditing te ondersteunen.

Experimentele Resultaten
Het kader werd geëvalueerd op twee benchmarkdatasets: CICIDS2017 en NSL-KDD.

• Prestatiemetingen:
  • Op CICIDS2017 bereikte het volledige UNAD+-kader een F1-score van 98,31%, een aanzienlijke verbetering ten opzichte van de originele UNAD (75,19%) en de standalone supervised classifier (90,59%). De Fals-Positieve Rate (FPR) werd verlaagd van 11,34% (gewogen ensemble) naar 0,18% na verfijning.
  • Op NSL-KDD bereikte het kader een F1-score van 98,25%, een verbetering ten opzichte van de originele UNAD (93,38%). De FPR daalde van 6,37% naar 2,77%.
• Class-niveau Analyse: De verfijningsfase verbeterde de detectie aanzienlijk voor moeilijke of zeldzame aanvalsklassen (bijvoorbeeld SSH-Patator, DoS Slowhttptest, R2L en U2R). De prestatiewinst was echter beperkt voor extreem zeldzame klassen waar de eerste fase niet in staat was voldoende pseudo-gelabelde instances te genereren waar de tweede fase van kon leren.
• Evalueren van Verklaarbaarheid: De lokale verklaringen (LIME) bleven plausibel, waarbij betekenisvolle netwerkkenmerken werden benadrukt, en waren stabiel bij herhaalde inspecties. De globale surrogaatmodellen toonden een hoge fideliteit (>99%) ten opzichte van de Random Forest-classifier, en slaagden erin zijn beslissingslogica in een interpreteerbaar formaat vast te leggen.

Betekenis en Beweringen
De auteurs beweren dat UNAD+ een aanzienlijke verbetering biedt ten opzichte van de originele UNAD-baseline, niet alleen door voorspellende prestaties, maar door de operationele beperkingen van onbewaakte IDS-systemen aan te pakken. Het artikel stelt dat de combinatie van gewogen ensemble-detectie en supervisie-verfijning effectief de behoefte aan zero-day detectie balanceert met de vereiste van lage rates van vals-positieven. Bovendien wordt de integratie van verklaarbaarheid gepresenteerd als essentieel voor implementatie in de echte wereld, waardoor analisten beslissingen kunnen interpreteren, systeemgedrag kunnen auditeren en classifierfouten kunnen debuggen. Het werk concludeert dat, hoewel het kader zeer effectief is, de prestaties op extreem zeldzame aanvalsklassen afhankelijk zijn van het vermogen van de eerste fase om informatieve pseudo-labels te genereren, en dat toekomstig werk de uitdagingen van versleuteld verkeer moet aanpakken.