KAN-LSTM: Benchmarking Kolmogorov-Arnold Networks for Cyber Security Threat Detection in IoT Networks

Probleemstelling

Traditionele diepe leermodellen, zoals Multi-Layer Perceptrons (MLP's), Convolutional Neural Networks (CNN's) en Long Short-Term Memory (LSTM) netwerken, worden veel gebruikt voor detectie van cyberdreigingen in IoT-netwerken. Deze modellen hebben echter beperkingen:

• MLP's worstelen met het vastleggen van complexe ruimtelijke patronen in grote datasets en zijn vaak inefficiënt.
• CNN's zijn goed in ruimtelijke correlaties maar kunnen temporale afhankelijkheden (tijdsreeksen) minder goed modelleren.
• LSTM's zijn effectief voor tijdsafhankelijkheden, maar kunnen moeite hebben met het behouden van belangrijke sleutelpunten in zeer grote schaal en missen soms de capaciteit voor niet-lokale representatie.
• Bestaande modellen kampen vaak met ongebalanceerde datasets (waarbij aanvallen zeldzaam zijn ten opzichte van normaal verkeer), wat leidt tot lage precisie of recall voor zeldzame aanvallen.

Er is een behoefte aan een nieuw architectuur dat dynamischere activatiefuncties kan leren en zowel lokale als niet-lokale relaties in netwerkverkeer kan coderen.

Methodologie

De auteurs stellen een hybride architectuur voor genaamd KAN-LSTM, die de voordelen van Kolmogorov-Arnold Networks (KAN's) combineert met LSTM's. De aanpak bestaat uit drie hoofdstadia:

1. Convolutionele Neural Network (CNN) Laag:

   • Twee CNN-lagen worden gebruikt om lokale feature-afhankelijkheden in het invoerverkeer te coderen.
   • De 1D invoerdata wordt omgezet naar 2D-tensors om de effectiviteit van CNN's te maximaliseren.
   • Dit stap vangt lokale patronen in het netwerkverkeer op.

2. LSTM Encoder:

   • De output van de CNN wordt doorgegeven aan een LSTM-netwerk.
   • De LSTM is verantwoordelijk voor het vastleggen van temporale en sequentiële afhankelijkheden (tijdsreeksdata).
   • Dit lost het probleem op van het behouden van geleerde sleutelpunten in grote datasets en zorgt voor een compacte representatie van de tijdsafhankelijkheden.

3. Kolmogorov-Arnold Network (KAN) Laag:

   • In plaats van vaste activatiefuncties (zoals ReLU) in een MLP, gebruikt KAN leerbare univariate functies (gesplineerd) op de randen van het graf.
   • Dit is gebaseerd op de Kolmogorov-Arnold Representatietheorema, die stelt dat elke multivariate continue functie kan worden uitgedrukt als een som van univariate functies.
   • De KAN-laag modelleert de niet-lineaire, hoog-dimensionale mapping van de data. Dit stelt het model in staat om complexe dreigingspatronen dynamisch te leren met minder parameters dan traditionele netwerken.

Verliesfunctie: Voor binaire classificatie wordt Binary Cross-Entropy (BCE) gebruikt om het verschil tussen de voorspelde waarschijnlijkheid en de werkelijke label te minimaliseren.

Belangrijkste Bijdragen

1. Eerste Benchmarking van KAN's in Cybersecurity: Dit is een van de eerste studies die KAN's systematisch toepast en evalueert voor detectie van cyberdreigingen en intrusies.
2. Hybride KAN-LSTM Architectuur: De introductie van een model dat de ruimtelijke codering van CNN's, de temporale modellering van LSTM's en de adaptieve niet-lineaire mapping van KAN's combineert.
3. Nieuwe Dataset (Tri-IDS): De auteurs hebben een nieuwe, grootschalige en gebalanceerde dataset ontwikkeld genaamd Tri-IDS. Deze is samengesteld uit drie populaire datasets:
   • BOT-IOT (voor IoT-gerelateerde aanvallen).
   • NSL-KDD.
   • CICIDS2017.
   • Dit doel is om een onbevooroordeelde dataset te creëren die de onbalans van individuele datasets oplost en diverse verkeerpatronen dekt.
4. Uitgebreide Vergelijking: Een grondige evaluatie tegen state-of-the-art baselines (CNN, LSTM, MLP, ConvKAN) op vier datasets: UNSW-NB15, NSL-KDD, CICIDS2017 en de nieuwe Tri-IDS.

Resultaten

De experimenten werden uitgevoerd op een Quadro GV100 server met PyTorch. De resultaten tonen aan dat KAN-LSTM consistent superieur presteert:

• UNSW-NB15: KAN-LSTM bereikte 95,89% nauwkeurigheid, wat 1,5% hoger is dan de beste variant (KANs met 5 lagen). Het model toonde ook de hoogste precisie (94,50%) en F1-score (94,01%).
• CICIDS2017: KAN-LSTM behaalde 99,28% nauwkeurigheid en een uitzonderlijke F1-score van 99,66. Dit is een aanzienlijke verbetering ten opzichte van baselines zoals CNN (82,75% nauwkeurigheid) en LSTM (86,05%).
• NSL-KDD: Het model behaalde 94,05% nauwkeurigheid en 94,35% F1-score, met name sterk in het verbeteren van de recall voor zeldzame aanvallen.
• Tri-IDS (Nieuwe Dataset): Zelfs op deze complexe, samengestelde dataset behaalde KAN-LSTM de beste resultaten (93,76% nauwkeurigheid, 93,39% F1-score), wat de robuustheid van het model bevestigt tegenover diverse en ongebalanceerde aanvallen.

Kerninzicht: KAN-LSTM overtreft niet alleen traditionele diepe leermodellen, maar ook andere KAN-varianten (zoals alleen ConvKAN of KANs). De combinatie van lokale (CNN), temporale (LSTM) en adaptieve niet-lineaire (KAN) codering leidt tot een beter evenwicht tussen het detecteren van aanvallen (recall) en het vermijden van valse positieven (precisie).

Betekenis en Toekomst

De studie bewijst dat Kolmogorov-Arnold Networks een veelbelovende nieuwe richting zijn voor cyberverdediging. Door de vervanging van vaste gewichten door leerbare functies, kunnen deze modellen complexere dreigingspatronen leren met minder parameters.

• Significantie: Het biedt een nieuwe standaard voor intrusiedetectie die beter omgaat met data-ongelijkheid en complexe IoT-omgevingen.
• Uitdagingen: De auteurs erkennen dat KAN's momenteel nog te kampen hebben met trage verwerkingstijden, beperkte schaalbaarheid en dure trainingstijden.
• Toekomstig Werk: Verdere onderzoek is nodig om deze prestatie-issues op te lossen om KAN's breed inzetbaar te maken in real-time cyberbeveiligingssystemen.

Concluderend biedt KAN-LSTM een robuust, gebalanceerd en nauwkeurig framework voor het detecteren van cyberdreigingen, met name in de complexe en dynamische wereld van IoT-netwerken.