DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN

Probleemstelling

Cyber-fysieke systemen (CPS), zoals industriële besturingssystemen (ICS) en het Internet of Things (IoT), opereren vaak in omgevingen met beperkte rekenkracht (edge devices) en vereisen real-time detectie van cyberaanvallen. Bestaande methoden voor Inbraakdetectie (IDS) kampen met twee tegenstrijdige uitdagingen:

1. Zware modellen: Diepe leermodellen (zoals CNN's, LSTM's en zelfs de nieuwe Kolmogorov-Arnold Networks of KAN) bieden hoge nauwkeurigheid en het vermogen om complexe patronen te leren, maar hebben vaak duizenden tot miljoenen parameters. Dit maakt ze ongeschikt voor implementatie op apparaten met beperkte middelen.
2. Lichte modellen: Lichtere modellen (zoals standaard Multi-Layer Perceptrons of MLP's) zijn efficiënter, maar missen vaak het vermogen om de subtiele en complexe kenmerken van aanvallen te vangen, wat leidt tot lagere detectiepercentages.

Daarnaast vereisen veel bestaande methoden complexe pre-processing (zoals PCA of vensteranalyse), wat de inferentiesnelheid vertraagt en de interpretatie bemoeilijkt.

Methodologie

De auteurs stellen een nieuw raamwerk voor, genaamd DKD-KAN, dat gebruikmaakt van Decoupled Knowledge Distillation (DKD) om een zware "leraar" te comprimeren tot een extreem lichte "student".

1. De Leraar (Teacher Model):

   • Er wordt eerst een groot, hoogcapaciteit Kolmogorov-Arnold Network (KAN) getraind.
   • KAN's vervangen de traditionele learnable gewichten in een netwerk door learnable een-dimensionale activatiefuncties (gebaseerd op B-splines en SiLU). Volgens de Kolmogorov-Arnold-representatietheorie kunnen deze netwerken complexe multivariate functies efficiënter benaderen dan traditionele MLP's.
   • Dit model fungeert als de "leraar" die complexe patronen van aanvallen leert.

2. De Student (Student Model):

   • Een veel kleinere Multi-Layer Perceptron (MLP) fungeert als de "student".
   • Het doel is om deze student te trainen om het gedrag van de KAN-leraar na te bootsen, maar dan met een fractie van het aantal parameters.

3. Decoupled Knowledge Distillation (DKD):

   • In plaats van standaard kennisdistillatie (waarbij de student probeert de output van de leraar te imiteren via een enkele KL-divergentie-verliesfunctie), gebruikt dit framework DKD.
   • DKD splitst het distillatieproces in twee onafhankelijke componenten:
     • TCKD (Target Class Knowledge Distillation): Focus op de waarschijnlijkheid van de juiste klasse.
     • NCKD (Non-Target Class Knowledge Distillation): Focus op de verdeling van de verkeerde klassen.
   • Door deze te scheiden en onafhankelijke hyperparameters ($\alpha$ en $\beta$) toe te kennen, kan de student beter leren over de subtiele verschillen tussen klassen, zelfs wanneer de leraar al zeer zeker is van de juiste classificatie. Dit voorkomt dat de "niet-doel" kennis wordt genegeerd.

4. Data Pre-processing:

   • In tegenstelling tot veel andere methoden, vermijdt dit framework complexe pre-processing zoals PCA of vensteranalyse.
   • Er wordt alleen standaardisatie (mean en standaarddeviatie) toegepast. Dit zorgt voor snellere inferentie en maakt het model direct toepasbaar op ruwe sensorgegevens.

Belangrijkste Bijdragen

• Efficiënte Modelcompressie: Het succesvol toepassen van DKD om een zware KAN-leraar te distilleren naar een extreem lichte MLP-student zonder significante nauwkeurigheidsverlies.
• Lichtgewicht Architectuur: De resulterende DKD-MLP-modellen hebben slechts 1.622 parameters (voor SWaT) en 2.522 parameters (voor WADI). Dit is minder dan 2% van het aantal parameters van de oorspronkelijke KAN-leraar.
• Verbeterde Pre-processing: Het elimineren van zware pre-processing stappen (zoals vensteranalyse of PCA), wat leidt tot snellere real-time detectie.
• Decoupled Loss Functie: Het gebruik van DKD zorgt voor een betere overdracht van kennis, vooral bij het onderscheiden van complexe aanvalspatronen, vergeleken met traditionele distillatiemethoden.

Resultaten

Het framework is gevalideerd op twee publieke datasets voor industriële besturingssystemen: SWaT en WADI.

• Nauwkeurigheid:
  • Op de SWaT dataset bereikte het DKD-MLP-model een F1-score van 95,45%. Dit is een verbetering van 4,18% ten opzichte van een standaard MLP-student zonder distillatie.
  • Op de WADI dataset bereikte het model een F1-score van 98,45%, een verbetering van 3,07% ten opzichte van de basale student.
• Vergelijking met Bestaande Methoden:
  • Hoewel de KAN-leraar zelf de hoogste scores haalt (bijna 99,9%), doet de lichtgewicht DKD-MLP het aanzienlijk beter dan veel bestaande state-of-the-art methoden (zoals LSTM+VAE, GAN's en andere ensemble-methoden) die vaak duizenden parameters nodig hebben.
  • De t-SNE visualisaties tonen aan dat de DKD-MLP de clusterpatronen van de leraar effectief nabootst, wat aantoont dat de student de complexe kenmerken heeft overgenomen.
• Efficiëntie: Het model is uiterst compact en geschikt voor implementatie op apparaten met zeer beperkte rekenkracht.

Betekenis en Conclusie

Dit paper demonstreert dat het mogelijk is om de kracht van geavanceerde, zware netwerken (KAN) te combineren met de efficiëntie van eenvoudige netwerken (MLP) voor cyberbeveiliging in industriële omgevingen.

De kern van het succes ligt in de Decoupled Knowledge Distillation, die het leerproces verfijnt door de kennis over de doelklasse en de niet-doelklassen gescheiden te behandelen. Dit maakt het mogelijk om modellen te creëren die:

1. Schaalbaar zijn voor resource-constrained devices (edge computing).
2. Snelle inferentie bieden zonder complexe pre-processing.
3. Hoge detectiepercentages behouden, zelfs bij extreme compressie van het model.

De auteurs concluderen dat hun aanpak een praktische oplossing biedt voor de beveiliging van kritieke infrastructuur, waarbij de balans tussen nauwkeurigheid en rekenefficiëntie optimaal is. Ze wijzen wel op de uitdaging van het fijnafstemmen van hyperparameters (zoals de warm-up periode en regularisatie) voor specifieke datasets, wat een punt is voor toekomstig onderzoek.