DKD-KAN: A Lightweight knowledge-distilled KAN intrusion detection framework, based on MLP and KAN

1. Il Problema

I sistemi cyber-fisici (CPS) e le infrastrutture industriali (IIoT) sono sempre più esposti a minacce informatiche. La rilevazione delle intrusioni in questi ambienti presenta sfide critiche:

• Vincoli di risorse: Molti dispositivi di bordo (edge devices) e sistemi di monitoraggio in tempo reale hanno capacità computazionali e di memoria limitate, rendendo difficile l'implementazione di modelli di Deep Learning (DL) pesanti.
• Compromesso tra accuratezza e efficienza: I modelli DL avanzati (come CNN, LSTM o KAN) offrono alta capacità di rappresentazione ma richiedono molte risorse. Al contrario, i modelli leggeri (come le MLP semplici) sono veloci ma spesso soffrono di una minore accuratezza nel catturare pattern complessi.
• Limitazioni delle tecniche attuali: Metodi come l'oversampling (SMOTE) o l'uso di GAN per bilanciare i dati possono essere instabili o poco efficaci in caso di squilibrio estremo delle classi. Inoltre, tecniche di pre-processing complesse (come PCA o finestre temporali) possono introdurre latenza o perdere informazioni critiche.

2. Metodologia Proposta

L'autore propone un framework DKD-KAN che combina la potenza di apprendimento dei Kolmogorov-Arnold Networks (KAN) con l'efficienza della Distillazione della Conoscenza Decoupled (DKD) per addestrare un modello studente leggero basato su MLP.

A. Il Modello Insegnante (Teacher): KAN

• Viene utilizzato un Kolmogorov-Arnold Network (KAN) come modello insegnante ad alta capacità.
• A differenza delle tradizionali MLP (dove i pesi sono apprendibili e le funzioni di attivazione sono fisse), nei KAN le funzioni di attivazione (basate su spline e SiLU) sono poste sui collegamenti tra i nodi e sono esse stesse apprendibili.
• Questo permette al KAN di approssimare funzioni complesse con alta precisione e di visualizzare le relazioni tra le caratteristiche, fungendo da "insegnante" ricco di conoscenza.

B. Il Modello Studente (Student): MLP

• Viene addestrato un modello studente molto più piccolo basato su una Multi-Layer Perceptron (MLP) standard.
• L'obiettivo è comprimere il modello: il modello studente finale contiene solo 1.622 parametri per il dataset SWaT e 2.522 parametri per il dataset WADI, una frazione minima rispetto al modello insegnante KAN.

C. Distillazione della Conoscenza Decoupled (DKD)

• Invece di usare la distillazione classica (che combina la perdita sulle classi target e non-target in un'unica funzione KL), il metodo utilizza la DKD.
• La DKD separa il processo di distillazione in due componenti indipendenti:
  1. TCKD (Target Class Knowledge Distillation): Focalizzata sulla classe corretta.
  2. NCKD (Non-Target Class Knowledge Distillation): Focalizzata sulle classi errate.
• Ogni componente ha un proprio iperparametro di peso ($\alpha$ e $\beta$), permettendo un controllo fine su quanto lo studente deve imparare dalle probabilità delle classi target rispetto a quelle non target. Questo risolve il problema della distillazione classica dove l'influenza delle classi non-target diminuisce troppo rapidamente per i campioni ben classificati.

D. Pre-processing e Setup

• Pre-processing minimale: Non vengono utilizzate finestre temporali complesse o PCA. Si applica solo la standardizzazione (Z-score) dei dati.
• Dataset: Il framework è stato validato su due dataset pubblici di testbed industriali: SWaT (Sistema di trattamento delle acque) e WADI (Sistema di distribuzione dell'acqua).
• Strategia di addestramento: Viene utilizzato un "warm-up" lineare per aumentare gradualmente il contributo della perdita di distillazione, evitando che lo studente si sovradatti troppo presto all'insegnante.

3. Contributi Chiave

1. Metodologia DKD per la compressione: Applicazione innovativa della distillazione decoupled per comprimere modelli KAN complessi in MLP estremamente leggeri senza perdita significativa di prestazioni.
2. Efficienza estrema: Creazione di modelli di rilevazione intrusioni con meno di 2.500 parametri, ideali per dispositivi edge con risorse limitate.
3. Mantenimento delle prestazioni: Dimostrazione che è possibile ottenere alte prestazioni di rilevazione mantenendo un'architettura minima, superando i limiti delle MLP "nude".
4. Validazione empirica: Test rigorosi su due dataset industriali reali (SWaT e WADI) con risultati confrontabili o superiori rispetto a metodi più complessi.

4. Risultati Sperimentali

I risultati sono stati ottenuti confrontando il modello DKD-MLP con il modello insegnante KAN, la MLP studente senza distillazione e altri stati dell'arte.

• Riduzione dei parametri: Il modello studente ha ridotto i parametri di oltre il 98% rispetto al modello insegnante KAN.
• Miglioramento delle prestazioni (F1-Score):
  • Dataset SWaT: Il modello DKD-MLP ha raggiunto un F1-score del 95.45%, un miglioramento del 4.18% rispetto alla MLP studente addestrata senza distillazione (91.27%).
  • Dataset WADI: Il modello DKD-MLP ha raggiunto un F1-score del 98.45%, con un miglioramento del 3.07% rispetto alla MLP studente base (95.38%).
• Visualizzazione: Le visualizzazioni t-SNE mostrano che il modello DKD-MLP riesce a replicare la separazione delle classi del modello insegnante KAN, mantenendo una buona separabilità tra attacchi e dati normali.
• Confronto con lo stato dell'arte: Sebbene alcuni metodi precedenti riportino F1-score leggermente più alti, spesso lo fanno con un numero di parametri molto superiore o su versioni diverse dei dataset. Il metodo proposto offre un compromesso superiore tra accuratezza e leggerezza.

5. Significato e Impatto

Questo lavoro è significativo per il settore della sicurezza informatica industriale per diversi motivi:

• Deployabilità Edge: Permette l'implementazione di sistemi di rilevazione intrusioni avanzati direttamente su dispositivi con risorse computazionali limitate (edge computing), riducendo la latenza e la dipendenza dal cloud.
• Interpretabilità e Robustezza: Sfruttando la natura dei KAN come insegnante, il framework mantiene una certa interpretabilità delle decisioni, cruciale negli ambienti industriali critici.
• Efficienza Computazionale: Rimuove la necessità di pre-processing pesanti (come finestre temporali o PCA), accelerando l'inferenza in tempo reale.
• Nuovo Paradigma di Addestramento: Dimostra che l'uso di architetture complesse e interpretabili (KAN) come "insegnanti" per modelli semplici (MLP) tramite DKD è una strategia vincente per bilanciare accuratezza e efficienza, aprendo la strada a soluzioni scalabili per la sicurezza delle infrastrutture critiche.

In conclusione, il paper dimostra che è possibile ottenere un rilevamento delle intrusioni ad alte prestazioni in ambienti a risorse limitate, superando il tradizionale compromesso tra complessità del modello e accuratezza.