KAN-LSTM: Benchmarking Kolmogorov-Arnold Networks for Cyber Security Threat Detection in IoT Networks

Titolo

KAN-LSTM: Benchmarking delle Reti di Kolmogorov-Arnold per il Rilevamento delle Minacce Informatiche nelle Reti IoT

1. Il Problema

Il rilevamento delle minacce informatiche nelle reti IoT e nei flussi di traffico di rete rappresenta una sfida complessa a causa della natura dinamica, multidimensionale e spesso sbilanciata dei dati.

• Limitazioni dei Modelli Tradizionali: Le architetture di Deep Learning convenzionali, come i Multi-Layer Perceptron (MLP), le Convolutional Neural Networks (CNN) e le Long Short-Term Memory (LSTM), mostrano limiti significativi. Gli MLP faticano a catturare pattern spaziali e relazioni complesse nei dati su larga scala. Le CNN sono efficaci per le caratteristiche spaziali ma meno per le dipendenze temporali a lungo termine, mentre le LSTM possono soffrire di problemi di stabilità e difficoltà nel mantenere i punti chiave appresi su dataset molto grandi.
• Squilibrio dei Dati: I dataset di sicurezza informatica sono spesso affetti da forti squilibri di classe (molte più istanze di traffico normale rispetto ad attacchi), il che porta i modelli tradizionali a ottimizzare l'accuratezza generale a scapito del rilevamento degli attacchi rari (bassa recall).
• Mancanza di Valutazioni: Nonostante l'interesse crescente per le reti Kolmogorov-Arnold (KAN), manca una valutazione formale e completa della loro applicabilità specifica per il rilevamento delle intrusioni e delle minacce informatiche.

2. Metodologia

Gli autori propongono un approccio ibrido chiamato KAN-LSTM, progettato per combinare i vantaggi dell'encoding spaziale e temporale, superando le limitazioni dei modelli esistenti.

• Fondamenti Teorici (KAN): Le reti KAN si basano sul Teorema di Rappresentazione di Kolmogorov-Arnold. A differenza degli MLP che utilizzano funzioni di attivazione fisse sui nodi e pesi lineari, le KAN sostituiscono i pesi con funzioni univariate parametriche apprendibili (spesso spline) posizionate sugli archi del grafo. Questo permette alla rete di apprendere dinamicamente i pattern di attivazione, offrendo una migliore approssimazione di funzioni complesse con meno parametri.
• Architettura Proposta (KAN-LSTM):
  1. Livello CNN (Convolutional Neural Network): Due strati convoluzionali vengono utilizzati per catturare le dipendenze locali e le caratteristiche spaziali nei dati di traffico (trasformati in tensori 2D).
  2. Livello LSTM (Long Short-Term Memory): Uno strato LSTM processa l'output della CNN per modellare le dipendenze temporali e sequenziali a lungo termine, risolvendo il problema del gradiente svanito tipico delle RNN standard.
  3. Livello KAN: L'output dell'LSTM viene alimentato in uno o più strati KAN. Questa fase finale mappa le relazioni non lineari ad alta dimensionalità, sfruttando la capacità delle KAN di apprendere funzioni di attivazione adattive per una classificazione finale più precisa.
• Dataset Utilizzati: Lo studio è stato valutato su tre dataset standard del settore e uno nuovo:
  • UNSW-NB15: Traffico reale e simulato con 49 feature.
  • NSL-KDD: Versione migliorata di KDD Cup 1999, ridotta da ridondanze.
  • CICIDS2017: Dataset completo con pattern di traffico realistici e varie tipologie di attacco.
  • Tri-IDS (Nuovo Dataset): Un dataset combinato creato dagli autori unendo BOT-IoT, NSL-KDD e CICIDS2017. Questo dataset è stato progettato per essere su larga scala, diversificato e meno sbilanciato, offrendo un benchmark robusto per testare la generalizzazione del modello.

3. Contributi Chiave

1. Primo Benchmark Completo: Questo studio rappresenta la prima valutazione empirica estesa delle prestazioni delle KAN nel contesto specifico della difesa cibernetica e del rilevamento delle intrusioni.
2. Proposta di Architettura Ibrida: Introduzione del modello KAN-LSTM, che integra l'estrazione di caratteristiche spaziali (CNN), la modellazione temporale (LSTM) e l'approssimazione funzionale adattiva (KAN).
3. Creazione di Tri-IDS: Sviluppo di un nuovo dataset aggregato per affrontare le limitazioni di dimensione e diversità dei dataset esistenti, fornendo un terreno di prova più realistico per le minacce IoT.
4. Efficienza dei Parametri: Dimostrazione che le KAN possono ottenere prestazioni superiori con un numero significativamente inferiore di parametri apprendibili rispetto agli MLP tradizionali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando PyTorch su server NVIDIA Quadro GV100, confrontando KAN-LSTM con baseline come CNN, LSTM, MLP, KAN puri e ConvKAN.

• Prestazioni Generali: Il modello KAN-LSTM ha costantemente superato tutti gli altri modelli su tutti i dataset.
  • UNSW-NB15: Accuratezza del 95,89% (vs 93,97% di LSTM) e un F1-score di 94,01%.
  • CICIDS2017: Accuratezza del 99,28% e un F1-score eccezionale di 99,66%, dimostrando una capacità superiore di gestire classi sbilanciate rispetto a ConvKAN (95,41% F1).
  • NSL-KDD: Accuratezza del 94,05% con un F1-score di 94,35%, migliorando significativamente la recall rispetto agli MLP.
  • Tri-IDS: Accuratezza del 93,76% e F1-score del 93,39%, confermando la robustezza del modello su dataset complessi e diversificati.
• Analisi Qualitativa: Le visualizzazioni (grafici a linee, radar e heatmap) confermano che KAN-LSTM non solo massimizza l'accuratezza, ma mantiene un equilibrio superiore tra Precisione e Recall, riducendo i falsi positivi e migliorando il rilevamento degli attacchi rari.
• Confronto con Baseline: Le KAN pure (senza LSTM) hanno già mostrato prestazioni superiori agli MLP e alle CNN, ma l'architettura ibrida ha portato a guadagni aggiuntivi significativi (circa 1,5% in più rispetto alla variante KAN più vicina).

5. Significato e Conclusioni

Lo studio conclude che le Reti Kolmogorov-Arnold (KAN) rappresentano un passo avanti promettente per la sicurezza informatica. La loro capacità di apprendere funzioni di attivazione dinamiche le rende superiori ai modelli statici tradizionali nel catturare le complesse relazioni non lineari presenti nel traffico di rete.

• Impatto: L'architettura KAN-LSTM dimostra che è possibile combinare efficacemente l'encoding spaziale e temporale per creare modelli di difesa adattivi, resilienti allo sbilanciamento dei dati e capaci di generalizzare su pattern di attacco eterogenei.
• Sfide Future: Sebbene i risultati siano promettenti, gli autori riconoscono che l'adozione delle KAN nella sicurezza informatica richiede ulteriori ricerche per risolvere problemi intrinseci come la lentezza nell'elaborazione, la scalabilità limitata e i costi di addestramento elevati rispetto alle architetture tradizionali.

In sintesi, questo lavoro stabilisce un nuovo standard per il rilevamento delle intrusioni, suggerendo che l'integrazione delle KAN nelle pipeline di Deep Learning può portare a sistemi di difesa cibernetica più precisi, efficienti e adattivi.