Evasion Adversarial Attacks Remain Impractical Against ML-based Network Intrusion Detection Systems, Especially Dynamic Ones

1. Il Problema

L'uso del Machine Learning (ML) nei Sistemi di Rilevamento delle Intrusioni di Rete (NIDS) è diventato pervasivo grazie alla sua capacità di elaborare grandi volumi di dati con alta accuratezza. Tuttavia, i modelli ML sono vulnerabili agli attacchi avversari, in particolare agli attacchi di evasione, dove un attaccante modifica leggermente i dati di input per ingannare il modello e causare previsioni errate.

Il problema centrale affrontato dal paper è il divario significativo tra la ricerca accademica e la realtà pratica. La maggior parte degli studi sugli attacchi avversari si concentra su dataset di visione artificiale (es. immagini), dove le perturbazioni sono semplici da applicare. Nel dominio della sicurezza di rete, invece, la generazione di esempi avversari è estremamente complessa a causa di vincoli di dominio, correlazioni tra le feature e la necessità di mantenere la funzionalità malevola e di rete. Inoltre, la maggior parte della ricerca assume modelli ML statici, ignorando la realtà dei sistemi moderni che utilizzano apprendimento dinamico (ricontinuo o online) per adattarsi al concept drift.

2. Metodologia

Gli autori hanno adottato un approccio multidisciplinare per valutare la praticità degli attacchi:

• Revisione Sistematica della Letteratura (SLR): È stata condotta una revisione sistematica delle pubblicazioni dal 2022 in poi, focalizzandosi sugli attacchi di evasione contro NIDS basati su ML/DL. Sono stati selezionati e analizzati i requisiti, i modelli di minaccia e i vincoli di implementazione.
• Modellazione delle Minacce (Attack Tree): È stato sviluppato un albero di attacco (Attack Tree) per visualizzare le strategie necessarie per lanciare un attacco di evasione. Questo strumento ha permesso di identificare i "nodi foglia" (prerequisiti) con fattibilità dubbia o impossibile.
• Classificazione e Tassonomia: Gli autori hanno creato una tassonomia delle problematiche di praticità, categorizzando le sfide legate alla conoscenza dell'attaccante (White/Black/Gray-box), allo spazio dell'attacco (Feature-space vs Problem-space) e all'adattabilità ai modelli dinamici.
• Esperimenti su Modelli Dinamici: Per testare l'impatto dell'apprendimento continuo, gli autori hanno costruito un NIDS basato su ML (utilizzando ANN, CNN e SVM) addestrato sul dataset CSE-CIC-IDS2018. Hanno simulato un ambiente dinamico con ricontinuo giornaliero (daily re-training) senza l'uso di dati avversari nel training set.
• Scenario di Attacco: Gli attacchi sono stati eseguiti in tre scenari temporali:
  • Giorno n: Attacco con conoscenza aggiornata del modello (gradienti attuali).
  • Giorno n+1 e n+2: Attacco con conoscenza obsoleta (gradienti di 1 o 2 giorni fa) contro un modello ricontinuato.

3. Contributi Chiave

1. Identificazione dei Prerequisiti Impraticabili: Attraverso l'albero di attacco, gli autori dimostrano che molti prerequisiti per gli attacchi di evasione sono irrealistici nel mondo reale. Ad esempio, l'accesso diretto al vettore delle feature (Feature-space) è quasi impossibile per un attaccante esterno, e la manipolazione dei pacchetti di rete (Problem-space) richiede di mantenere sia la funzionalità di rete che quella malevola, un vincolo spesso ignorato nella ricerca.
2. Tassonomia delle Questioni di Praticità: Viene presentata una tassonomia completa che evidenzia le lacune tra teoria e pratica, inclusi problemi come:
   • Feature Imperturbabili: Molte feature di rete (es. flag booleani, protocolli) non possono essere modificate senza rompere il protocollo.
   • Feature Correlate: Modificare una feature può alterare involontariamente altre feature correlate (effetti collaterali), rendendo l'attacco inefficace o rilevabile.
   • Mappatura Inversa: La difficoltà di tradurre le perturbazioni dello spazio delle feature in modifiche reali dei pacchetti di rete (Inverse Feature-Mapping).
3. Analisi degli Attacchi "Pratici": Gli autori identificano tre approcci potenzialmente pratici (ma con limitazioni):
   • Perturbazioni casuali o "cieche" (blind perturbations).
   • Querying tramite canali laterali (side-channel).
   • Uso di modelli surrogati basati su dati di addestramento noti.
     Tuttavia, sottolineano che anche questi metodi presentano "trappole" (es. mancanza di feedback, incertezza della trasferibilità, requisiti di dati irrealistici).
4. Impatto dell'Apprendimento Dinamico: Dimostrano sperimentalmente che il ricontinuo periodico del modello, anche senza addestramento avversario specifico, riduce drasticamente l'efficacia degli attacchi basati su gradienti.

4. Risultati Sperimentali

Gli esperimenti su ANN, CNN e SVM hanno mostrato risultati significativi:

• Efficacia degli Attacchi Statici: Quando gli attacchi (FGSM, PGD, BIM) vengono lanciati con conoscenza aggiornata del modello (Giorno n), la precisione e l'F1-score dei modelli crollano significativamente.
• Recupero Dinamico: Quando lo stesso attacco viene lanciato con conoscenza obsoleta (Giorno n+1 e n+2) contro un modello che è stato ricontinuato quotidianamente, le prestazioni del NIDS si riprendono rapidamente, tornando a livelli superiori al 90% di accuratezza e F1-score.
• Interpretazione: I confini decisionali del modello si spostano continuamente durante il ricontinuo. Le perturbazioni calcolate su gradienti vecchi non sono più allineate con i nuovi pesi del modello, rendendo l'attacco inefficace. Questo suggerisce che l'aggiornamento continuo agisce come una difesa naturale contro gli attacchi basati su gradienti.

5. Significato e Conclusioni

Il paper conclude che, sebbene gli attacchi avversari siano teoricamente possibili, la loro praticità nel mondo reale è estremamente limitata.

• Divario Ricerca-Pratica: La maggior parte della ricerca assume modelli statici e attaccanti con conoscenze irrealistiche (es. accesso ai gradienti o ai dati di training).
• Difese Sovradimensionate: Le attuali difese proposte nella letteratura sono spesso costose e complesse, basate su minacce che potrebbero non essere rilevanti per gli attaccanti reali (che spesso usano metodi semplici e non basati su gradienti).
• Implicazioni per i NIDS Dinamici: L'adozione di modelli ML dinamici e ricontinui rappresenta una difesa potente e a basso costo, poiché rende obsoleti rapidamente le informazioni necessarie per calcolare perturbazioni efficaci.

In sintesi, gli autori avvertono che la comunità di sicurezza ML deve spostare l'attenzione dalla creazione di difese complesse contro attacchi ipotetici sofisticati, alla comprensione e mitigazione di minacce più semplici e realistiche, riconoscendo che la natura dinamica dei sistemi di rete offre già una protezione intrinseca significativa.