🤖 machine learning

Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems

Questo articolo valuta la robustezza avversaria dei classificatori CNN, LSTM e Random Forest sul dataset ACI-IoT-2023, rivelando che mentre il Random Forest raggiunge un'accuratezza di base superiore, esso crolla sotto perturbazioni minime, mentre le CNN dimostrano una resilienza significativamente maggiore e un degrado aggraziato, portando a una raccomandazione per architetture basate su CNN in ambienti di rilevamento delle intrusioni di rete avversari.

Autori originali: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Pubblicato 2026-06-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere una guardia giurata per sorvegliare un aeroporto affollato. Hai tre candidati:

Il "Perfetto" Segnapunti (Random Forest): Questa guardia ha un record perfetto nell'addestramento. Riesce a individuare un documento falso o una borsa sospetta il 99,98% delle volte. Sembra la scelta ovvia.
Il "Gran Parlatore" (CNN): Questa guardia è molto brava, con un punteggio di circa il 99% nell'addestramento. È nota per essere adattabile e per saper vedere il "quadro generale".
La Guardia della "Memoria" (LSTM): Anche questa guardia è eccellente, con un punteggio di circa il 99,3% nell'addestramento. È brava a ricordare sequenze di eventi.

Il documento pone una domanda semplice: Cosa succede quando un ladro astuto cerca di ingannare queste guardie?

I ricercatori non hanno chiesto alle guardie di guardare solo borse normali; hanno usato dei "trucchi magici" (chiamati attacchi avversari o adversarial attacks). Questi sono piccoli cambiamenti, quasi invisibili ai dati — come un ladro che indossa un cappello che sembra normale all'occhio ma confonde il cervello della guardia.

Ecco cosa è successo quando sono arrivati i "ladri":

1. La Guardia "Perfetta" è crollata

Il Segnapunti (Random Forest) è stato lo shock. Nonostante avesse il punteggio più alto nell'addestramento, nel momento in cui è stato usato un piccolo trucco (un cambiamento piccolissimo nei dati), le sue prestazioni sono crollate.

L'analogia: Immagina una casa costruita con un muro rigido e squadrato. Se la spingi appena un pochino nel punto sbagliato, l'intera struttura cade. Il processo decisionale del Segnapunti è come quel muro rigido. Una piccola spinta lo porta a pensare che una borsa "Benigna" (sicura) sia una "Bomba", o viceversa. La sua precisione è scesa dal 99,98% a appena il 26,8% con il trucco più piccolo.
La lezione: Solo perché qualcuno ha un punteggio perfetto ai test, non significa che possa gestire un trucco nel mondo reale.

2. Il "Gran Parlatore" ha mantenuto la posizione

La CNN (Rete Neurale Convoluzionale) è stata l'eroina della storia. Quando sono stati usati gli stessi piccoli trucchi, ha perso solo un po' della sua precisione.

L'analogia: Immagina che la guardia CNN sia come un foglio di gomma flessibile. Se la pungi, si piega e oscilla, ma non si spezza. Assorbe i piccoli cambiamenti e continua a fare il suo lavoro. Anche quando i trucchi sono diventati più grandi e aggressivi, la CNN è degradata lentamente e con grazia, invece di cadere a pezzi istantaneamente.
Il risultato: La CNN ha mantenuto il 95,5% di precisione con piccoli trucchi, mentre il Segnapunti è fallito immediatamente.

3. La Guardia della "Memoria" è stata nel mezzo

La guardia LSTM è andata abbastanza bene. Era più flessibile del rigido Segnapunti ma non proprio stabile quanto la CNN. Ha mantenuto la posizione meglio del Segnaperti, ma alla fine ha avuto difficoltà quando i trucchi sono diventati molto forti.

La Grande Sorpresa: Il Problema del "Falso Campione"

Il documento introduce un concetto chiamato "Problema del Falso Campione".
In passato, se volevi il miglior sistema di sicurezza, sceglievi quello con il punteggio di precisione più alto. Questo documento dice che questo è pericoloso.

Il "Campione" (Random Forest) sembrava la scelta migliore perché aveva l'alto punteggio.
Ma in un vero combattimento contro un attaccante astuto, era il più debole.
Il "Secondo Classificato" (CNN) era in realtà il combattente più forte.

Perché alcune guardie sono fallite in compiti specifici

I ricercatori hanno anche osservato tipi specifici di "ladri" (tipi di attacco):

I Ladri Rari: Alcuni attacchi, come l' "ARP Spoofing", erano così rari nei dati di addestramento che nessuna delle guardie riusciva a individarli bene fin dall'inizio. È come cercare di insegnare a una guardia a riconoscere un unicorno quando le hai mostrato solo cavalli.
I Ladri Comuni: Attacchi come le "Port Scan" erano molto comuni. Le guardie erano bravissime a individarli finché non sono stati usati i "trucchi magici".
I Ladri di "Ricognizione": Questi sono le spie che osservano intorno prima di attaccare. Il documento ha scoperto che tutte le guardie hanno avuto grandi difficoltà quando questi specifici spie sono stati travestiti con i trucchi.

Il Verdetto Finale per i Team di Sicurezza

Se stai costruendo un sistema di sicurezza per il mondo reale (come proteggere i dispositivi IoT), il documento dà questo consiglio:

Non guardare solo i punteggi dei test. Un punteggio alto può essere una bugia se il sistema è fragile.
Scegli il "Foglio di Gomma" (CNN). Anche se potrebbe avere un punteggio leggermente inferiore in un mondo perfetto, è molto più difficile da ingannare. Gestisce meglio la pressione e non crolla istantaneamente.
Fai attenzione agli attacchi rari. Se un tipo di attacco è molto raro, nessun addestramento potrà rendere il sistema perfetto nel rilevarlo, specialmente se un ladro cerca di nasconderlo.

In breve: Il documento dimostra che nel mondo della sicurezza informatica, la flessibilità è più importante di un punteggio perfetto. Il modello che sembra perfetto sulla carta potrebbe essere il primo a rompersi quando iniziano i veri problemi.

Sintesi Tecnica: Valutazione della Robustezza Categorica per i Sistemi di Rilevamento delle Intruzioni alla Rete basati su Machine Learning

Definizione del Problema

I sistemi di rilevamento delle intrusioni di rete (NIDS) basati su Machine Learning (ML) hanno raggiunto un'accuratezza di classificazione quasi perfetta sui dataset di riferimento, eppure presentano una vulnerabilità critica: il fallimento catastrofico sotto perturbazioni avversarie. Sebbene studi precedenti abbiano stabilito che i modelli ML possono essere manipolati tramite perturbazioni accuratamente progettate sui dati del traffico di rete, esiste una mancanza di confronto sistematico e cross-architetturale in condizioni controllate. Nello specifico, la relazione tra accuratezza di base e robustezza avversaria rimane scarsamente compresa, lasciando i professionisti senza una guida chiara su quali modelli distribuire in ambienti contesi. Questo articolo introduce il "Problema del Falso Campione" (False Champion Problem), in cui i modelli con la più alta accuratezza di base possono subire la degradazione più severa sotto un attacco avversario, rendendo fuorvianti i paradigmi di valutazione convenzionali per applicazioni critiche per la sicurezza.

Metodologia

Lo studio impiega un framework di valutazione della robustezza avversaria multidimensionale per valutare tre architetture ML fondamentalmente distinte:

Rete Neurale Convoluzionale (CNN): Un'architettura profonda completamente connessa con regolarizzazione di tipo convoluzionale (Batch Normalization, Dropout).
Rete Long Short-Term Memory (LSTM): Un modello sequenziale che tratta i flussi di rete come sequenze a singolo step temporale per sfruttare i meccanismi di gating per l'interazione tra le feature.
Random Forest (RF): Un insieme (ensemble) gradient-free di alberi decisionali che utilizza la partizione ricorsiva delle feature allineata agli assi.

Dataset:
La valutazione utilizza il dataset ACI-IoT-2023, composto da oltre 1,23 milioni di campioni di flusso di rete etichettati attraverso 12 classi di attacco (raggruppate in 5 categorie: Benigno, Ricognizione, DoS, Brute Force, Spoofing). Il dataset riflette lo sbilanciamento delle classi del mondo reale, con la Port Scan che comprende il 35,8% dei campioni e l'ARP Spoofing che rappresenta meno dello 0,01%.

Modelli di Attacco:

Attacchi White-Box: FGSM (Fast Gradient Sign Method) e PGD (Projected Gradient Descent) sono stati applicati alle reti neurali differenziabili (CNN, LSTM) con budget di perturbazione ( $\epsilon$ ) di 0,01, 0,05 e 0,1.
Attacchi di Trasferimento: Esempi avversari generati contro la CNN sono stati utilizzati per attaccare la Random Forest non differenziabile, simulando uno scenario gray-box.
Valutazioni Aggiuntive: Il framework include il calcolo del punteggio CLEVER (robustezza certificata), l'analisi della perturbabilità, l'analisi dello shift della distribuzione (covariate e label shift) e la ricostruzione basata su diffusione per testare la generalizzazione.

Contributi Chiave

Definizione e Validazione del "Problema del Falso Campione": L'articolo definisce formalmente e valida empiricamente la relazione inversa tra accuratezza di base e robustezza avversaria nei NIDS. Dimostra che l'alta accuratezza sui dati puliti non è un indicatore affidabile della resilienza alla sicurezza.
Analisi Architetturale della Robustezza: Lo studio collega specifiche proprietà architettoniche ai risultati di robustezza. Identifica che i confini decisionali allineati agli assi e basati su soglie degli ensemble ad alberi (RF) creano superfici discontinue che sono facilmente sfruttabili da perturbazioni minime. Al contrario, le architetture neurali (CNN, LSTM) apprendono rappresentazioni distribuite e continue con confini decisionali più fluidi, conferendo una regolarizzazione intrinseca e una maggiore robustezza.
Mappatura della Vulnerabilità Categorica: La ricerca rivela che la vulnerabilità avversaria non è uniforme; varia drasticamente tra le categorie di attacco. Gli attacchi di ricognizione (es. Ping Sweep, OS Scan) mostrano una vulnerabilità universale in tutte le architetture, mentre gli attacchi Brute Force rimangono relativamente stabili.
Framework di Valutazione Completo: Gli autori introducono un protocollo di valutazione multidimensionale che integra attacchi basati sul gradiente, metriche certificate (CLEVER), punteggi di perturbabilità e analisi dello shift della distribuzione, stabilendo un nuovo standard per la valutazione di sistemi ML critici per la sicurezza.

Risultati Sperimentali

Prestazioni di Base: La Random Forest ha raggiunto la massima accuratezza di base (99,98%), seguita da LSTM (99,36%) e CNN (99,06%).
Degradazione Avversaria:
- Random Forest: Ha subito un collasso catastrofico. Sotto la minima perturbazione FGSM ( $\epsilon = 0,01$ ), l'accuratezza è scesa di 73 punti percentuali (dal 99,98% al 26,8%), e il punteggio F1 è sceso dell'88%. Le prestazioni sono rimaste piatte all'aumentare della perturbazione, indicando confini decisionali fragili.
- CNN: Ha dimostrato una degradazione graduale. A $\epsilon = 0,01$ , ha mantenuto il 95,5% di accuratezza. Anche a $\epsilon = 0,1$ (PGD), ha mantenuto il 28,7% di accuratezza, superando significativamente la RF in termini di stabilità.
- LSTM: Ha ottenuto prestazioni intermedie, mantenendo l'85,0% di accuratezza a $\epsilon = 0,01$ (FGSM), ma degradando più bruscamente della CNN sotto perturbazioni più elevate.
Risultati a Livello di Classe: Le classi minoritarie (es. ARP Spoofing, UDP Flood) erano già deboli alla base a causa della scarsità di dati e sono diventate completamente indetectabili sotto attacco. Gli attacchi di ricognizione hanno mostrato i punteggi CLEVER più bassi (<1,5), indicando un'alta vulnerabilità, mentre le classi Brute Force hanno mostrato una maggiore robustezza.
Trasferibilità: Gli esempi avversari generati contro la CNN si sono trasferiti con successo alla Random Forest, confermando che la trasferibilità cross-paradigma è un rischio significativo.

Significato e Rivendicazioni

L'articolo sostiene che la convenzione di selezionare i modelli NIDS basandosi esclusivamente sull'accuratezza di base è fondamentalmente errata in ambienti avversari. Il significato primario di questo lavoro risiede nello spostamento del focus dalla "massimizzazione dell'accuratezza" alla "selezione dell'architettura consapevole della robustezza".

Gli autori concludono che le architetture basate su CNN sono le più adatte per le implementazioni di NIDS in produzione in ambienti di minaccia avversaria, grazie alle loro superfici decisionali lisce e continue e alla loro degradazione proporzionale e prevedibile sotto attacco. Raccomandano di non distribuire Random Forest in tali contesti, nonostante la loro superiore prestazione sui dati puliti, poiché i loro confini decisionali basati su soglie le rendono catastroficamente vulnerabili a perturbazioni minime. Lo studio fornisce una guida alla distribuzione specifica per scenario, suggerendo le CNN per il rilevamento precoce e l'uso in produzione, pur notando che il rilevamento della ricognizione richiede un ulteriore hardening (es. addestramento avversario) indipendentemente dall'architettura scelta.