🤖 machine learning

Multi-Level Distributional Entropy for Explainable Network Intrusion Detection

Questo articolo introduce la Multi-Level Distributional Entropy (MDE), un framework interpretabile che deriva caratteristiche basate sull'entropia direttamente dalle statistiche a livello di flusso per consentire un rilevamento delle intrusioni di rete efficace e riproducibile senza richiedere dati sui pacchetti grezzi o addestramento, rivelando al contempo critici fallimenti delle prestazioni nascosti dalle metriche aggregate.

Autori originali: Mohamed Aly Bouke, Md Shohel Sayeed, Swee-Huay Heng, Azizol Abdullah, Mohamed Othman

Pubblicato 2026-06-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mohamed Aly Bouke, Md Shohel Sayeed, Swee-Huay Heng, Azizol Abdullah, Mohamed Othman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: La guardia giurata "cieca"

Immaginate una guardia giurata in un aeroporto molto trafficato. Il suo compito è individuare i terroristi (gli hacker) tra migliaia di viaggiatori regolari (il traffico internet normale).

Per anni, questa guardia ha utilizzato una lista di controllo basata sui totali: "Quante borse portava questa persona?" "Quanto tempo è rimasta in fila?" "Quanto era pesante il suo bagaglio?" Questi sono come le statistiche standard utilizzate nella sicurezza informatica (conteggio dei pacchetti, volume dei dati).

Il problema è che questi totali perdono il modello (pattern). Un terrorista potrebbe trasportare esattamente lo stesso numero di borse di un turista, ma potrebbe trasportarle in modo molto rigido e robotico, mentre il turista si muove naturalmente. La vecchia lista di controllo ignora queste sottili differenze comportamentali.

Questo articolo introduce un nuovo strumento chiamato MDE (Multi-Level Distributional Entropy). Inve invece di contare solo le borse, l'MDE analizza il ritmo e la varietà del traffico per vedere se sembra "umano" o "robotico".

Parte 1: Come funziona l'MDE (I tre livelli)

I ricercatori hanno creato un modo per calcolare l' "entropia" (una misura di casualità o caos) senza dover vedere ogni singolo dato. Lo fanno in tre modi creativi:

Livello 1: Il "Controllo del Ritmo" (Entropia Differenziale Gaussiana)
- L'analogia: Immaginate di ascoltare un batterista. Un batterista umano ha variazioni naturali; a volte colpisce il rullante un po' più forte, altre volte un po' più piano. Un batterista robotico colpisce con una forza perfetta e identica ogni volta.
- La scienza: L'MDE osserva la dimensione dei pacchetti di dati. Se sono tutti della stessa identica dimensione (come un robot), l'entropia è bassa. Se variano naturalmente (come un essere umano), l'entropia è alta. L'MDE calcola questo matematicamente guardando solo la media e la dispersione delle dimensioni, senza bisogno di vedere i singoli pacchetti.
Livello 2: Il controllo della "Strada a Senso Unico" (Divergenza di Jensen-Shannon)
- L'analogia: Una conversazione normale è una strada a doppio senso: tu parli, io rispondo. Un litigio o un colpo di megafono è a senso unico: io ti urlo contro, tu non dici nulla.
- La scienza: Molti attacchi informatici (come i flood DDoS) inviano una quantità massiccia di dati in una sola direzione e non ricevono quasi nulla in risposta. L'MDE misura quanto il traffico sia "sbilanciato". Se il traffico è perfettamente equilibrato, è probabilmente umano. Se è una strada a senso unico, è probabilmente un attacco.
Livello 3: Il "Controllo dell'Uniformità" (Entropia dei Flag)
- L'analogia: Pensate ai semafori. Una giornata normale ha un mix di luci rosse, gialle e verdi. Un sistema in avaria potrebbe rimanere bloccato solo sul "Rosso" o solo sul "Verde" per ore.
- La scienza: Il traffico internet utilizza dei "flag" (piccoli segnali di controllo) per gestire le connessioni. Il traffico normale utilizza un mix diversificato di questi flag. Gli strumenti di attacco spesso rimangono bloccati nell'uso di un solo tipo (come solo i flag "SYN" per un flood). L'MDE controlla se il traffico sta usando un "linguaggio" diversificato o uno ripetitivo e rotto.

Parte 2: Il problema della "Scatola Nera" (Spiegabilità)

In passato, i modelli informatici avanzati erano come scatole nere. Dicevano: "Questo è un attacco", ma nessuno sapeva il perché. Gli analisti di sicurezza non potevano fidarsi di un sistema che non potevano comprendere.

Questo articolo utilizza uno strumento chiamato SHAP (un "traduttore" per l'IA).

L'analogia: Se l'IA dice "Arresta questa persona", SHAP stampa una ricevuta che mostra esattamente quali indizi hanno portato a quella decisione. "Li abbiamo arrestati perché il loro ritmo era robotico (Livello 1) e hanno urlato solo in una direzione (Livello 2)".
Il risultato: I ricercatori hanno scoperto che le caratteristiche dell'MDE sono molto coerenti. L'IA utilizza in modo affidabile questi indizi di "ritmo" e "senso unico" per prendere decisioni, e lo fa in un modo che ha senso per gli esperti umani.

Parte 3: Il controllo della realtà (Perché i punteggi "medi" mentono)

La scoperta più importante di questo articolo non riguarda solo il nuovo strumento; riguarda il modo in cui testiamo i sistemi di sicurezza.

I ricercatori sostengono che guardare un singolo "punteggio medio" (come un punteggio F1) è come guardare il voto medio di una classe senza vedere i singoli risultati dei test.

L'analogia: Immaginate una classe in cui il 99% degli studenti prende 100% a un test, e l'1% prende 0%. La media della classe è il 99%. Sembra una classe perfetta! Ma se quell'1% che ha preso 0% fosse stato quello che ha fallito un esame di sicurezza critico, la "media del 99%" sarebbe una bugia.

Cosa ha scoperto l'articolo:

Su un dataset (CICIDS-2018), il sistema sembrava ottimo con un punteggio di 0,74. Ma guardando più da vicino, si sono resi conto che il sistema stava mancando il 52% degli attacchi reali. Il punteggio "medio" nascondeva il fatto che il sistema stava fallendo la metà delle volte.
In un altro test, il sistema è stato addestrato sul traffico da lunedì a giovedì ed è stato testato sul venerdì. Quando il traffico del "venerdì" è cambiato leggermente (un nuovo tipo di attacco), il punteggio "medio" del sistema sembrava ancora buono, ma in realtà ha smesso completamente di rilevare gli attacchi (tasso di rilevamento 0%). La matematica diceva che il sistema stava ancora classificando correttamente gli attacchi, ma l'allarme non scattava perché la soglia era errata.

Parte 4: Conclusione

Cosa fa effettivamente l'MDE:
Non rende necessariamente il computer "più intelligente" nel trovare attacchi rispetto ai vecchi metodi (i punteggi sono spesso gli stessi). Invece, fornisce al computer un modo migliore e più logico di guardare i dati.

Funziona senza bisogno di dati grezzi e disordinati (utilizza riassunti).
Spiega perché ha preso una decisione.
Rivela quando un sistema sta effettivamente fallendo, anche quando il "punteggio medio" sembra buono.

Le limitazioni:
L'articolo ammette che se il "robot" cambia completamente comportamento (un nuovo tipo di attacco mai visto prima), il sistema fallirà, proprio come qualsiasi altro sistema di sicurezza. Inoltre, la matematica assume che il traffico si comporti in modo simile a una curva a campana (Gaussiana), il che non è sempre vero per il traffico criptato o complesso.

In breve: l'articolo costruisce un miglior "rilevatore di ritmo" per il traffico internet che è trasparente, facile da capire e onesto riguardo al momento in cui fallisce, invece di nascondersi dietro un singolo numero fuorviante.

Sintesi Tecnica: Entropia Distribuizionale Multi-Livello per l'Intrusion Detection di Rete Spiegabile

Definizione del Problema
Gli attuali Sistemi di Rilevamento delle Intruzioni (IDS) basati sul Machine Learning si affidano pesantemente a statistiche aggregate dei flussi (ad es., conteggio dei pacchetti, volumi di byte, durata della connessione) estratte da strumenti come CICFlowMeter. Sebbene efficaci per il rilevamento basato sulla magnitudo, questi descrittori aggregati scartano la struttura distribuizionale e sequenziale del traffico, che spesso differisce sistematicamente tra sessioni benigne e attacchi. Le misurazioni informazionali tradizionali (ad es., entropia di Shannon, Entropia Approssimata) sono note per catturare questa differenza strutturale, ma richiedono sequenze ordinate di dati grezzi dei pacchetti. Poiché la maggior parte dei benchmark IDS e delle pipeline operative utilizza dataset di flussi pre-aggregati dove i pacchetti grezzi non sono disponibili, esiste una barriera pratica all'integrazione di feature basate sull'entropia. Inoltre, gli attuali classificatori ensemble ad alte prestazioni sono spesso opachi, creando sfide di conformità e audit in ambienti regolamentati. Infine, i protocolli di valutazione prevalenti spesso si affidano a punteggi F1 aggregati su singoli dataset, il che può nascondere modalità di fallimento operativo critiche, come bassi tassi di rilevamento (DR) o scarsa generalizzazione sotto spostamenti temporali.

Metodologia: Il Framework MDE
Gli autori propongono l'Entropia Distribuizionale Multi-Livello (MDE), un framework analitico che deriva feature di entropia interpretabili direttamente dalle statistiche riassuntive dei flussi pre-aggregati, senza richiedere l'accesso ai pacchetti grezzi o dati di addestramento. MDE opera su tre livelli complementari:

Livello 1 (Entropia Differenziale Gaussiana Intra-Flusso - ADE): Assume che le dimensioni dei pacchetti e gli intervalli di arrivo seguano una distribuzione Gaussiana. Calcola l'entropia differenziale ( $h(X) = \frac{1}{2}\ln(2\pi e\sigma^2)$ ) utilizzando la media e la deviazione standard disponibili nei record di flusso. Questo cattura la complessità intra-flusso; gli strumenti di attacco spesso producono traffico a bassa varianza (regolare), risultando in un'entropia inferiore rispetto al traffico benigno variabile.
Livello 2 (Divergenza di Jensen-Shannon Cross-Direzionale - JSD): Misura l'asimmetria distribuizionale tra il traffico in avanti (sorgente-verso-destinazione) e quello all'indietro (destinazione-verso-sorgente). Approssima la JSD tra due distribuzioni Gaussiane parametrizzate dai dati statistici del flusso. Questo cattura gli squilibri direzionali comuni negli attacchi (ad es., inondazioni DDoS o port scan) rispetto alla simmetria bidirezionale delle sessioni benigne.
Livello 3 (Entropia di Shannon dei Pattern dei Flag TCP): Calcola l'entropia di Shannon sulla distribuzione dei flag di controllo TCP (FIN, SYN, RST, ecc.) all'interno di un flusso. Una bassa entropia indica flussi dominati da un singolo tipo di flag (ad es, SYN flood), una firma di specifici pattern di attacco.

Contributi Chiave

Costruzione Analitica delle Feature: MDE costruisce da 7 a 12 feature di entropia interpretabili analiticamente a partire dalle statistiche standard dei flussi (medie, deviazioni standard, conteggi). Non richiede dati grezzi dei pacchetti, né dati di addestramento per l'estrazione delle feature, né riaddestramento quando applicato a diversi dataset con schemi variabili.
Protocollo di Valutazione Operativa Senza Leakage: Gli autori introducono un rigoroso framework di valutazione che evita la fuga di dati (utilizzando il pre-processing locale per fold) e riporta una suite completa di metriche operative (Tasso di Rilevamento, Tasso di Falsi Allarmi, MCC, PR-AUC) insieme all'F1. Questo protocollo è progettato per esporre le modalità di fallimento che i punteggi aggregati nascondono, inclusi gli spostamenti temporali e le famiglie di attacco non viste.
Analisi di Spiegabilità e Stabilità: Lo studio applica SHapley Additive exPlanations (SHAP) ai classificatori aumentati da MDE. Quantifica la stabilità del fold e la coerenza del dominio delle attribuzioni di entropia, dimostrando che le feature di entropia ricevono spiegazioni riproducibili e teoricamente fondate in ambienti eterogenei.

Risultati

Performance: Attraverso quattro benchmark (NSL-KDD, CICIDS-2017, CICIDS-2018, UNSW-NB15), le feature di sola entropia raggiungono punteggi F1 pesati compresi tra 0,708 e 0,989. Quando combinate con le feature convenzionali, MDE non degrada le prestazioni; gli F1 in-distribution rimangono statisticamente indistinguibili dai baseline basati solo sulle feature convenzionali.
Modalità di Fallimento Operativo: La segnalazione completa delle metriche ha rivelato lacune significative nascoste dall'F1 aggregato:
- Su CICIDS-2018, un F1 di ~0,74 nascondeva un Tasso di Rilevamento (DR) di soli 0,48, il che significa che meno della metà degli attacchi veniva rilevata.
- Su CICIDS-2017 sotto spostamento temporale (addestramento su Lun–Gio, test su Ven), il DR è crollato a 0,082 nonostante un AUC di 0,87, indicando che mentre il modello poteva classificare gli attacchi più in alto rispetto al traffico benigno, le soglie fisse erano completamente fallite.
- Nei test su famiglie di attacco non viste (famiglie Infiltration e Bot escluse), il DR è sceso a 0,000 per tutti i modelli, con l'F1 che rimaneva >0,998 solo a causa della maggioranza della classe benigna.
Robustezza e Trasferibilità: Le feature MDE hanno mostrato un degrado graduale sotto rumore Gaussiano additivo. Tuttavia, il trasferimento zero-shot tra dataset (ad es, addestramento su CICIDS-217, test su CICIDS-2018) ha prodotto cali significativi di performance (F1 da 0,955 a 0,591), confermando che le firme di entropia sono specifiche per la famiglia di attacco e richiedono adattamento del dominio.
Interpretabilità: L'analisi SHAP ha confermato che le feature di entropia (particolarmente JSD e ADE) sono costantemente tra i principali contributori alle predizioni. L'analisi della stabilità dei fold ha mostrato alte correlazioni di rango di Spearman (0,80–0,95) per le attribuzioni di tutte le feature, confermando che il modello si affida a segnali di entropia dotati di coerenza di dominio.

Significatività e Rivendicazioni
Il documento afferma che il contributo primario di MDE non è un aumento drammatico dell'accuratezza di classificazione aggregata rispetto alle feature convenzionali, ma piuttosto un cambio nella metodologia di rappresentazione e valutazione.

Rappresentazione: MDE fornisce feature compatte e teoricamente fondate che catturano la struttura distribuizionale (regolarità, asimmetria, diversità del protocollo) che le statistiche aggregate scartano. Queste feature sono nativamente interpretabili tramite SHAP, affrontando il problema della "scatola nera" dei classificatori ensemble.
Valutazione: Lo studio dimostra che gli standard punteggi F1 aggregati sono insufficienti per la valutazione operativa della sicurezza. Esponendo la divergenza tra ranking e soglia (dove l'AUC rimane alto ma il DR crolla) e il fallimento nel rilevare famiglie di attacco non viste, il paper sostiene l'uso di protocolli di valutazione che diano priorità a metriche operative complete e a test temporali/su famiglie non viste.
Applicabilità: MDE offre una soluzione pratica per ambienti in cui i dati grezzi dei pacchetti non sono disponibili, consentendo l'integrazione di approfondimenti informazionali nei normali pipeline IDS basati sui flussi senza l'overhead del deep learning o dello stoccaggio di dati grezzi.

Gli autori concludono che, sebbene le feature di entropia non risolvano la sfida fondamentale di generalizzare verso tassonomie di attacco non viste senza riaddestramento, esse forniscono uno strato di analisi robusto, interpretabile ed efficiente dal punto di vista computazionale che integra le statistiche convenzionali e rivela i rischi operativi spesso mascherati dalle metriche standard.