UNAD+: An Explainable Hybrid Framework for Unknown Network Attack Detection

Riepilogo Tecnico di UNAD+: Un Framework Ibrido Spiegabile per il Rilevamento di Attacchi di Rete Sconosciuti

Enunciato del Problema
Il rilevamento affidabile di attacchi di rete precedentemente non visti (zero-day) rimane una sfida critica per i Sistemi di Rilevamento delle Intrusioni (IDS). Sebbene i metodi di apprendimento supervisionato funzionino bene su classi di attacchi note, non riescono a generalizzare verso nuove minacce non presenti nei dati di addestramento. Al contrario, i metodi di rilevamento delle anomalie non supervisionati, che apprendono le caratteristiche del traffico benigno per identificare le deviazioni, sono più adatti al rilevamento zero-day ma spesso soffrono di alti Tassi di Falsi Positivi (FPR). Questo ne limita il dispiegamento pratico, poiché generano allarmi eccessivi che gravano sugli analisti di sicurezza. Inoltre, i sistemi ibridi esistenti spesso mancano di trasparenza; il ragionamento interno di modelli ensemble complessi è frequentemente opaco, ostacolando la fiducia degli analisti, l'analisi delle cause profonde e la conformità nei settori regolamentati.

Metodologia
Il documento propone UNAD+, un framework ibrido potenziato che estende il rilevatore originale di Attacchi di Rete Sconosciuti (UNAD). UNAD+ integra tre componenti fondamentali in una pipeline modulare:

1. Ensemble Non Supervisionato Solo-Benigno con Votazione a Maggioranza Ponderata (WMV):

   • La prima fase utilizza un ensemble eterogeneo di 100 apprenditori di base (50 modelli Local Outlier Factor e 50 modelli Isolation Forest) addestrati esclusivamente su sottoinsiemi bootstrap di traffico benigno.
   • A differenza dell'UNAD originale, che utilizzava una semplice votazione a maggioranza, UNAD+ impiega la Votazione a Maggioranza Ponderata. Durante la convalida, a ciascun apprenditore di base viene assegnato un peso proporzionale al suo punteggio F1. Durante l'inferenza, le previsioni sono ponderate in base a questi punteggi per determinare l'output finale dell'ensemble. Questo approccio riduce l'influenza dei rilevatori più deboli ed elimina gli scenari di pareggio che in precedenza influenzavano il sistema originale verso previsioni di tipo benigno.

2. Fase di Raffinamento Supervisionato:

   • Per affrontare l'alto FPR della fase non supervisionata, viene introdotto un classificatore supervisionato di seconda fase.
   • Le rilevazioni iniziali dell'ensemble (sia gli attacchi correttamente identificati che i flussi benigni) vengono convertite in pseudo-etichette. Queste, combinate con i dati benigni originali, formano un set di addestramento espanso.
   • Un classificatore Random Forest, selezionato per la sua robustezza e interpretabilità, viene addestrato su questi dati pseudo-etichettati. Questa fase apprende confini decisionali più precisi dai pattern di traffico più vicini al setting operativo di rilevamento, correggendo efficacemente gli errori residui della prima fase.
   • Viene proposto un punto di controllo "human-in-the-loop" tra le fasi per consentire agli esperti di dominio di validare un sottoinsieme di pseudo-etichette prima che vengano utilizzate per l'addestramento supervisionato, mitigando la propagazione degli errori.

3. Livello di Spiegabilità Post Hoc:

   • Per migliorare la trasparenza, il framework incorpora meccanismi di spiegazione sia locali che globali.
   • Spiegabilità Locale: LIME (Local Interpretable Model-Agnostic Explanations) viene applicato al classificatore Random Forest per generare spiegazioni a livello di istanza, evidenziando quali caratteristiche del traffico (ad esempio, lunghezze dei pacchetti, byte del flusso) hanno contribuito a previsioni specifiche.
   • Spiegabilità Globale: Un modello surrogato ad Albero Decisionale viene addestrato per approssimare il comportamento del Random Forest. Questo fornisce una visione semplificata e interpretabile della logica decisionale globale, inclusi i regole dominanti e le interazioni tra le caratteristiche.

Contributi Chiave

• Architettura Ibrida: Il documento dimostra un'integrazione coerente di rilevamento non supervisionato solo-benigno, raffinamento supervisionato mediante pseudo-etichette e spiegabilità all'interno di un singolo framework.
• Meccanismo di Votazione Ponderata: L'introduzione della WMV migliora il processo decisionale dell'ensemble ponderando gli apprenditori di base in base alle prestazioni, riducendo così l'ambiguità legata ai pareggi e il pregiudizio verso la classe benigna.
• Riduzione dei Falsi Positivi: La fase di raffinamento supervisionato si rivela un meccanismo critico per ridurre drasticamente i tassi di falsi positivi intrinseci nel rilevamento delle anomalie non supervisionato.
• Spiegabilità Integrata: Il framework va oltre il trattamento della spiegabilità come un'aggiunta, incorporandola come componente strutturale per supportare la fiducia degli analisti e l'audit.

Risultati Sperimentali
Il framework è stato valutato su due dataset di riferimento: CICIDS2017 e NSL-KDD.

• Metriche di Prestazione:
  • Su CICIDS2017, l'intero framework UNAD+ ha raggiunto un punteggio F1 del 98,31%, un miglioramento significativo rispetto all'UNAD originale (75,19%) e al classificatore supervisionato autonomo (90,59%). Il Tasso di Falsi Positivi (FPR) è stato ridotto dal 11,34% (ensemble ponderato) allo 0,18% dopo il raffinamento.
  • Su NSL-KDD, il framework ha raggiunto un punteggio F1 del 98,25%, migliorando rispetto all'UNAD originale (93,38%). L'FPR è diminuito dal 6,37% al 2,77%.
• Analisi a Livello di Classe: La fase di raffinamento ha migliorato significativamente il rilevamento per classi di attacchi difficili o rare (ad esempio, SSH-Patator, DoS Slowhttptest, R2L e U2R). Tuttavia, i guadagni di prestazione sono stati limitati per classi estremamente rare dove la prima fase non è riuscita a generare un numero sufficiente di istanze pseudo-etichettate affinché la seconda fase potesse apprendere.
• Valutazione della Spiegabilità: Le spiegazioni locali (LIME) sono risultate plausibili, evidenziando caratteristiche di rete significative, e stabili durante ispezioni ripetute. I modelli surrogati globali hanno dimostrato un'alta fedeltà (>99%) al classificatore Random Forest, catturando con successo la sua logica decisionale in un formato interpretabile.

Significato e Affermazioni
Gli autori affermano che UNAD+ offre un miglioramento sostanziale rispetto alla linea di base UNAD originale, non solo attraverso le prestazioni predittive, ma affrontando le limitazioni operative degli IDS non supervisionati. Il documento afferma che la combinazione di rilevamento ensemble ponderato e raffinamento supervisionato bilancia efficacemente la necessità di rilevamento zero-day con il requisito di bassi tassi di falsi positivi. Inoltre, l'integrazione della spiegabilità è presentata come essenziale per il dispiegamento nel mondo reale, consentendo agli analisti di interpretare le decisioni, auditare il comportamento del sistema e correggere gli errori del classificatore. Il lavoro conclude che, sebbene il framework sia altamente efficace, le sue prestazioni su classi di attacchi estremamente rare dipendono dalla capacità della prima fase di generare pseudo-etichette informative, e i lavori futuri dovrebbero affrontare le sfide del traffico cifrato.