Proximal Policy Optimization-Based Intrusion Detection with Deep Latent Feature Learning

Sintesi Tecnica: Rilevamento delle Intruzioni Basato su Ottimizzazione della Politica Prossimale con Apprendimento di Caratteristiche Latenti Profonde

Problematica
I moderni Sistemi di Rilevamento delle Intruzioni (IDS) affrontano sfide significative a causa della crescente sofisticazione delle minacce informatiche, della proliferazione di tecnologie eterogenee (IoT, cloud, 5G) e dei limiti dei metodi convenzionali basati su firme o su anomalie. Gli approoli di apprendimento automatico (ML) esistenti soffrono spesso di elevati tassi di falsi positivi, inefficienza computazionale nell'elaborare traffico ad alta dimensionalità e una dipendenza da dati storici che ostacola la capacità di rilevare attacchi zero-day. Esiste un divario di ricerca definito per paradigmi di rilevamento adattivi, efficienti e intelligenti, capaci di apprendere politiche di sicurezza ottimali in ambienti dinamici.

Metodologia
Gli autori propongono un nuovo framework ibrido che integra l'estrazione di caratteristiche profonde con il processo decisionale adattivo. L'architettura è composta da due componenti primarie:

1. Autoencoder Stacked a Due Stadi (2S-SAE):

   • Scopo: Effettuare l'estrazione non supervisionata delle caratteristiche e la riduzione della dimensionalità su dati di traffico di rete ad alta dimensionalità, preservando al contempo le caratteristiche critiche.
   • Struttura: Il sistema impiega un processo di compressione gerarchica.
     • Stadio 1: Un autoencoder profondo mappa le caratteristiche di input grezze ($R^d$) in uno spazio latente a 64 dimensioni utilizzando una simmetria encoder-decoder ($R^d \to 128 \to 64 \to 128 \to R^d$).
     • Stadio 2: I pesi dell'encoder dello Stadio 1 vengono congelati. Un secondo autoencoder, più compatto, raffina i vettori latenti a 64 dimensioni in una rappresentazione finale a 16 dimensioni ($R^{64} \to 32 \to 16 \to 32 \to R^{64}$).
   • Risultato: Questo processo raggiunge un rapporto di compressione $d:16$, generando rappresentazioni latenti compatte ($z_{16}$) che fungono da input di stato per l'agente di apprendimento per rinforzo.

2. Agente di Ottimizzazione della Politica Prossimale (PPO):

   • Framework: Le caratteristiche compresse vengono inviate a un agente di Deep Reinforcement Learning (DRL) che opera su un meccanismo Actor-Critic.
   • Formulazione: Il compito di rilevamento è modellato come un Processo Decisionale di Markov (MDP) dove lo stato è il vettore latente a 16 dimensioni e l'azione è una classificazione binaria ($0$: Normale, $1$: Intrusione).
   • Meccanismo di Ricompensa: È stata progettata una funzione di ricompensa sensibile ai costi per dare priorità ai rilevamenti critici:
     • Vero Positivo: $+5$ (o $+1.0$ nei dettagli di implementazione)
     • Vero Negativo: $+1$ (o $+1.0$)
     • Falso Positivo: $-1$(o$-1.5$)
     • Falso Negativo: $-10$(o$-3.0$)
   • Ottimizzazione: L'agente utilizza l'obiettivo PPO-clip con la Stima dell'Vantaggio Generalizzata (GAE) per garantire aggiornamenti della politica stabili, permettendo al sistema di affinare iterativamente la sua strategia di rilevamento attraverso l'apprendimento guidato dalla ricompensa.

Contributi Chiave
Il documento delinea quattro contributi principali:

1. Nuovo Framework: Un IDS basato su DRL che combina efficacementamente gli Autoencoder Stacked per la rappresentazione delle caratteristiche con l'apprendimento Actor-Critic per la classificazione adattiva.
2. Valutazione Completa: Validazione robusta delle prestazioni attraverso tre distinti dataset di benchmark (NSL-KDD, UNSW-NB15 e CIC-IDS2017) che rappresentano diverse generazioni di minacce di rete.
3. Ambiente di Addestramento Efficiente: Lo sviluppo di un pseudo-ambiente per l'addestramento DRL che supera i limiti di dipendenza sequenziale inerenti all'elaborazione standard del traffico di rete.
4. Ottimizzazione per Ambienti Vincolati: Strategie e risultati che dimostrano l'idoneità del framework per ambienti con risorse limitate, come le reti IoT, tramite una compressione efficiente delle caratteristiche e capacità di inferenza in tempo reale.

Risultati Sperimentali
Il framework è stato valutato su NSL-KDD, UNSW-NB15 e CIC-IDS2017 utilizzando cinque esecuzioni indipendenti con diversi seed casuali. Le principali scoperte includono:

• Superiorità delle Prestazioni: Il framework proposto 2S-SAE+PPO ha superato costantemente i modelli di base (Random Forest, SVM, XGBoost, MLP, LSTM, AE-DNN) in tutte le metriche.
  • Su CIC-IDS2017, il modello ha raggiunto il 98,9% di accuratezza, il 99,0% di precisione, il 98,8% di recall e un F1-score di 0,989.
  • Su NSL-KDD, ha raggiunto il 98,6% di accuratezza e un AUC di 0,998.
  • Su UNSW-NB15, ha raggiunto il 96,3% di accuratezza e un AUC di 0,990.
• Rilevamento di Attacchi Rari: Il framework ha mostrato miglioramenti significativi nel rilevamento di categorie di attacchi rari (U2R, R2L), con guadagni di F1-score di 13,8–22,1 punti percentuali rispetto ai modelli di base, attribuiti alla struttura di ricompensa asimmetrica che penalizza pesantemente i falsi negativi.
• Significatività Statistica: I test t accoppiati hanno confermato che i miglioramenti rispetto ai modelli di base (es. LSTM) sono statisticamente significativi ($p < 0,01$).
• Efficienza: Il modello ha dimostrato una latenza di inferenza di 2,3 ms e un throughput di 111.300 campioni/secondo su una GPU NVIDIA RTX 3090, soddisfacendo i requisiti in tempo reale per reti ad alta velocità (10 Gbps).
• Studio di Ablazione: I confronti hanno confermato che la compressione a due stadi (apprendimento delle caratteristiche gerarchiche) e il meccanismo decisionale PPO (rispetto ai classificatori statici) sono i principali motori dei guadagni di prestazione.

Significato e Rivendicazioni
Gli autori affermano che questo lavoro affronta i limiti dei modelli ML statici introducendo un sistema adattivo capace di apprendere politiche di sicurezza ottimali in ambienti complessi e dinamici. La significatività risiede nella riuscita integrazione dell'apprendimento di caratteristiche latenti profonde con l'apprendimento per rinforzo, risultando in un sistema che:

1. Riduce il carico computazionale attraverso la compressione gerarchica delle caratteristiche.
2. Si adatta a pattern di attacco in evoluzione tramite l'apprendimento guidato dalla ricompensa.
3. Raggiunge un'accuratezza di rilevamento superiore e tassi di falsi positivi inferiori rispetto ai modelli tradizionali di deep learning.
4. Opera con efficienza sufficiente per il dispiegamento near-real-time nelle moderne infrastrutture di rete.

Il documento conclude che, sebbene la componente RL aumenti la complessità dell'addestramento, i guadagni di prestazione (miglioramento dell'F1-score del 1,2–4,3%) giustificano il costo, particolarmente per il rilevamento delle classi minoritarie e delle minacce zero-day. Il lavoro futuro è identificato nell'esplorazione dell'apprendimento continuo online, del dispiegamento federato e della robustezza avversaria.