Proximal Policy Optimization-Based Intrusion Detection with Deep Latent Feature Learning

Technische Samenvatting: Proximal Policy Optimization-gebaseerde Intrusion Detection met Deep Latent Feature Learning

Probleemstelling
Moderne Intrusion Detection Systems (IDS) worden geconfronteerd met aanzienlijke uitdagingen door de escalerende complexiteit van cyberdreigingen, de proliferatie van heterogene technologieën (IoT, cloud, 5G) en de beperkingen van conventionele signature-gebaseerde en anomalie-gebaseerde methoden. Bestaande machine learning (ML) benaderingen lijden vaak aan hoge fout-positieveven (false-positive rates), computationele inefficiëntie bij het verwerken van hoogdimensionale verkeer en een afhankelijkheid van historische data die hun vermogen om zero-day aanvallen te detecteren belemmert. Er is een gedefinieerde onderzoeksleemte voor adaptieve, efficiënte en intelligente detectieparadigma's die in staat zijn om optimale beveiligingsbeleid te leren in dynamische omgevingen.

Methodologie
De auteurs stellen een nieuw hybride framework voor dat diepe feature extractie integreert met adaptieve besluitvorming. De architectuur bestaat uit twee primaire componenten:

1. Two-Stage Stacked Autoencoder (2S-SAE):

   • Doel: Om ongesuperviseerde feature extractie en dimensionaliteitsreductie uit te voeren op hoogdimensionale netwerkverkeersdata, terwijl kritieke kenmerken behouden blijven.
   • Structuur: Het systeem maakt gebruik van een hiërarchisch compressieproces.
     • Fase 1: Een diepe autoencoder brengt ruwe input features ($R^d$) naar een 64-dimensionale latente ruimte met behulp van een encoder-decoder symmetrie ($R^d \to 128 \to 64 \to 128 \to R^d$).
     • Fase 2: De gewichten van de Fase 1 encoder worden bevroren. Een tweede, compacter autoencoder verfijnt de 64-dimensionale latente vectoren tot een definitieve 16-dimensionale representatie ($R^{64} \to 32 \to 16 \to 32 \to R^{64}$).
   • Resultaat: Dit proces bereikt een compressieratio van $d:16$, wat compacte latente representaties ($z_{16}$) genereert die dienen als de state-input voor de reinforcement learning agent.

2. Proximal Policy Optimization (PPO) Agent:

   • Framework: De gecomprimeerde features worden ingevoerd in een Deep Reinforcement Learning (DRL) agent die opereert op een Actor-Critic mechanisme.
   • Formulering: De detectietaak wordt gemodelleerd als een Markov Decision Process (MDP) waarbij de state de 16-dimensionale latente vector is, en de actie een binaire classificatie is ($0$: Normaal, $1$: Intrusion).
   • Beloningsmechanisme: Een kostengevoelige beloningsfunctie is ontworpen om kritieke detecties te prioriteren:
     • True Positive: $+5$ (of $+1.0$ in implementatiedetails)
     • True Negative: $+1$ (of $+1.0$)
     • False Positive: $-1$ (of $-1.5$)
     • False Negative: $-10$ (of $-3.0$)
   • Optimalisatie: De agent gebruikt de PPO-clip objective met Generalized Advantage Estimation (GAE) om stabiele policy updates te garanderen, waardoor het systeem iteratief zijn detectiestrategie kan verfijnen door middel van beloningsgestuurd leren.

Belangrijkste Bijdragen
Het artikel schetst vier belangrijke bijdragen:

1. Nieuw Framework: Een DRL-gebaseerd IDS dat Stacked Autoencoders voor feature representatie effectief combineert met Actor-Critic leren voor adaptieve classificatie.
2. Uitgebreide Evaluatie: Robuuste prestatievalidatie over drie verschillende benchmark datasets (NSL-KDD, UNSW-NB15, en CIC-IDS2017) die verschillende generaties netwerkdreigingen vertegenwoordigen.
3. Efficiënte Trainingsomgeving: De ontwikkeling van een pseudo-omgeving voor DRL-training die de beperkingen van sequentiële afhankelijkheid overwint die inherent zijn aan standaard netwerkverwerking.
4. Optimalisatie voor Beperkte Omgevingen: Strategieën en resultaten die de geschiktheid van het framework voor omgevingen met beperkte middelen aantonen, zoals IoT-netwerken, via efficiënte feature compressie en real-time inferentie capaciteiten.

Experimentele Resultaten
Het framework werd geëvalueerd op NSL-KDD, UNSW-NB15, en CIC-IDS2017 met vijf onafhankelijke runs met verschillende random seeds. Belangrijkste bevindingen zijn:

• Superieure Prestaties: Het voorgestelde 2S-SAE+PPO framework presteerde consistent beter dan baseline modellen (Random Forest, SVM, XGBoost, MLP, LSTM, AE-DNN) over alle metrieken.
  • Op CIC-IDS2017 behaalde het model een nauwkeurigheid van 98,9%, een precisie van 99,0%, een recall van 98,8%, en een F1-score van 0,989.
  • Op NSL-KDD behaalde het een nauwkeurigheid van 98,6% en een AUC van 0,998.
  • Op UNSW-NB15 behaalde het een nauwkeurigheid van 96,3% en een AUC van 0,990.
• Detectie van Zeldzame Aanvallen: Het framework vertoonde significante verbeteringen in het detecteren van zeldzame aanvalscategorieën (U2R, R2L), met F1-score winsten van 13,8–22,1 procentpunten vergeleken met baselines, toegeschreven aan de asymmetrische beloningsstructuur die false negatives zwaar bestraft.
• Statistische Significantie: Gepaarde t-testen bevestigden dat de verbeteringen ten opzichte van baselines (bijv. LSTM) statistisch significant waren ($p < 0,01$).
• Efficiëntie: Het model demonstreerde een inferentie latentie van 2,3 ms en een throughput van 111.300 samples/seconde op een NVIDIA RTX 3090 GPU, waarmee aan de real-time vereisten voor snelle netwerken (10 Gbps) wordt voldaan.
• Ablatie Studie: Vergelijkingen bevestigden dat de twee-fasen compressie (hiërarchisch feature leren) en het PPO-beslissingsmechanisme (versus statische classifiers) de primaire drijvers van prestatiewinsten waren.

Betekenis en Claims
De auteurs beweren dat dit werk de beperkingen van statische ML-modellen aanpakt door een adaptief systeem te introduceren dat in staat is om optimale beveiligingsbeleid te leren in complexe, dynamische omgevingen. De betekenis ligt in de succesvolle integratie van diep latent feature leren met reinforcement learning, wat resulteert in een systeem dat:

1. De computationele overhead vermindert door hiërarchische feature compressie.
2. Aanpasbaar is aan evoluerende aanvalspatronen via beloningsgestuurd leren.
3. Een superieure detectienauwkeurigheid en lagere fout-positieve ratio's bereikt vergeleken met traditionele deep learning modellen.
4. Voldoende efficiënt opereert voor bijna-real-time implementatie in moderne netwerkinfrastructuren.

Het artikel concludeert dat hoewel het RL-component de trainingscomplexiteit verhoogt, de prestatiewinsten (1,2–4,3% verbetering in F1-score) de kosten rechtvaardigen, met name voor het detecteren van minderheidsklassen en zero-day dreigingen. Toekomstig werk wordt geïdentificeerd als het verkennen van online continual learning, federated deployment en adversariële robuustheid.