Proximal Policy Optimization-Based Intrusion Detection with Deep Latent Feature Learning

तकनीकी सारांश: डीप लेटेंट फीचर लर्निंग के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन-आधारित घुसपैठ का पता लगाना (Intrusion Detection)

समस्या विवरण
आधुनिक घुसपैठ पहचान प्रणाली (IDS) को बढ़ते परिष्कृत साइबर खतरों, विषम प्रौद्योगिकियों (IoT, क्लाउड, 5G) के प्रसार, और पारंपरिक सिग्नेचर-आधारित एवं विसंगति-आधारित (anomaly-based) विधियों की सीमाओं के कारण महत्वपूर्ण चुनौतियों का सामना करना पड़ रहा है। मौजूदा मशीन लर्निंग (ML) दृष्टिकोण अक्सर उच्च फॉल्स-पॉजिटिव दरों, उच्च-आयामी ट्रैफ़िक को संसाधित करने में कम्प्यूटेशनल अक्षमता, और ऐतिहासिक डेटा पर निर्भरता से ग्रस्त होते हैं, जो उन्हें ज़ीरो-डे हमलों (zero-day attacks) का पता लगाने में बाधित करता है। गतिशील वातावरण में इष्टतम सुरक्षा नीतियों को सीखने में सक्षम अनुकूलन योग्य, कुशल और बुद्धिमान पहचान प्रतिमानों के लिए एक परिभाषित अनुसंधान अंतराल मौजूद है।

कार्यप्रणाली (Methodology)
लेखक एक नवीन हाइब्रिड ढांचे का प्रस्ताव करते हैं जो डीप फीचर एक्सट्रैक्शन को अनुकूली निर्णय लेने (adaptive decision-making) के साथ एकीकृत करता है। यह आर्किटेक्चर दो प्राथमिक घटकों से बना है:

1. टू-स्टेज स्टैक्ड ऑटोएन्कोडर (2S-SAE):

   • उद्देश्य: उच्च-आयामी नेटवर्क ट्रैफ़िक डेटा पर अनसुपरवाइज्ड फीचर एक्सट्रैक्शन और आयामी कमी (dimensionality reduction) करना, जबकि महत्वपूर्ण विशेषताओं को संरक्षित रखना।
   • संरचना: सिस्टम एक पदानुक्रमित संपीड़न प्रक्रिया (hierarchical compression process) का उपयोग करता है।
     • चरण 1: एक डीप ऑटोएन्कोडर एनकोडर-डिकोडर समरूपता ($R^d \to 128 \to 64 \to 128 \to R^d$) का उपयोग करके कच्चे इनपुट फीचर्स ($R^d$) को 64-आयामी लेटेंट स्पेस में मैप करता है।
     • चरण 2: चरण 1 के एनकोडर के वेट्स (weights) को फ्रीज कर दिया जाता है। एक दूसरा, अधिक संक्षिप्त ऑटोएन्कोडर 64-आयामी लेटेंट वेक्टर्स को एक अंतिम 16-आयामी प्रतिनिधित्व ($R^{64} \to 32 \to 16 \to 32 \to R^{64}$) में परिष्कृत करता है।
   • परिणाम: यह प्रक्रिया $d:16$ का संपीड़न अनुपात प्राप्त करती है, जो कॉम्पैक्ट लेटेंट रिप्रेजेंटेशन ($z_{16}$) उत्पन्न करती है जो सुदृढीकरण लर्निंग (reinforcement learning) एजेंट के लिए स्टेट इनपुट के रूप में कार्य करते हैं।

2. प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) एजेंट:

   • ढांचा: संपीड़ित फीचर्स को एक डीप रिइन्फोर्समेंट लर्निंग (DRL) एजेंट में फीड किया जाता है जो एक्टर-क्रिटिक (Actor-Critic) तंत्र पर कार्य करता है।
   • फॉर्मूलेशन: डिटेक्शन कार्य को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है जहाँ स्टेट 16-आयामी लेटेंट वेक्टर है, और एक्शन एक बाइनरी क्लासिफिकेशन ($0$: सामान्य,$1$: घुसपैठ) है।
   • रिवॉर्ड मैकेनिज्म: एक कॉस्ट-सेंसिटिव रिवॉर्ड फंक्शन डिज़ाइन किया गया है जो महत्वपूर्ण डिटेक्शन को प्राथमिकता देता है:
     • ट्रू पॉजिटिव: $+5$ (या कार्यान्वयन विवरणों में $+1.0$)
     • ट्रू नेगेटिव: $+1$ (या $+1.0$)
     • फॉल्स पॉजिटिव: $-1$(या$-1.5$)
     • फॉल्स नेगेटिव: $-10$(या$-3.0$)
   • ऑप्टिमाइज़ेशन: एजेंट स्थिर पॉलिसी अपडेट सुनिश्चित करने के लिए जेनरालाइज्ड एडवांटेज एस्टीमेशन (GAE) के साथ PPO-क्लिप ऑब्जेक्टिव का उपयोग करता है, जिससे सिस्टम रिवॉर्ड-निर्देशित लर्निंग के माध्यम से अपनी डिटेक्शन रणनीति को पुनरावृत्ति से परिष्कृत कर सकता है।

प्रमुख योगदान
पेपर चार मुख्य योगदानों को रेखांकित करता है:

1. नवीन ढांचा: एक DRL-आधारित IDS जो फीचर रिप्रेजेंटेशन के लिए स्टैक्ड ऑटोएन्कोडर्स को अनुकूली वर्गीकरण (adaptive classification) के लिए एक्टर-क्रिटिक लर्निंग के साथ प्रभावी ढंग से जोड़ता है।
2. व्यापक मूल्यांकन: तीन अलग-अलग बेंचमार्क डेटासेट्स (NSL-KDD, UNSW-NB15, और CIC-IDS2017) पर मजबूत प्रदर्शन सत्यापन, जो विभिन्न पीढ़ियों के नेटवर्क खतरों का प्रतिनिधित्व करते हैं।
3. कुशल प्रशिक्षण वातावरण: DRL प्रशिक्षण के लिए एक स्यूडो-एनवायरनमेंट का विकास जो मानक नेटवर्क ट्रैफ़िक प्रोसेसिंग में अंतर्निहित अनुक्रमिक निर्भरता (sequential dependency) की सीमाओं को दूर करता है।
4. संसाधन-बाधित वातावरण के लिए अनुकूलन: रणनीतियाँ और परिणाम जो कुशल फीचर संपीड़न और रीयल-टाइम इन्फरेंस क्षमताओं के माध्यम से IoT नेटवर्क जैसे संसाधन-बाधित वातावरण के लिए इस ढांचे की उपयुक्तता प्रदर्शित करते हैं।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन NSL-KDD, UNSW-NB15, और CIC-IDS2017 पर पांच स्वतंत्र रन (विभिन्न रैंडम सीड्स के साथ) के माध्यम से किया गया। मुख्य निष्कर्ष शामिल हैं:

• प्रदर्शन श्रेष्ठता: प्रस्तावित 2S-SAE+PPO फ्रेमवर्क ने सभी मेट्रिक्स पर बेसलाइन मॉडल्स (Random Forest, SVM, XGBoost, MLP, LSTM, AE-DNN) को लगातार पछाड़ दिया।
  • CIC-IDS2017 पर, मॉडल ने 98.9% सटीकता (accuracy), 99.0% प्रिसिजन (precision), 98.8% रिकॉल (recall), और 0.989 का F1-स्कोर प्राप्त किया।
  • NSL-KDD पर, इसने 98.6% सटीकता और 0.998 का AUC प्राप्त किया।
  • UNSW-NB15 पर, इसने 96.3% सटीकता और 0.990 का AUC प्राप्त किया।
• दुर्लभ हमले का पता लगाना: फ्रेमवर्क ने दुर्लभ हमला श्रेणियों (U2R, R2L) का पता लगाने में महत्वपूर्ण सुधार दिखाया, जिसमें बेसलाइन्स की तुलना में F1-स्कोर में 13.8–22.1 प्रतिशत अंक की वृद्धि हुई, जिसका श्रेय फॉल्स नेगेटिव को भारी दंड देने वाले एसिमेट्रिक रिवॉर्ड स्ट्रक्चर को जाता है।
• सांख्यिकीय महत्व: पेयर्ड टी-टेस्ट (Paired t-tests) ने पुष्टि की कि बेसलाइन्स (जैसे LSTM) पर सुधार सांख्यिकीय रूप से महत्वपूर्ण थे ($p < 0.01$)।
• दक्षता: मॉडल ने NVIDIA RTX 3090 GPU पर 2.3 ms का इन्फरेंस लेटेंसी और 111,300 सैंपल्स/सेकंड का थ्रूपुट प्रदर्शित किया, जो उच्च-गति वाले नेटवर्क (10 Gbps) के लिए रीयल-टाइम आवश्यकताओं को पूरा करता है।
• एब्लेशन स्टडी (Ablation Study): तुलनाओं ने पुष्टि की कि दो-चरणीय संपीड़न (पदानुक्रमित फीचर लर्निंग) और PPO निर्णय लेने की प्रक्रिया (स्थिर क्लासिफायर बनाम) प्रदर्शन लाभ के प्राथमिक चालक थे।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य एक अनुकूलित प्रणाली पेश करके स्थिर ML मॉडलों की सीमाओं को संबोधित करता है जो जटिल, गतिशील वातावरण में इष्टतम सुरक्षा नीतियों को सीखने में सक्षम है। इसका महत्व डीप लेटेंट फीचर लर्निंग को रिइन्फोर्समेंट लर्निंग के साथ सफलतापूर्वक एकीकृत करने में निहित है, जिसके परिणामस्वरूप एक ऐसा सिस्टम प्राप्त होता है जो:

1. पदानुक्रमित फीचर संपीड़न के माध्यम से कम्प्यूटेशनल ओवरहेड को कम करता है।
2. रिवॉर्ड-निर्देशित लर्निंग के माध्यम से विकसित होते हमले के पैटर्न के अनुकूल होता है।
3. पारंपरिक डीप लर्निंग मॉडल्स की तुलना में बेहतर डिटेक्शन सटीकता और कम फॉल्स-पॉजिटिव दर प्राप्त करता है।
4. आधुनिक नेटवर्क इंफ्रास्ट्रक्चर में रीयल-टाइम तैनाती के लिए पर्याप्त रूप से कुशलता से संचालित होता है।

पेपर निष्कर्ष निकालता है कि हालांकि RL घटक प्रशिक्षण जटिलता को बढ़ाता है, प्रदर्शन में सुधार (F1-स्कोर में 1.2–4.3% सुधार) इसकी लागत को न्यायसंगत बनाता है, विशेष रूप से अल्पसंख्यक वर्गों (minority classes) और ज़ीरो-डे खतरों का पता लगाने के लिए। भविष्य के कार्य के रूप में ऑनलाइन निरंतर शिक्षण (online continual learning), फेडरेटेड परिनियोजन (federated deployment), और एडवरसेरियल रोबस्टनेस (adversarial robustness) की खोज की पहचान की गई है।