🤖 machine learning

NASimJax: GPU-Accelerated Policy Learning Framework for Penetration Testing

यह शोध पत्र NASimJax को प्रस्तुत करता है, जो एक GPU-त्वरित JAX-आधारित फ्रेमवर्क है जो विविध नेटवर्क परिदृश्यों पर स्केलेबल प्रशिक्षण को सक्षम करके पेनिट्रेशन टेस्टिंग के लिए सुदृढीकरण शिक्षण (reinforcement learning) को महत्वपूर्ण रूप से त्वरित करता है, जिससे दो-चरणीय क्रिया अपघटन (two-stage action decomposition) और अनुकूलित पाठ्यक्रम शिक्षण (optimized curriculum learning) जैसी नवीन तकनीकों के माध्यम से बेहतर ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) प्राप्त होता है।

मूल लेखक: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक अत्यधिक सुरक्षित बैंक वॉल्ट (तिजोरी) में घुसपैठ करना सिखाने की कोशिश कर रहे हैं। लेकिन एक पेंच है: रोबोट पूरी इमारत को देख नहीं सकता, उसे यह नहीं पता कि गार्ड कहाँ हैं, और उसे बिना देखे ही आसपास की चीजों को टटोलकर लेआउट का पता लगाना होगा। यह मूल रूप से पेनेट्रेशन टेस्टिंग (या "एथिकल हैकिंग") है: बुरे लोगों के आने से पहले कमजोरियों को खोजने के लिए साइबर हमलों का अनुकरण करना।

समस्या यह है कि एक रोबोट (या AI) को यह करना सिखाना अविश्वसनीय रूप से कठिन और धीमा है। यहाँ इस पेपर का समाधान, NASimJax, सरल उपमाओं (analogies) का उपयोग करके दिया गया है।

1. समस्या: "स्लो मोशन" सिम्युलेटर

कल्पना कीजिए कि आप दिन में एक गेम खेलकर शतरंज खेलना सीखने की कोशिश कर रहे हैं। जब तक आप 1,000 गेम खेल लेंगे, तब तक आपने कुछ ही महीने बिताए होंगे। अब, कल्पना कीजिए कि AI को अच्छा बनने के लिए लाखों गेम खेलने की आवश्यकता है।

पुराना तरीका: पिछले उपकरण एक मानक लैपटॉप पर सिमुलेशन चलाने वाले एक अकेले व्यक्ति की तरह थे। वे इतने धीमे थे कि AI केवल बहुत छोटे, सरल नेटवर्क पर अभ्यास कर सकता था। जब AI ने एक वास्तविक, जटिल नेटवर्क का सामना करने की कोशिश की, तो वह विफल हो गया क्योंकि उसने कभी इतना बड़ा नेटवर्क देखा ही नहीं था।
बाधा (Bottleneck): कंप्यूटर का मस्तिष्क (CPU) उसके शरीर (GPU) से बहुत धीरे बात कर रहा था। यह एक मैनेजर की तरह था जो एक शोर भरे कारखाने में अपने वर्कर को निर्देश चिल्लाकर दे रहा है, और अगला आदेश देने से पहले जवाब का इंतज़ार कर रहा है।

2. समाधान: NASimJax (एक "सुपर-स्पीड" फैक्ट्री)

लेखकों ने JAX नामक एक विशेष भाषा का उपयोग करके उनके सिमुलेशन सॉफ़्टवेयर का पूर्ण पुनर्गठन किया, जिसे NASimJax कहा जाता है।

उपमा: एक व्यक्ति के निर्देश चिल्लाने के बजाय, एक विशाल कारखाने की कल्पना करें जहाँ 1,000 रोबोट बिल्कुल एक साथ, पूर्ण तालमेल में काम कर रहे हैं।
परिणाम: NASimJax पुराने संस्करण की तुलना में 100 गुना तेज़ है। यह पुराने संस्करण द्वारा हजारों हमलों के सिमुलेशन में लगने वाले समय में लाखों साइबर हमलों का सिमुलेशन कर सकता है। यह AI को उन विशाल, जटिल नेटवर्क पर अभ्यास करने की अनुमति देता है जो पहले असंभव थे।

3. प्रशिक्षण मैदान: एक "आकार बदलने वाला" भूलभुलैया (Maze)

AI को किसी भी नेटवर्क को संभालने के लिए पर्याप्त स्मार्ट बनाने के लिए, उन्होंने केवल एक भूलभुलैया नहीं बनाई; उन्होंने एक ऐसी मशीन बनाई जो अनंत, अद्वितीय भूलभुलैया उत्पन्न करती है।

अवधारणा: वे इसे Contextual POMDP कहते हैं। इसे एक वीडियो गेम की तरह समझें जहाँ हर बार नया गेम शुरू करने पर लेवल का लेआउट, दुश्मनों की संख्या और जाल (traps) बदल जाते हैं।
लक्ष्य: AI किसी विशिष्ट मानचित्र (map) को रट नहीं रहा है। यह हैकिंग के नियमों को इतनी अच्छी तरह सीख रहा है कि वह किसी भी नई, अनदेखी इमारत में जा सकता है और बिना कभी उसे देखे, अंदर घुसने का तरीका ढूंढ सकता है। इसे Zero-Shot Generalization कहा जाता है।

4. चुनौती: "बहुत सारे बटन" वाली समस्या

जैसे-जैसे नेटवर्क बड़ा होता है (हैक करने के लिए अधिक कंप्यूटर), AI द्वारा लिए जा सकते हैं संभावित कार्यों की संख्या विस्फोट की तरह बढ़ती है।

पुराना तरीका (Flat Action Masking): एक ऐसे रिमोट कंट्रोल की कल्पना करें जिसमें 10,000 बटन हैं। अधिकांश टूटे हुए या वर्तमान कमरे के लिए बेकार हैं। AI को अनुमान लगाना पड़ता है कि कौन सा काम करेगा। यह घास के ढेर में सुई खोजने जैसा है जहाँ आप बस बटन दबाकर देख रहे हैं।
नया तरीका (2SAS - Two-Stage Action Selection): लेखकों ने एक स्मार्ट रणनीति पेश की। 10,000 बटन दबाने के बजाय, AI इसे दो चरणों में करता है:
1. चरण 1: "मुझे किस कंप्यूटर को निशाना बनाना चाहिए?" (होस्ट का चयन करता है)।
2. चरण 2: "मैं उस कंप्यूटर के साथ क्या करूँ?" (एक्शन का चयन करता है)।
- उपमा: यह पहले से एक संदिग्ध को इंटरव्यू करने का फैसला करने, और फिर यह तय करने जैसा है कि क्या सवाल पूछना है। यह विशाल समस्या को दो छोटी, प्रबंधनीय समस्याओं में तोड़ देता है, जिससे सीखना बहुत तेज़ और सटीक हो जाता है।

5. गुप्त नुस्खा: "स्मार्ट करिकुलम" (Smart Curriculum)

आप AI को एक विशाल नेटवर्क को हैक करने के लिए बिना अभिभूत किए कैसे सिखा सकते हैं?

डोमेन रैंडमाइजेशन (DR): AI को सभी आकारों की रैंडम भूलभुलभुलैया में डालना। यह एक छात्र को रैंडम गणित के सवालों में डालने जैसा है। यह छोटे कामों के लिए ठीक काम करता है, लेकिन बड़े कामों के साथ यह अव्यवस्थित हो जाता है।
प्रायोरिटाइज्ड लेवल रीप्ले (PLR): यह "स्मार्ट करिकुलम" है। सिस्टम AI पर नज़र रखता है। यदि AI किसी विशिष्ट प्रकार की भूलभुलैया में विफल होता है, तो सिस्टम इसे याद रखता है और AI को उसी विशिष्ट प्रकार की भूलभुलैया का अभ्यास करने के लिए मजबूर करता है जब तक कि वह इसमें बेहतर न हो जाए।
- निष्कर्ष: उन्होंने पाया कि पहले AI को स्पार्स (कम घनत्व वाले), सरल नेटवर्क (जैसे एक छोटा कार्यालय) पर प्रशिक्षित करने से बाद में डेंस (घने), जटिल नेटवर्क (जैसे एक विशाल डेटा सेंटर) को हैक करने में वह बेहतर बन गया। यह एक शांत सड़क पर साइकिल चलाना सीखने के बाद भीड़भाड़ वाले शहर में रेस करने जैसा है।

6. "ओप्स" मोमेंट: जब चीजें टूट जाती हैं

शोधकर्ताओं ने बहुत बड़े नेटवर्क पर "स्मार्ट करिकुलम" (PLR) और "टू-स्टेप स्ट्रैटेजी" (2SAS) को मिलाते समय एक अजीब गड़बड़ी देखी।

गड़बड़ी: सिस्टम गेम को तब रीसेट कर देता था जब AI एक लंबे मिशन को पूरा करने ही वाला होता था। क्योंकि AI एक साथ दो चरणों (Target + Action) को सीखने की कोशिश कर रहा था, वह इस बात को लेकर भ्रमित हो गया कि विफलता के लिए किसे जिम्मेदार ठहराया जाए। यह एक रिले रेस की तरह था जहाँ बैटन (baton) गिर गया, लेकिन धावक एक-दूसरे को दोष देते रहे, और कोच ने दोबारा कोशिश करने से पहले ही दौड़ को रीसेट कर दिया।
सबक: इसने उन्हें सिखाया कि बहुत जटिल कार्यों के लिए, आपको प्रशिक्षण वातावरण को कैसे रीसेट किया जाता है, इसके बारे में सावधान रहना चाहिए।

सारांश

NASimJax साइबर हैकर्स के लिए एक सुपर-फास्ट, लचीला प्रशिक्षण मैदान है। सिमुलेशन को 100 गुना तेज़ बनाकर और AI को बड़ी समस्याओं को छोटे चरणों में तोड़ने के लिए सिखाकर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो उन जटिल नेटवर्क को हैक करना सीख सकता है जिन्हें उसने पहले कभी नहीं देखा है। यह साबित करता है कि यदि आप AI को सही प्रकार के "अभ्यास स्तरों" (सरल से शुरू होकर कठिन की ओर) पर प्रशिक्षित करते हैं, तो वह वास्तविक दुनिया के साइबर खतरों से निपटने में सक्षम मास्टर हैकर बन सकता है।

यहाँ शोध पत्र "NASimJax: GPU-Accelerated Policy Learning Framework for Penetration Testing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वचालित पैनेट्रेशन टेस्टिंग (भेद्यताओं को खोजने के लिए साइबर हमलों का अनुकरण करना) एक जटिल क्रमिक निर्णय लेने वाला कार्य है जिसे पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप में मॉडल किया गया है। एजेंटों को नेटवर्क टोपोलॉजी के पूर्ण ज्ञान के बिना बड़े, कॉम्बिनेटोरियल एक्शन स्पेस और लंबे निर्णय क्षितिज (decision horizons) के माध्यम से नेविगेट करना होता है।

वर्तमान दृष्टिकोण दो महत्वपूर्ण बाधाओं का सामना करते हैं:

सिमुलेशन गति (Simulation Speed): मौजूदा सिम्युलेटर (जैसे NASim, CyberBattleSim) CPU-बाउंड पायथन कार्यान्वयन हैं। वे आधुनिक GPU एक्सीलरेटर्स का उपयोग करने के लिए पर्याप्त तेज़ी से अनुभव उत्पन्न नहीं कर सकते हैं, जिससे एक थ्रूपुट बाधा उत्पन्न होती है जो वास्तविक, बड़े पैमाने के नेटवर्क पर प्रशिक्षण को रोकता है।
सामान्यीकरण (Generalization): नीतियां अक्सर विशिष्ट प्रशिक्षण परिदृश्यों के प्रति ओवरफिट हो जाती हैं। मौजूदा सिम्युलेटरों में एजेंटों को अनदेखे नेटवर्क टोपोलॉजी (Zero-Shot Policy Transfer) के लिए प्रशिक्षित करने हेतु आवश्यक संरचनात्मक विविधता और गारंटीकृत समाधान क्षमता का अभाव है।

2. कार्यप्रणाली: NASimJax (Methodology: NASimJax)

लेखक JAX का उपयोग करके NASimJax प्रस्तुत करते हैं, जो उच्च-प्रदर्शन वाली संख्यात्मक गणना और एक्सीलरेटर-ओरिएंटेड ऐरे कंप्यूटेशन के लिए एक पायथन लाइब्रेरी है। यह Network Attack Simulator (NASim) का एक पूर्ण पुन: कार्यान्वयन (reimplementation) है।

मुख्य आर्किटेक्चर और डिज़ाइन

कॉन्टेक्स्टुअल POMDP फॉर्मूलेशन: वातावरण को एक कॉन्टेक्स्टुअल MDP (CMDP) के रूप में औपचारिक रूप दिया गया है। प्रत्येक एपिसोड एक "कॉन्टेक्स्ट" (एक विशिष्ट नेटवर्क इंस्टेंस) पर आधारित होता है जो वितरण $p(c)$ से लिया गया है। एजेंट सीधे कॉन्टेक्स्ट को नहीं देखता है, बल्कि अंतःक्रिया के माध्यम से नेटवर्क गुणों का अनुमान लगाता है।
नेटवर्क जनरेशन पाइपलाइन: एक नया जनरेटर संरचनात्मक रूप से विविध, यथार्थवादी और गारंटीकृत-समाधान योग्य (guaranteed-solvable) परिदृश्य बनाता है।
- पैरामीटर्स: नियंत्रण मापदंडों में होस्ट की संख्या ( $N_h$ ), सबनेट की संख्या ( $N_s$ ), टोपोलॉजी घनत्व ( $t_d$ ), सर्विस/प्रोसेस घनत्व, और संवेदनशील होस्ट घनत्व शामिल हैं।
- बाधाएं (Constraints): यह सुनिश्चित करता है कि प्रत्येक सबनेट में कम से कम एक सर्विस हो और प्रत्येक संवेदनशील होस्ट के पास शोषण योग्य पथ (exploitable paths) हों, जिससे "डेड एंड्स" (dead ends) की स्थिति न बने।
- घनत्व के माध्यम से करिकुलम (Curriculum via Density): टोपोलॉजी घनत्व को बदलकर, सिस्टम स्वाभाविक रूप से अलग-अलग कठिनाई वाले करिकुलम (कम सुलभ होस्ट = छोटा क्षितिज) उत्पन्न करता है।
स्टेट और ऑब्जर्वेशन स्पेस:
- स्टेट (State): इसे बाटच्ड एडजेसेंसी मैट्रिसेस और होस्ट प्रॉपर्टीज (OS, सर्विसेज, एक्सेस लेवल्स) के रूप में एनकोड किया गया है, जिसमें मेमोरी फुटप्रिंट को कम करने के लिए बूलियन फ्लैग्स और वन-हॉट एनकोडिंग का उपयोग किया गया है।
- ऑब्जर्वेशन (Observation): आंशिक (Partial); एजेंट केवल अपने पिछले एक्शन का परिणाम (जैसे स्कैन परिणाम, एक्सप्लॉइट सफलता/विफलता) और पिछले अवलोकनों का इतिहास देखता है।
एक्शन स्पेस (Action Space): डिस्क्रीट एक्शन्स में रिकोनिसेंस (स्कैन) और एक्सप्लोइटेशन (एक्सप्लॉइट्स, प्रिविलेज एस्केलेशन) शामिल हैं। एक्शन स्पेस होस्ट की संख्या के साथ रैखिक रूप से बढ़ता है ( $|A| \propto |H|$ ), जो बड़े नेटवर्क के लिए एक विशाल सर्च स्पेस बनाता है।

एल्गोरिद्मिक नवाचार (Algorithmic Innovations)

टू-स्टेज एक्शन सिलेक्शन (2SAS): बढ़ते एक्शन स्पेस को संभालने के लिए, लेखक निर्णय प्रक्रिया को विभाजित करते हैं:
- स्टेज 1: एक लक्षित होस्ट चुनें (असुपलब्ध/अनडिस्कवर्ड होस्ट को बाहर करने के लिए मास्क किया गया)।
- स्टेज 2: उस विशिष्ट होस्ट के लिए एक एक्शन चुनें।
- लाभ: यह प्रभावी ब्रांचिंग फैक्टर को $|H| \times |Actions|$ से घटाकर $\max(|H|, |Actions|)$ कर देता है, जिससे अन्वेषण (exploration) की कठिनाई काफी कम हो जाती है।
रिवॉर्ड स्केलिंग (Reward Scaling): विभिन्न आकार और घनत्व वाले नेटवर्कों में लर्निंग सिग्नल को सामान्य करने के लिए रिवॉर्ड्स को सैद्धांतिक अधिकतम रिटर्न ( $N_s \cdot V_h$ ) द्वारा स्केल किया जाता है, जिससे वैल्यू फंक्शन एस्टीमेशन स्थिर होता है।
अनसुपरवाइज्ड एनवायरनमेंट डिज़ाइन (UED): फ्रेमवर्क सामान्यीकरण में सुधार के लिए डोमेन रैंडमाइजेशन (DR) और प्रायोरिटाइज्ड लेवल रिप्ले (PLR) का मूल्यांकन करता है।

3. प्रमुख योगदान (Key Contributions)

100× स्पीडअप: NASimJax एक सिंगल एंट्री-लेवल GPU (NVIDIA RTX A4000) पर 1.6 मिलियन स्टेप्स प्रति सेकंड तक की गति प्राप्त करता है, जो मूल CPU-आधारित NASim की तुलना में 100× सुधार है। यह JIT कंपाइलेशन और वेक्टराइज्ड एनवायरनमेंट स्टेपिंग (vmap) के माध्यम से प्राप्त किया गया है।
स्केलेबल एक्शन डीकंपोजिशन: 2SAS की शुरूआत यह दर्शाती है कि बड़े पैमाने के नेटवर्क के लिए एक्शन स्पेस को फैक्टराइज़ करना महत्वपूर्ण है, जो बड़े नेटवर्क के आकार के साथ बढ़ने पर मानक एक्शन मास्किंग की तुलना में बेहतर प्रदर्शन करता है।
सिद्धांतिक सामान्यीकरण फ्रेमवर्क: CMDP फॉर्मूलेशन को एक नियंत्रणीय नेटवर्क जनरेटर के साथ जोड़कर, यह पेपर जीरो-शॉट पॉलिसी ट्रांसफर का अध्ययन करने के लिए एक कठोर टेस्टबेड प्रदान करता है।
विफलता मोड की पहचान: लेखक एक विशिष्ट विफलता मोड की पहचान करते हैं जहाँ PLR का एपिसोड-रीसेट व्यवहार बड़े, घने नेटवर्क में 2SAS के क्रेडिट असाइनमेंट के साथ विनाशकारी रूप से इंटरैक्ट करता है, जिससे ट्रेनिंग कोलैप्स (collapse) हो जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग 16 से 40 होस्ट वाले नेटवर्क पर किए गए।

परफॉरमेंस स्केलिंग:
- 16 होस्ट: 2SAS ने फ्लैट मास्किंग की तुलना में कोई महत्वपूर्ण लाभ नहीं दिया (समस्या बहुत सरल थी)।
- 26 होस्ट: 2SAS ने 66% की तुलना में 82% सॉल्व रेट हासिल किया।
- 40 होस्ट: अंतर नाटकीय रूप से बढ़ गया। 2SAS ने 42% सॉल्व रेट हासिल किया, जबकि फ्लैट मास्किंग गिरकर 14% रह गया।
जीरो-शॉट पॉलिसी ट्रांसफर (ZSPT):
- स्पार्स (Sparse) नेटवर्क पर प्रशिक्षण: कम-घनत्व वाले टोपोलॉजी (कम सक्रिय होस्ट) पर प्रशिक्षण, सीधे लक्ष्य वितरण पर प्रशिक्षण की तुलना में अनदेखे घने नेटवर्क में बेहतर सामान्यीकरण प्रदान करता है। यह एक इम्प्लिसिट करिकुलम (Implicit Curriculum) के रूप में कार्य करता है।
- PLR बनाम DR: PLR बड़े पैमाने पर DR की तुलना में बेहतर प्रदर्शन करता है क्योंकि यह एक प्राकृतिक करिकुलम बनाता है।
PLR-2SAS विफलता: 40 होस्ट और उच्च घनत्व ( $t_d=0.15$ $t_{d} = 0.15$ ) पर, PLR और 2SAS का संयोजन विफल रहा (0% सॉल्व रेट)।
- कारण: PLR वातावरण को बार-बार रीसेट करता है। घने 40-होस्ट वाले नेटवर्क में, एपिसोड एक सिंगल रोलआउट में पूरे होने के लिए बहुत लंबे होते हैं। 2SAS यह अंतर नहीं कर पाता कि विफलता एक खराब होस्ट चयन के कारण हुई या एक खराब एक्शन चयन के कारण, जिससे दोनों पॉलिसी हेड्स का आपसी क्षरण (mutual degradation) होता है। PLR सफल ट्राजेक्टरीज के साथ रिप्ले बफर को भरने में विफल रहा जिससे रिकवरी संभव नहीं हो सकी।

5. महत्व (Significance)

बड़े पैमाने के RL अनुसंधान को सक्षम बनाना: NASimJax उस कम्प्यूटेशनल बाधा को हटा देता है जो पहले वास्तविक, बड़े पैमाने के नेटवर्क परिदृश्यों पर RL एजेंटों को प्रशिक्षित करने से रोकती थी। यह हाइपरपैरामीटर सर्च और व्यापक प्रयोगों को संभव बनाता है।
व्यावहारिक सुरक्षा अंतर्दृष्टि: यह निष्कर्ष कि स्पार्स नेटवर्क पर प्रशिक्षण घने नेटवर्क में बेहतर सामान्यीकरण में सुधार करता है, सुरक्षा टीमों के लिए एक लागत प्रभावी रणनीति का सुझाव देता है: जटिल लक्ष्यों पर तैनात करने से पहले मजबूत नीतियां बनाने के लिए सस्ते, सरल सिमुलेशन पर प्रशिक्षण लें।
मेथोडोलॉजिकल मार्गदर्शन: यह पेपर डीकंपोज्ड एक्शन स्पेस में क्रेडिट असाइनमेंट संरचनाओं के महत्व को रेखांकित करता है और लंबे हॉरिजों वाले कार्यों में करिकुलम लर्निंग (PLR) और जटिल एक्शन डीकंपोजिशन (2SAS) के सहज संयोजन के विरुद्ध चेतावनी देता है।
ओपन सोर्स प्लेटफॉर्म: एक लचीला, JAX-नेटिव फ्रेमवर्क प्रदान करके, NASimJax समुदाय को साइबर सुरक्षा के लिए नए एल्गोरिदम को तेजी से प्रोटोटाइप करने की अनुमति देता है, जिससे वे फिक्स्ड बेंचमार्क से आगे बढ़कर डायनेमिक, रिसर्च-ड्रिवन एनवायरनमेंट की ओर बढ़ सकते हैं।