तकनीकी सारांश: ट्राइडेंट (Trident) – डीप रिइन्फोर्समेंट लर्निंग को कैसे तोड़ें
समस्या विवरण
डीप रिइन्फोर्समेंट लर्निंग (DRL) पर आधारित स्वायत्त साइबर रक्षा प्रणालियाँ नेटवर्क की निगरानी करने और वास्तविक समय में समझौता किए गए होस्ट को रिकवर करने के लिए तेजी से तैनात की जा रही हैं। हालांकि, अनुकूलन योग्य खतरों (adaptive threats) के विरुद्ध उनकी मजबूती अभी भी गंभीर रूप से अल्प-अध्ययनित है। वर्तमान मूल्यांकन लगभग पूरी तरह से स्थिर, ह्यूरिस्टिक "रेड एजेंट्स" पर निर्भर करते हैं जिनके व्यवहार संबंधी हस्ताक्षर (behavioral signatures) निश्चित होते हैं। फलस्वरूप, DRL डिफेंडर्स ऐसी नीतियां विकसित करते हैं जो अप्रत्यक्ष रूप से इन स्थिर पैटर्नों पर आधारित होती हैं, जिससे व्यवस्थित ब्लाइंड स्पॉट्स (blind spots) पैदा होते हैं जिन्हें पारंपरिक मूल्यांकन विधियां उजागर करने में विफल रहती हैं।
साथ ही, जबकि गणित और सॉफ्टवेयर इंजीनियरिंग जैसे डोमेन में 'रिफोर्समेंट लर्निंग विद वेरिफिएबल रिवॉर्ड्स' (RLVR) ने लार्ज लैंग्वेज मॉडल (LLM) तर्क क्षमता को उन्नत किया है, साइबर सुरक्षा में इसके एकीकरण को उपयुक्त बेंचमार्क वातावरण की कमी के कारण बाधित किया गया है। मौजूदा साइबर सुरक्षा डेटासेट आमतौर पर स्थिर कॉर्पोरा या अलग-थलग CTF चुनौतियों की पेशकश करते हैं, जिनमें सक्रिय, अनुकूलन योग्य डिफेंडर्स के विरुद्ध एजेंटों को प्रशिक्षित करने के लिए आवश्यक निरंतर, बहु-चरणीय इंटरैक्शन का अभाव होता है। RLVR के माध्यम से LLM-आधारित रेड एजेंट्स को प्रशिक्षित करने के लिए वेरिफिएबल रिवॉर्ड सिग्नल के साथ स्थिर, दोहराने योग्य प्रतिकूल वातावरण प्रदान करने वाली बुनियादी संरचना में एक महत्वपूर्ण अंतर है।
कार्यप्रणाली (Methodology)
इन अंतरालों को संबोधित करने के लिए, लेखक ट्राइडेंट (Trident) पेश करते हैं, जो एक बेंचमार्क इंफ्रास्ट्रक्चर, एक डेटासेट और एक एजेंटिक आर्किटेक्चर वाला एक डायनेमिक रेड टीमिंग फ्रेमवर्क है।
1. ट्राइडेंट बेंचमार्क और डेटासेट
ट्राइडेंट दो हाई-फिडेलिटी सिम्युलेटर्स पर कार्य करता है: CybORG CAGE 4 (एक खंडित सैन्य नेटवर्क को मॉडल करता है जिसमें सहयोगात्मक मल्टी-एजेंट डिफेंडर्स हैं) और CyberWheel (जो हमलों को वास्तविक दुनिया की MITRE ATT&CK तकनीकों के आधार पर संचालित करता है)।
- इंफ्रास्ट्रक्चर: फ्रेमवर्क क्लाइंट-सर्वर आर्किटेक्चर के साथ आइसोलेटेड, कंटेनरीकृत सैंडबॉक्स सर्वर का उपयोग करता है। उत्पन्न की गई अटैक पॉलिसीज़ को इन सैंडबॉक्स में ट्रांसमिट किया जाता है, लाइव DRL डिफेंडर्स के विरुद्ध नेटिव रूप से निष्पादित किया जाता है, और वे नियतात्मक (deterministic), वेरिफिएबल निष्पादन लॉग वापस करते हैं।
- डेटासेट: लेखकों ने 13,000 से अधिक हाई-फिडेलिटी रेड-ब्लू इंटरैक्शन ट्राजेक्टरीज का एक डेटासेट बनाया है। इन ट्राजेक्टरीज को स्ट्रक्चर्ड नेचुरल लैंग्वेज लॉग्स में सीरियलाइज किया गया है, जो आंशिक अवलोकनों (partial observations), डिफरेंशियल होस्ट इंटेलिजेंस और एक्शन परिणामों को कैप्चर करते हैं, जो RLVR पोस्ट-ट्रेनिंग के लिए आधार के रूप में कार्य करते हैं।
2. ट्राइडेंट एजेंटिक आर्किटेक्चर
ट्राइडेंट एजेंटिक रेड एजेंट प्रशिक्षण समस्या को "कोड-एज़-पॉलिसीज़" प्रतिमान का उपयोग करके डेसेंट्रलाइज्ड पार्शियलली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (Dec-POMDP) से एक कॉन्टेक्स्टुअल बैंडिट (Contextual Bandit) समस्या में पुनर्गठित करता है। इस आर्किटेक्चर में तीन विशिष्ट मॉड्यूल शामिल हैं:
- लॉग समराइज़र (Log Summarizer): एक हाइब्रिड मॉड्यूल जो रूल-बेस्ड पार्सिंग और एक फ्रोजन LLM का उपयोग करके रॉ निष्पादन लॉग्स को कंप्रेस करता है। यह महत्वपूर्ण "माइलस्टोन" घटनाओं (जैसे सफल एक्सप्लॉइट्स, प्रिविलेज एस्केलेशन) को सुरक्षित रखता है जबकि विफल प्रयासों को सैंपल करता है, जिससे प्लानर के लिए एक सघन सिमेंटिक सारांश तैयार होता है।
- प्लानर (πθ): एकमात्र ट्रेन करने योग्य घटक (एक 7B पैरामीटर LLM)। यह संपीड़ित सारांश को संदर्भ के रूप में प्राप्त करता है और सिंगल फॉरवर्ड पास में एक उच्च-स्तरीय अटैक स्ट्रैजी उत्पन्न करता है, जो एक स्ट्रक्चर्ड JSON पेलोड आउटपुट देता है। इसे सैंडबॉक्स निष्पादन से प्राप्त वेरिफिएबल रिवॉर्ड्स का उपयोग करके ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) के माध्यम से अनुकूलित किया जाता है।
- कोडर (Coder): एक फ्रोजन LLM जो प्लानर की JSON स्ट्रैटेजी को निष्पादनीय पायथन कोड में अनुवादित करता है। यह एक एब्स्ट्रैक्ट सिंटेक्स ट्री (AST)-आधारित पैचिंग तंत्र और एक इटरेटिव सेल्फ-रिपेयर लूप (अधिकतम K=3 प्रयास) का उपयोग करता है ताकि तैनाती से पहले सिंटैक्स त्रुटियों को सुधारा जा सके, जिससे यह सुनिश्चित होता है कि प्लानर को आकस्मिक कार्यान्वयन शोर (incidental implementation noise) के लिए दंडित न किया जाए।
3. रिवॉर्ड डिज़ाइन
सिस्टम सीधे निष्पादन लॉग्स से प्राप्त एक सघन, वेरिफिएबल रिवॉर्ड फंक्शन का उपयोग करता है:
- पॉजिटिव माइलस्टोन्स (R+): किलचेन प्रोग्रेस (जैसे सिस्टम इम्पैक्ट, प्रिविलेज एस्केलेशन) के लिए वेटेज वाले रिवॉर्ड्स, जिसे उपलब्धि-से-स्टेप अनुपात के आधार पर एक एफिशिएंसी कोएफिशिएंट द्वारा बढ़ाया जाता है।
- नेगेटिव इवेंट्स (R−): विफल एक्सप्लॉइट्स, अमान्य क्रियाओं और ऑपरेशनल नॉइज़ के लिए दंड।
- एग्जीक्यूशन पेनल्टी: सिंटैक्स एरर, रनटाइम फेल्योर, या अनऑब्जर्वेबल सिम्युलेटर इंटरनल (जैसे डिकॉय फ्लैग्स) तक पहुँचने के प्रयासों के लिए सख्त दंड लागू किए जाते हैं, जिससे यह सुनिश्चित होता है कि एजेंट व्यवहार संबंधी अनुमान (behavioral inference) पर निर्भर रहे न कि विशेषाधिकार प्राप्त स्टेट एक्सेस पर।
प्रमुख योगदान
- ट्राइडेंट इवैल्यूएशन बेंचमार्क और डेटासेट: पहला क्रॉस-एनवायरनमेंट रेड टीमिंग बेंचमार्क जो CAGE 4 और CyberWheel को कवर करता है और लाइव DRL डिफेंडर्स के विरुद्ध वेरिफिएबल रिवॉर्ड्स के लिए आइसोलेटेड सैंडबॉक्स निष्पादन प्रदान करता है। इसमें विशेष रूप से RLVR ट्रेनिंग को सपोर्ट करने के लिए डिज़ाइन की गई 13,000+ ट्राजेक्टरीज का डेटासेट शामिल है।
- ट्राइडेंट एजेंटिक: एक ट्रिपार्टाइट एजेंटिक LLM आर्किटेक्चर जो "कोड-एज़-पॉलिसीज़" का लाभ उठाकर सीधे निष्पादनीय अटैक स्ट्रैटेजी जनरेशन को सक्षम करता है। स्टेप-बाय-स्टेप POMDP प्लानिंग की कम्प्यूटेशनल जटिलता से बचने के लिए स्ट्रैटेजी जनरेशन को कॉन्टेक्स्टुअल बैंडिट के रूप में मानकर यह कार्य करता है।
- DRL की भंगुरता (Brittleness) का अनुभवजन्य प्रमाण: फ्रेमवर्क यह प्रदर्शित करता है कि वर्तमान स्वायत्त डिफेंडर्स, स्थिर मूल्यांकन की तुलना में अनुकूलन योग्य हमलावरों के विरुद्ध काफी अधिक भंगुर हैं।
प्रयोगात्मक परिणाम
लेखकों ने CAGE 4 और CyberWheel दोनों में स्टेट-ऑफ-द-आर्ट DRL ब्लू एजेंट्स (GNN, HMARL, और MARL वेरिएंट सहित) के विरुद्ध ट्राइडेंट एजेंटिक का मूल्यांकन किया।
- प्रदर्शन में कमी: ट्राइडेंट एजेंटिक ने डिफॉल्ट ह्यूरिस्टिक बेसलाइन्स की तुलना में ब्लू एजेंट्स के रक्षात्मक प्रदर्शन को औसतन 522% कम कर दिया।
- बेसलाइन के साथ तुलना:
- स्टैटिक ह्यूरिस्टिक्स: पारंपरिक रेड एजेंट्स सीखा हुआ (learned) पॉलिसी की कमजोरियों को खोजने में विफल रहे।
- ज़ीरो-शॉट/CoT: जबकि ज़ीरो-शॉट प्रॉम्प्टिंग और चेन-ऑफ-थॉट (CoT) दृष्टिकोणों ने स्टैटिक बेसलाइन्स की तुलना में कुछ सुधार दिखाया, वे RLVR-ट्रेन्ड ट्राइडेंट एजेंटिक द्वारा काफी पीछे छोड़ दिए गए।
- फ्रंटियर मॉडल्स: RLVR के माध्यम से प्रशिक्षित एक 7B पैरामीटर मॉडल (ट्राइडेंट एजेंटिक) ने ज़ीरो-शॉट क्षमता में उपयोग किए गए फ्रंटियर-स्केल मॉडल्स (जैसे GPT-4o) के प्रदर्शन को पछाड़ दिया, जो कच्चे मॉडल स्केल के बजाय कार्य-विशिष्ट RLVR ट्रेनिंग की प्रभावकारिता को उजागर करता है।
- उभरते हुए व्यवहार (Emergent Behaviors): प्रशिक्षित एजेंटों ने नए अटैक वेक्टर्स की खोज की जिन्हें स्टैटिक ह्यूरिस्टिक्स प्रदर्शित नहीं कर सकते थे, जिनमें शामिल हैं:
- डिकॉय अवॉयडेंस (Decoy Avoidance): CyberWheel में, एजेंट ने बार-बार विफल होने वाले होस्ट्स पर हमलों को रद्द करना सीखा, जिससे प्रभावी रूप से हनीपॉट्स की पहचान और उनसे बचना सीखा।
- एडेप्टिव स्टेट प्रायोरिटाइजेशन (Adaptive State Prioritization): CAGE 4 में, एजेंट ने बेसिक टोही (reconnaissance) के बजाय उच्च-मूल्य वाले लक्ष्यों (जैसे रूट/यूजर एक्सेस) को प्राथमिकता देना सीखा, और नेटवर्क स्टेट के आधार पर डायनेमिक रूप से फोकस बदला।
महत्व और दावे
पेपर का दावा है कि ट्राइडेंट स्वायत्त साइबर रक्षा में एक मौलिक मूल्यांकन अंतराल को उजागर करता है: वर्तमान अभ्यास DRL डिफेंडर्स की अनुकूलन योग्य, जेनेरेटिव हमलावरों के प्रति संवेदनशीलता को गंभीर रूप से कम आंकते हैं। यह प्रदर्शित करके कि एक कॉम्पैक्ट, ओपन-वेट 7B LLM व्यवस्थित रूप से स्टेट-ऑफ-द-आर्ट डिफेंस को ध्वस्त कर सकता है, लेखक तर्क देते हैं कि क्षेत्र को स्टैटिक एडवर्सरी इवैल्यूएशन से आगे बढ़ना चाहिए।
ट्राइडेंट को केवल एक आक्रामक उपकरण के रूप में नहीं, बल्कि साइबर हमले और रक्षा के "सह-विकास" (co-evolution) के लिए एक आवश्यक बुनियादी ढांचे के रूप में प्रस्तुत किया गया है। इसका सिम्युलेटर-अग्नोस्टिक, RESTful सैंडबॉक्स डिज़ाइन उच्च-फिडेलिटी वातावरण के एकीकरण की अनुमति देता है, जिससे ऐसे ब्लू एजेंट्स को प्रशिक्षित करना संभव होता है जो जेनेरेटिव, एडेप्टिव खतरों के विरुद्ध मजबूत हों। लेखक इस बात पर जोर देते हैं कि इन क्षमताओं के बारे में पारदर्शिता आवश्यक है ताकि ऐसे हमलावर रणनीतियों के स्वतंत्र रूप से तैनात होने से पहले समान रूप से अनुकूलन योग्य, RL-संचालित रक्षात्मक प्रणालियों के विकास को गति दी जा सके।