Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions
यह शोध पत्र एक मॉडल-मुक्त निरंतर-समय सुदृढीकरण शिक्षण एल्गोरिदम, हॉक्स-सीटी डीडीपीजी (Hawkes-CT DDPG) प्रस्तावित करता है, जो पहले सिस्टम को एक परिमित-आयामी मार्कोवियन प्रतिनिधित्व के साथ सन्निकट करके और फिर नियतवान नीति प्रवणता शिक्षण (deterministic policy gradient learning) लागू करके मल्टीवेरिएट हॉक्स जंप-डिफ्यूजन द्वारा संचालित नॉन-मार्कोवियन स्टोकेस्टिक नियंत्रण समस्याओं को हल करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, खतरे शायद ही कभी अलग-थलग, स्वतंत्र घटनाओं के रूप में आते हैं। इसके बजाय, वे समूहों (clusters) में होने की प्रवृत्ति रखते हैं, जहाँ एक उल्लंघन या हमला दूसरे हमले की संभावना को बढ़ा देता है, जिससे नुकसान की एक श्रृंखलाबद्ध श्रृंखला बन जाती है। यह व्यवहार, जिसे 'सेल्फ-एक्साइटेशन' (self-excitation) कहा जाता है, भूकंप से लेकर वित्तीय बाजार के क्रैश तक हर चीज़ में एक मौलिक पैटर्न है, और यह साइबर जोखिम को समझने के लिए तेजी से केंद्रीय होता जा रहा है। ऐसे जोखिमों को प्रबंधित करने के लिए, रक्षकों को यह निर्णय लेने के लिए गतिशील (dynamic) होना चाहिए कि जैसे-जैसे खतरे का वातावरण बदलता है, वे अपने सीमित सुरक्षा संसाधनों को कैसे आवंटित करें। हालाँकि, इन निर्णयों को अनुकूलित करने के लिए पारंपरिक रूप से उपयोग किए जाने वाले गणितीय उपकरण तब संघर्ष करते हैं जब सिस्टम की स्मृति (memory) जटिल होती है। यदि हमले की संभावना पिछले घटनाओं के पूरे इतिहास पर निर्भर करती है न कि केवल वर्तमान क्षण पर, तो समस्या मानक तरीकों द्वारा कुशलता से हल करने के लिए बहुत उलझ जाती है।
शोधकर्ताओं की एक टीम ने इस जटिलता को सुलझाने के लिए एक नया दृष्टिकोण विकसित किया है, जिससे एक ऐसा तरीका तैयार हुआ है जो कंप्यूटर को वास्तविक समय में इष्टतम रक्षा रणनीतियाँ सीखने की अनुमति देता है, भले ही खतरे के अंतर्निहित नियम अज्ञात हों। उनका कार्य 'हॉक्स प्रोसेस' (Hawkes process) नामक एक विशिष्ट प्रकार के गणितीय मॉडल पर केंद्रित है, जिसे उस क्लस्टरिंग व्यवहार को पकड़ने के लिए डिज़ाइन किया गया है। चुनौती जो उन्हें मिली वह यह थी कि ये मॉडल "नॉन-मार्कोवियन" (non-Markovian) होते हैं, जिसका अर्थ है कि सिस्टम का भविष्य उसके पूरे अतीत पर निर्भर करता है, जिससे केवल वर्तमान स्थिति पर आधारित मानक, कुशल शिक्षण एल्गोरिदम का उपयोग करना असंभव हो जाता है। इस पर काबू पाने के लिए, शोधकर्ताओं ने सिस्टम की अनंत स्मृति को संकेतों के एक सीमित सेट में संकुचित करने का एक तरीका बनाया, जिससे एक इतिहास-निर्भर समस्या प्रभावी रूप से आधुनिक मशीन लर्निंग द्वारा हल की जा सकने वाली समस्या में बदल गई।
उनके समाधान का मूल "मार्कोवियनाइजेशन" (Markovianization) नामक एक तकनीक में निहित है। कल्पना कीजिए कि आप मौसम की भविष्यवाणी केवल वर्तमान तापमान को देखकर नहीं, बल्कि पिछले एक सदी में गिरी हुई हर एक बूंद को याद रखकर करने की कोशिश कर रहे हैं। यह उस स्तर की स्मृति है जो एक हॉक्स प्रोसेस रखता है। शोधकर्ताओं ने महसूस किया कि अतीत की हर घटना को याद रखने के बजाय, एक सरल, क्षयकारी फिल्टर (decaying filters) के संग्रह का उपयोग करके सिस्टम की स्मृति का अनुमान लगाया जा सकता है। उन्होंने एक नया 'स्टेट' (state) निर्मित किया जिसमें वर्तमान सिस्टम स्टेटस के साथ-साथ इन फिल्टरों का एक सेट शामिल है, जिनमें से प्रत्येक इस बात को ट्रैक करता है कि पिछले इवेंट्स समय के साथ कैसे कम हुए हैं। ऐसा करके, उन्होंने जटिल, इतिहास-निर्भर समस्या को एक प्रबंधनीय, परिमित-आयामी (finite-dimensional) समस्या में बदल दिया जिसे एक कंप्यूटर नेविगेट कर सकता है।
एक बार जब समस्या को इस सरल रूप में ढाल लिया गया, तो टीम ने एक निरंतर-समय सुदृढीकरण लर्निंग (continuous-time reinforcement learning) एल्गोरिदम लागू किया, जिसे उन्होंने 'हॉक्स सीटी-डीपीजी' (Hawkes CT-DDPG) नाम दिया। पारंपरिक तरीकों के विपरीत जो असतत चरणों (discrete steps) में सीखते हैं, यह एल्गोरिदम निरंतर सीखता है, और घटनाओं के घटित होने पर वास्तविक समय में अपनी रणनीति को समायोजित करता है। यह सिस्टम एक 'मॉडल-फ्री' (model-free) तरीके से काम करता है, जिसका अर्थ है कि इसे हमलों या रक्षा तंत्र को नियंत्रित करने वाले विशिष्ट गणितीय सूत्रों को जानने की आवश्यकता नहीं है। इसके बजाय, यह शुद्ध रूप से घटनाओं के समय, सिस्टम की स्थिति और विभिन्न कार्यों से जुड़ी लागतों को देखकर सीखता है। यह एक न्यूरल नेटवर्क का उपयोग एक "क्रिटिक" (critic) के रूप में करता है जो यह मूल्यांकन करता है कि निर्णय कितना अच्छा था, और एक अन्य नेटवर्क को "एक्टर" (actor) के रूप में उपयोग करता है जो अगला कदम उठाने का निर्णय लेता है, और सुरक्षा घटनाओं की कुल लागत को कम करने के लिए अपनी नीति को लगातार परिष्कृत करता है।
अपने तरीके का परीक्षण करने के लिए, शोधकर्ताओं ने तीन अलग-अलग प्रकार के खतरे के वातावरणों का अनुकरण (simulate) किया, जिनमें से प्रत्येक में इस बात का अलग पैटर्न है कि पिछले इवेंट्स भविष्य को कैसे प्रभावित करते हैं। पहले परिदृश्य में एक सरल घातीय (exponential) पैटर्न का उपयोग किया गया, जहाँ पिछले इवेंट्स का प्रभाव तेजी से और अनुमानित रूप से कम होता है। दूसरा 'एरलैंग' (Erlang) पैटर्न का उपयोग किया गया, जो एक अधिक जटिल, बहु-चरणीय क्षय प्रक्रिया का प्रतिनिधित्व करता है। तीसरा और सबसे कठिन परिदृश्य 'पावर-लॉ' (power-law) पैटर्न का था, जहाँ पिछले इवेंट्स का प्रभाव बहुत धीरे-धीरे कम होता है, जिससे स्मृति की एक लंबी, भारी पूंछ (heavy tail) बनती है जिसे मॉडल करना अत्यंत कठिन है। प्रत्येक मामले में, उन्होंने अपने निरंतर-समय शिक्षण पद्धति की तुलना मानक असतत-समय (discrete-time) शिक्षण तकनीकों और एक सैद्धांतिक "ओरेकल" (oracle) से की—जो एक आदर्श समाधान है जो पहले से ही सभी अंतर्निहित नियमों को जानता है।
परिणामों ने दिखाया कि नया तरीका अत्यधिक प्रभावी था। सरल घातीय मामले में, एल्गोरिदम लगभग एक आदर्श ओरेकल के समान प्रदर्शन करता है, जो स्थिर रक्षा रणनीतियों की तुलना में लागत को काफी कम करता है। जब शोधकर्ताओं ने अधिक जटिल एरलैंग और पावर-लॉ परिदृश्यों की ओर बढ़ाया, तो उनके दृष्टिकोण का लाभ और भी स्पष्ट हो गया। वह एल्गोरिदम जिसने सिस्टम के इतिहास का अनुमान लगाने के लिए मेमोरी फिल्टरों का उपयोग किया, उसने स्मृति संरचना को अनदेखा करने वाली मानक शिक्षण विधियों की तुलना में लगातार बेहतर प्रदर्शन किया। पावर-लॉ परिदृश्य में, जिसका कोई सटीक सरल प्रतिनिधित्व नहीं है, फिल्टर वाले एल्गोरिदम ने बिना मेमोरी फिल्टर वाले संस्करण की तुलना में औसत लागत को लगभग पांच प्रतिशत कम कर दिया। इसने प्रदर्शित किया कि पिछले इवेंट्स के इतिहास को इन फिल्टरों के माध्यम से पकड़ना अच्छे निर्णय लेने के लिए महत्वपूर्ण था।
इसके अलावा, अध्ययन ने सिद्ध किया कि यह दृष्टिकोण तब भी काम करता है जब खतरे के विशिष्ट विवरण अज्ञात हों। एल्गोरिदम ने बिना यह बताए कि खतरे की स्मृति का सटीक गणितीय आकार क्या है या हमलों के प्रसार को नियंत्रित करने वाले विशिष्ट गुणांक (coefficients) क्या हैं, लागत को कम करना सफलतापूर्वक सीखा। केवल घटनाओं के आगमन के समय और परिणामी सिस्टम स्टेट्स को देखकर, यह एक आंतरिक मॉडल बनाने में सक्षम था जो निकट-इष्टतम (near-optimal) रक्षा रणनीतियाँ खोजने के लिए पर्याप्त था। शोधकर्ताओं ने अपने निष्कर्षों को वहां सत्यापित किया जहां विश्लेषणात्मक समाधान मौजूद थे और वहां भी जहां उच्च-सटीकता वाले संख्यात्मक बेंचमार्क उपलब्ध थे, जिससे पुष्टि हुई कि उनकी विधि ने परीक्षण की गई सभी शिक्षण तकनीकों में से लगातार सर्वोत्तम परिणाम दिए।
यह कार्य जटिल, स्व-उत्तेजित प्रणालियों को प्रबंधित करने की दिशा में एक महत्वपूर्ण कदम है। यह दिखाता है कि भले ही कोई समस्या बहुत जटिल लगे क्योंकि यह बहुत अधिक इतिहास पर निर्भर करती है, लेकिन इतिहास का अनुमान लगाने के लिए सीमित उपकरणों के सेट का उपयोग करके एक व्यावहारिक समाधान ढूंढना संभव है। साइबर हमलों के निरंतर, विकसित होते खतरे का सामना कर रहे संगठनों के लिए, इसका अर्थ यह है कि अब आर्टिफिशियल इंटेलिजेंस का उपयोग करके सुरक्षा संसाधनों को गतिशील रूप से आवंटित करने के लिए एक व्यवहार्य मार्ग है, जो हर घटना से सीखकर खतरों की अगली लहर से बेहतर सुरक्षा प्रदान कर सकता है, और वह भी खतरे के जटिल गणित को पूरी तरह से समझे बिना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।