Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

तकनीकी सारांश: IoV सुरक्षा के लिए विश्वास-स्थान (Belief-Space) क्वांटम-प्रेरित सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या का निरूपण
यह शोध पत्र इंटरनेट ऑफ व्हीकल्स (IoV) में निहित सुरक्षा चुनौतियों को संबोधित करता है, जहाँ वातावरण की गतिशील और प्रतिकूल प्रकृति पारंपरिक स्थिर घुसपैठ पहचान प्रणालियों (IDS) को अप्रभावी बना देती है। मौजूदा दृष्टिकोण ऑफलाइन डेटासेट और निश्चित क्लासिफायर पर निर्भर करते हैं, जो अनुक्रमिक निर्णय लेने (sequential decision-making), हमलावर के अनुकूलन (attacker adaptation) और वास्तविक तैनाती की आंशिक दृश्यता (partial observability) को समझने में विफल रहते हैं। विशेष रूप से, लेखक वर्तमान सुदृढीकरण शिक्षण (RL) रक्षा प्रणालियों में एक महत्वपूर्ण सीमा की पहचान करते हैं: वे छिपे हुए हमलावर के इरादे (intent) को ट्रैक करने के लिए शास्त्रीय बेयसियन विश्वास मॉडल (classical Bayesian belief models) पर निर्भर करते हैं। आंशिक दृश्यता के तहत, विशेष रूप से जब हमलावर प्रोबिंग (probing) या इवेजन (evasion) रणनीतियों का उपयोग करते हैं, तो ये शास्त्रीय मॉडल अत्यधिक आत्मविश्वासी अनुमानों में "कोलैप्स" (collapse) होने लगते हैं। यह कोलैप्स पॉलिसी इनपुट को दूषित कर देता है, जिससे ठीक उसी समय रक्षात्मक क्रियाएं अनिश्चित और उच्च-विचलन वाली हो जाती हैं जब विश्वसनीय तर्क की सबसे अधिक आवश्यकता होती है।

कार्यप्रणाली: Q-BIRD
इन सीमाओं को दूर करने के लिए, लेखक क्वांटम बिलीफ-इंटीग्रेटेड रिइन्फोर्समेंट डिफेंस (Q-BIRD) का प्रस्ताव करते हैं। यह ढांचा IoV सुरक्षा को आंशिक दृश्यता के तहत एक अनुक्रमिक हमलावर-रक्षक संपर्क के रूप में मॉडल करता है, जिसे पार्टियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप में तैयार किया गया है।

1. क्वांटम-प्रेरित विश्वास प्रतिनिधित्व (Quantum-Inspired Belief Representation): शास्त्रीय दृष्टिकोणों के विपरीत, जो हमलावर के इरादे की परिकल्पनाओं पर एक प्रायिकता वेक्टर (probability vector) बनाए रखते हैं, Q-BIRD एक आयाम-आधारित विश्वास अवस्था ($\psi_t \in \mathbb{C}^H$) का उपयोग करता है। रक्षक एक जटिल संख्याओं (complex numbers) का स्टेट वेक्टर बनाए रखता है, जहाँ प्रत्येक प्रविष्टि एक संभावित हमलावर इरादे (जैसे, बेनाइन, प्रोबिंग, अटैक, इवेजन) के अनुरूप होती है।

   • विकास (Evolution): विश्वास अवस्था आयाम स्थान (amplitude space) में एक रैखिक रूपांतरण मैट्रिक्स ($U_t$) के माध्यम से विकसित होती है, न कि प्रत्यक्ष प्रायिकता अपडेट के माध्यम से।
   • प्रायिकता निष्कर्षण (Probability Extraction): प्रायोंता केवल आवश्यकता पड़ने पर बोर्न नियम (Born rule) ($b_t(\theta_i) = |\psi_t(i)|^2$) का उपयोग करके निकाली जाती है।
   • तंत्र (Mechanism): यह दृष्टिकोण अस्पष्ट या भ्रामक अवलोकनों के तहत परिकल्पनाओं के "सुपरपोजिशन" (superposition) में अनिश्चितता को बने रहने की अनुमति देता है। यह विश्वास के समयपूर्व कोलैप्स को रोकता है जो शास्त्रीय बेयसियन अपडेट में होता है, जिससे एक गैर-बेयसियन विश्वास विकास संभव होता है जो शोर और प्रतिकूल हेरफेर के प्रति अधिक मजबूत है।

2. RL के साथ एकीकरण: क्वांटम विश्वास अवस्था को एक प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) डिफेंडर में एकीकृत किया गया है। पॉलिसी ($\pi_\phi$) दृश्यमान सिस्टम स्टेट ($s_t$) और विश्वास अवस्था ($b_t$ या $\psi_t$) दोनों को इनपुट के रूप में लेती है। रक्षक संचयी क्षति और परिचालन लागत को कम करने के लिए लागत-जागरूक शमन क्रियाएं (अलर्टिंग, थ्रॉटलिंग, आइसोलेशन) चुनता है।

3. खतरा मॉडल (Threat Model): वातावरण में एक अनुकूलनशील हमलावर (adaptive attacker) है जिसका एक छिपा हुआ इरादा वाला स्टेट है जो रक्षक की क्रियाओं के आधार पर विकसित होता है। हमलावर पता लगाने से बचने के लिए प्रोबिंग, सक्रिय हमले और इवेजन रणनीतियों के बीच गतिशील रूप से बदलता रहता है, जिससे एक नॉन-स्टेशनरी वातावरण बनता है।

प्रमुख योगदान
यह शोध पत्र चार प्राथमिक योगदानों को रेखांकित करता है:

1. निरूपण (Formulation): IoV सुरक्षा को एक अनुक्रमिक निर्णय प्रक्रिया के रूप में तैयार किया गया है जिसमें एक अनुकूलनशील हमलावर एक छिपे हुए इरादे वाले स्टेट के साथ कार्य करता है।
2. क्वांटम-प्रेरित विश्वास (Quantum-Inspired Belief): एक नवीन आयाम-आधारित विश्वास प्रतिनिधित्व प्रस्तावित किया गया है जो अस्पष्ट अवलोकनों के तहत इरादे की परिकल्पनाओं में वितरित अनिश्चितता को सुरक्षित रखता है, जो कोलैप्स-प्रोन शास्त्रीय बेयसियन विश्वासों के विपरीत है।
3. पॉलिसी एकीकरण (Policy Integration): क्वांटम विश्वास अवस्था को एक PPO-आधारित डिफेंडर में एकीकृत किया गया है, जो दृश्यमान स्टेट और विश्वास अनिश्चितता दोनों पर आधारित लागत-जागरूक शमन क्रियाओं की अनुमति देता है।
4. सत्यापन (Validation): ढांचे को नियंत्रित सिमुलेशन और पोस्ट-हॉक व्याख्यात्मकता विश्लेषण (SHAP, LIME, Grad-CAM) के माध्यम से मान्य किया गया है, जो पुष्टि करता है कि क्वांटम विश्वास अवस्था हमलावर रणनीति संक्रमण के दौरान प्राथमिक निर्णय सिग्नल के रूप में कार्य करती है।

प्रायोगिक परिणाम
इस दृष्टिकोण का मूल्यांकन एक अनुकूलनशील हमलावर मॉडल के साथ 600 प्रशिक्षण एपिसोड और 80 परीक्षण एपिसोड का उपयोग करके एक सिम्युलेटेड IoV वातावरण में किया गया था। इसकी तुलना PPO विद क्लासिकल बेयसियन बिलीफ, Q-Learning और रैंडम पॉलिसी सहित बेसलाइन्स से की गई थी।

• क्षति में कमी (Damage Reduction): प्रस्तावित विधि ने शास्त्रीय बेयसियन विश्वास वाले PPO की तुलना में संचयी माध्य क्षति में 60.4% की कमी दर्ज की (27.495 बनाम 69.348)।
• स्थिरता (Stability): महत्वपूर्ण रूप से, इस पद्धति ने क्षति विचरण (damage variance) में 90.2% की कमी प्रदर्शित की (3.636 बनाम 37.054), जो 10.2 गुना बेहतर स्थिरता का प्रतिनिधित्व करती है। यह दर्शाता है कि डिफेंडर का व्यवहार काफी अधिक अनुमानित और विश्वसनीय है।
• हमला सफलता दर (ASR): क्वांटम PPO ने परीक्षण एपिसोड में 0.000 का ASR प्राप्त किया, जो शास्त्रीय PPO बेसलाइन (0.247) की तुलना में 50% सुधार है।
• उत्तरजीविता संभावना (Survival Probability): उत्तरजीविता संभावना में 46.4% की वृद्धि हुई (1.000 बनाम 0.683)।
• एब्लेशन निष्कर्ष (Ablation Findings): अध्ययन ने नोट किया कि एक रैंडम पॉलिसी ने वास्तव में शास्त्रीय विश्वास वाले PPO की तुलना में माध्य क्षति में बेहतर प्रदर्शन किया। यह सुझाव देता है कि शास्त्रीय विश्वास मॉडल इवेजन के दौरान नीति को गलत, अत्यधिक आत्मविश्वासी डेटा प्रदान करके सक्रिय रूप से नुकसान पहुँचाता है, जबकि क्वांटम विश्वास अनिश्चितता बनाए रखता है, जिससे नीति सुसंगत बनी रहती है।

महत्व और दावे
शोध पत्र का दावा है कि प्रदर्शन में वृद्धि का प्राथमिक स्रोत क्वांटम-प्रेरित विश्वास प्रतिनिधित्व है, न कि अंतर्निहित RL एल्गोरिदम (PPO), जैसा कि एब्लेशन अध्ययनों से पुष्टि हुई है जहाँ केवल विश्वास अपडेट तंत्र भिन्न था। लेखक का तर्क है कि गैर-शास्त्रीय अनिश्चितता प्रतिनिधित्व बिना किसी क्वांटम हार्डवेयर की आवश्यकता के IoV नेटवर्क के लिए बेहतर सुरक्षा प्रदान करते हैं; "क्वांटम" पहलू अनिश्चितता को दर्शाने के लिए एक गणितीय ढांचा है जिसे क्लासिकल हार्डवेयर पर लागू किया जाता है।

इसका महत्व शास्त्रीय विश्वास मॉडलों में विफलता के विशिष्ट मोड को संबोधित करने में निहित है: भ्रामक अवलोकनों के तहत अनिश्चितता का "कोलैप्स"। आयाम स्थान (amplitude space) में अनिश्चितता को संरक्षित करके, Q-BIRD रणनीति संक्रमणों के दौरान मजबूत निर्णय लेने में सक्षम बनाता है, जो सुरक्षा-महत्वपूर्ण IoV वातावरण में अनुकूलनशील विरोधियों के खिलाफ एक स्थिर और प्रभावी रक्षा प्रदान करता है। यह कार्य सुझाव देता है कि भविष्य के स्वायत्त रक्षा प्रणालियों को आधुनिक साइबर खतरों की अस्पष्टता और अनुकूलन क्षमता को संभालने के लिए स्थिर पहचान और शास्त्रीय संभाव्यता मॉडलिंग से आगे बढ़ना होगा।