Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपकी कार न केवल खुद चलती है, बल्कि अपने आस-पास की हर दूसरी कार, ट्रैफिक लाइट और सड़क के संकेतों से बात भी करती है। यह "व्हीकुलर नेटवर्क्स" (Vehicular Networks) का भविष्य है, जो हमारी सड़कों पर होने वाली एक उच्च-गति डिजिटल बातचीत है ताकि दुर्घटनाओं को रोका जा सके और यातायात को प्रबंधित किया जा सके। लेकिन यहाँ एक पेचीदा हिस्सा है: ये कारें बहुत तेज़ चल रही हैं, सड़कें भीड़भाड़ वाली हैं, और वे "हवाओं" (airwaves) का उपयोग करती हैं जिनसे वे बात करती हैं, जो कि केवल कुछ लेन वाले एक व्यस्त राजमार्ग की तरह हैं। यदि हर कोई एक साथ चिल्लाएगा, तो कोई भी कुछ सुन नहीं पाएगा। इस समस्या को हल करने के लिए, इंजीनियर "क्लस्टरिंग" (clustering) का उपयोग करते हैं, जो कारों को छोटी टीमों में समूह बनाने जैसा है, जिसका नेतृत्व एक "टीम कैप्टन" (क्लस्टर हेड) करता है ताकि बातचीत को व्यवस्थित किया जा सके। मुख्य सवाल जो शोधकर्ता सुलझाने की कोशिश कर रहे हैं वह यह है: यह कैप्टन बात करने का सबसे अच्छा तरीका कैसे तय करता है? क्या उसे टीम को सीधे एक-दूसरे से चिल्लाना चाहिए (एक कम-दूरी वाला "साइडलिंक" या D2D मोड), या उसे एक केंद्रीय टावर को कॉल करना चाहिए (एक सेलुलर या C-V2X मोड) ताकि संदेश को रिले किया जा सके? या फिर उसे कितनी ज़ोर से चिल्लाना चाहिए? यदि बहुत ज़ोर से चिल्लाया, तो आप पड़ोसियों को दबा देंगे; यदि बहुत धीरे चिल्लाया, तो आपका संदेश खो जाएगा।

यह शोध पत्र ठीक इसी समस्या में गहराई से उतरता है, और यह पूछता है कि कैसे ये कार कैप्टन ऊर्जा बर्बाद किए बिना नेटवर्क को विश्वसनीय बनाए रखने के लिए त्वरित और स्मार्ट निर्णय ले सकते हैं। लेखक एक समाधान प्रस्तावित करते हैं जिसे "डीप रीइन्फोर्समेंट लर्निंग" (Deep Reinforcement Learning) कहा जाता है, जो अनिवार्य रूप से एक कंप्यूटर प्रोग्राम है जो परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है, ठीक वैसे ही जैसे एक वीडियो गेम का पात्र हजारों बार खेलकर एक स्तर में बेहतर होता है। एक कठोर नियम पुस्तिका का पालन करने के बजाय, यह AI यातायात, हस्तक्षेप (interference) और बदलती दूरियों के बीच तालमेल बिठाना सीखता है। अध्ययन बताता है कि इन AI कैप्टनों को अपने वातावरण से सीखने की अनुमति देकर, वे पारंपरिक, नियम-आधारित तरीकों की तुलना में बेहतर विकल्प चुन सकते हैं, जिससे सुरक्षा संदेश जल्दी और विश्वसनीय रूप से पहुँचते हैं और बैटरी की शक्ति भी बचती है।

सड़क के स्मार्ट टीम कैप्टन

अध्ययन में, शोधकर्ताओं ने अपने विचार का परीक्षण करने के लिए एक आभासी राजमार्ग सिमुलेशन तैयार किया। उन्होंने 2 किलोमीटर लंबा सड़क का हिस्सा कल्पित किया जहाँ कारें 31 मीटर प्रति सेकंड (लगभग 70 मील प्रति घंटा) की गति से दौड़ रही थीं। इस डिजिटल दुनिया में, कारें केवल चल नहीं रही हैं; वे लगातार समूहों, या "क्लस्टर्स" में बन और टूट रही हैं, इस आधार पर कि कौन किसके करीब है। प्रत्येक क्लस्टर का एक नेता होता है, "क्लस्टर हेड", जिसका काम यह तय करना है कि समूह कैसे संचार करेगा।

शोधकर्ताओं ने इन लीडरों को एक विशिष्ट प्रकार के AI का उपयोग करके सोचने का एक नया तरीका सिखाया जिसे प्रॉक्सिमल पॉलिसी ऑप्टिमिज़ेशन (PPO) कहा जाता है। PPO को एक बहुत ही अनुशासित छात्र के रूप में समझें जो विभिन्न रणनीतियों को आज़माकर और फीडबैक प्राप्त करके सीखता है। इस मामले में, "छात्र" क्लस्टर हेड है। हर बार जब यह कोई निर्णय लेता है, तो इसे एक स्कोर (एक "इनाम") मिलता है। यदि यह संदेश को जल्दी और विश्वसनीय रूप से भेजने के लिए सही संचार मोड और पावर लेवल चुनता है, तो इसे उच्च स्कोर मिलता है। यदि यह देरी का कारण बनता है या बिजली बर्बाद करता है, तो इसे कम स्कोर मिलता है। समय के साथ, AI पूर्ण संतुलन सीख जाता है, और इस तथ्य के अनुकूल हो जाता है कि कारें हमेशा चलती रहती हैं और अन्य वाहनों से होने वाला "शोर" लगातार बदलता रहता है।

महान संचार मुकाबला (The Great Communication Showdown)

यह देखने के लिए कि क्या यह AI सीखने की विधि वास्तव में काम करती है, शोधकर्ताओं ने अपने PPO "छात्र" को पांच अन्य रणनीतियों, या "बेसलाइन्स" के खिलाफ खड़ा किया, जो यह दर्शाती हैं कि बिना किसी सीखने वाले मस्तिष्क के हम इस समस्या को कैसे हल कर सकते हैं:

1. दूरी के अनुमान लगाने वाले (The Distance Guessers): ये रणनीतियाँ केवल इस बात पर ध्यान देती हैं कि कारें एक-दूसरे से कितनी दूर हैं। यदि औसत दूरी 400 मीटर से कम है, तो वे सीधे एक-दूसरे से चिल्लाते हैं; अन्यथा, वे टावर को कॉल करते हैं। उन्हें कनेक्शन की वास्तविक गुणवत्ता या हस्तक्षेप की परवाह नहीं है।
2. पावर शेड्यूलर (The Power Schedulers): ये दूरी के अनुमान लगाने वालों के समान हैं, लेकिन वे दूरी के आधार पर थोड़ा अधिक स्मार्ट तरीके से चिल्लाने की कोशिश करते हैं।
3. "हमेशा टावर को कॉल करने वाली" टीम (The "Always Call the Tower" Team): यह रणनीति सीधे संचार को पूरी तरह से अनदेखा करती है और हमेशा सेलुलर नेटवर्क के माध्यम से संदेशों को रूट करती है।
4. रैंडम चैटर (The Random Chatter): यह रणनीति संचार मोड और पावर लेवल को पूरी तरह से यादृच्छिक (random) रूप से चुनती है, सिर्फ यह देखने के लिए कि क्या होता है।

इस डिजिटल दौड़ के परिणाम काफी स्पष्ट थे। PPO AI ने न केवल जीत हासिल की; बल्कि इसने खेलने का एक पूरी तरह से अलग तरीका दिखाया।

विश्वसनीयता: सुरक्षा जाल (Reliability: The Safety Net)
इन नेटवर्कों का सबसे महत्वपूर्ण काम सुरक्षा है। शोध पत्र ने "विश्वसनीयता" को मापा, जो सफलतापूर्वक पहुँचने वाले संदेशों का प्रतिशत है। PPO AI यहाँ चैंपियन था। 25 कारों के सिमुलेशन में, इसने 100.0% विश्वसनीयता प्राप्त की। 100 कारों के साथ भी, यह 99.750% पर अविश्वसनीय रूप से उच्च रहा। इसके विपरीत, "दूरी के अनुमान लगाने वाले" (गैर-सीखने वाले तरीके) संघर्ष कर रहे थे। 50 कारों के साथ, उनकी विश्वसनीयता गिरकर 87.297% हो गई, और 100 कारों के साथ, यह लगभग 94.971% थी। "हमेशा टावर को कॉल करने वाली" रणनीति और भी खराब प्रदर्शन करती है, 100 कारों के साथ यह 67.469% तक गिर गई। रैंडम रणनीति सबसे खराब थी, जो संदेशों को लगातार पहुँचाने में विफल रही। शोध पत्र सुझाव देता है कि AI ने उन "डेड ज़ोन" से बचना सीख लिया जहाँ सीधा चिल्लाना विफल हो जाता है और उस "भीड़" से भी जहाँ टावर को कॉल करना बहुत धीमा होता है, जिससे उसने एक ऐसा 'स्वीट स्पॉट' खोज लिया जिसे सरल नियम मिस कर देते हैं।

पावर: बैटरी बचाने वाला (Power: The Battery Saver)
यहाँ कहानी वास्तव में दिलचस्प हो जाती है। आमतौर पर, बेहतर विश्वसनीयता प्राप्त करने के लिए, आपको अधिक ज़ोर से चिल्लाना पड़ता है (अधिक शक्ति का उपयोग करना पड़ता है)। "दूरी के अनुमान लगाने वाले" और "हमेशा टावर को कॉल करने वाली" रणनीतियाँ संदेशों को जबरदस्ती पहुँचाने के लिए 18 dBm (शक्ति की एक विशिष्ट इकाई) के एक निश्चित, उच्च वॉल्यूम पर चिल्लाती हैं।
हालाँकि, PPO AI ने फुसफुसाना सीख लिया। इसने अपनी लगभग पूर्ण विश्वसनीयता प्राप्त करने के लिए काफी कम शक्ति का उपयोग किया। 25 कारों के लिए, इसने औसतन 10.013 dBm का उपयोग किया। 100 कारों के लिए, यह गिरकर 9.612 dBm हो गया। यह एक विशाल बचत है—निश्चित-शक्ति वाले बेसलाइन्स की तुलना में 8.39 dB कम शक्ति। शोध पत्र दिखाता है कि AI केवल भाग्यशाली नहीं था; इसने सीखा कि हमेशा ज़ोर से चिल्लाना ही सही उत्तर नहीं है। सही समय पर सही मोड चुनकर, इसने सुरक्षा से समझौता किए बिना ऊर्जा बचाई।

गति और दक्षता: ट्रेड-ऑफ (Speed and Efficiency: The Trade-off)
शोध पत्र ने "लेटेंसी" (संदेश पहुँचने में लगने वाला समय) और "स्पेक्ट्रल एफिशिएंसी" (हवाओं में कितना डेटा भरा जा सकता है) को भी देखा। यहाँ, सरल नियमों को थोड़ा लाभ मिला। दूरी-आधारित रणनीतियाँ कभी-कभी थोड़ी तेज़ थीं (100 कारों पर AI के 8.702 ms के मुकाबले लगभग 7.45 ms) और थोड़े अधिक डेटा को प्रसारित कर सकीं।
हालाँकि, लेखक बताते हैं कि यह गति एक भारी कीमत पर आई: बहुत कम विश्वसनीयता और बहुत अधिक बिजली का उपयोग। सरल नियम एक ऐसे स्प्रिंटर की तरह थे जो तेज़ दौड़ता है लेकिन अपने ही पैरों से टकराकर गिर जाता है, जबकि AI एक मैराथन धावक की तरह था जिसने एक स्थिर, विश्वसनीय गति बनाए रखी। शोध पत्र निष्कर्ष निकालता है कि सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए, AI की संदेश पहुँच सुनिश्चित करने (विश्वसनीयता) और शक्ति बचाने की क्षमता, गति में मामूली मिलीसेकंड बचाने की तुलना में कहीं अधिक मूल्यवान है।

आगे की राह के लिए इसका क्या अर्थ है

अध्ययन सुझाव देता है कि स्मार्ट ट्रैफिक का भविष्य "यदि आप पास हैं, तो चिल्लाएं; यदि आप दूर हैं, तो कॉल करें" जैसे कठोर नियमों का पालन करने के बारे में नहीं है। इसके बजाय, यह एक ऐसे नेटवर्क को दिमाग देने के बारे में है जो वातावरण को महसूस कर सके। PPO AI ने चलती कारों और हस्तक्षेप के वास्तविक, अराजक माहौल को संभालने के लिए सीखा, जिसे सरल गणितीय सूत्र नहीं कर सके।

हालाँकि परिणाम अभी कंप्यूटर सिमुलेशन पर आधारित हैं और वास्तविक दुनिया के ड्राइविंग परीक्षणों पर नहीं, फिर भी निष्कर्ष मजबूत हैं। शोध पत्र प्रदर्शित करता है कि सीखने-आधारित अनुकूल नीतियां (adaptive policies) पारंपरिक, केवल-दूरी वाले तरीकों से बेहतर प्रदर्शन कर सकती हैं। यह सिद्ध करता है कि नेटवर्क को विश्वसनीयता, गति और शक्ति के बीच संतुलन बनाना सिखाकर, हम अपनी सड़कों के लिए एक सुरक्षित और अधिक कुशल भविष्य बना सकते हैं। लेखक नोट करते हैं कि जबकि उनका तरीका एक बड़ा कदम है, भविष्य के कार्यों को और भी जटिल परिदृश्यों, जैसे बहु-शहर नेटवर्क और अपूर्ण जानकारी के साथ इन विचारों का परीक्षण करने की आवश्यकता होगी, ताकि यह सुनिश्चित किया जा सके कि वे वास्तविक दुनिया के लिए तैयार हैं। लेकिन फिलहाल, "स्मार्ट टीम कैप्टन" दृष्टिकोण हमारे जुड़े हुए वाहनों को सुरक्षित और कुशलतापूर्वक बात करने में मदद करने के लिए एक जीतने वाली रणनीति दिखता है।