📊 statistics

Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning

यह शोध पत्र CR-DRL का प्रस्ताव करता है, जो वेहिकुलर ऑपर्चुनिस्टिक नेटवर्क्स के लिए एक डीप रिइन्फोर्समेंट लर्निंग-आधारित डायनेमिक क्लस्टर रूटिंग प्रोटोकॉल है, जो अत्यधिक गतिशील वातावरण में रिले चयन और क्लस्टर ओवरलैप को अनुकूलित करके ऊर्जा दक्षता को महत्वपूर्ण रूप से बढ़ाता है, नोड के जीवनकाल को बढ़ाता है और डिलीवरी विश्वसनीयता में सुधार करता है।

मूल लेखक: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

प्रकाशित 2026-02-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meisam Sharifi Sani, Saeid Iranmanesh, Raad Raad, Faisel Tubbal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसे शहर की कल्पना करें जहाँ हज़ारों कारें घूम रही हैं, लेकिन वहाँ कोई ट्रैफिक लाइट नहीं है, कोई सेल टॉवर नहीं है, और न ही उन्हें जोड़ने के लिए कोई इंटरनेट केबल है। इसके बजाय, ये कारें एक-दूसरे से सीधे बात करती हैं, जैसे सड़क पर गुजरते समय दोस्त एक-दूसरे को कोई राज़ की बात फुसफुसा रहे हों। यह वही है जिसे शोधकर्ता ऑपर्चुनिस्टिक नेटवर्क (Opportunistic Network) कहते हैं।

समस्या क्या है? कारें तेज़ चलती हैं। एक सेकंड में, कार A कार B के पास होती है; अगले ही सेकंड, वे मीलों दूर होती हैं। यदि कार A के पास कार C के लिए कोई संदेश है, लेकिन कार B बीच में है, तो कार A को उस संदेश को "स्टोर" करना होगा, उसे चलते हुए "ले जाना" (carry) होगा, और केवल तभी उसे कार C को "फॉरवर्ड" करना होगा जब वे दोबारा मिलें। इसे स्टोर-कैरी-फॉरवर्ड (Store-Carry-Forward) कहा जाता है।

लेकिन यहाँ एक पेच है। यदि हर कार हर उस कार को संदेश चिल्लाकर बताने की कोशिश करती है जिससे वह मिलती है, तो नेटवर्क जाम हो जाएगा (जैसे एक भीड़भाड़ वाली पार्टी जहाँ हर कोई एक साथ बोल रहा हो)। साथ ही, कारों की बैटरी और मेमोरी सीमित होती है। यदि कोई कार बहुत थक जाती है (कम बैटरी) या संदेशों से बहुत भर जाती है (फुल मेमोरी), तो वह अब मदद नहीं कर सकती।

समाधान: "स्मार्ट ट्रैफिक कैप्टन" (CR-DRL)

इस शोध पत्र के लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे CR-DRL कहा जाता है। इसे एक सुपर-स्मार्ट, खुद सीखने वाले ट्रैफिक कैप्टन के रूप में समझें जो इन अराजक कारों को टीमों में व्यवस्थित करता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. टीमें बनाना (क्लस्टरिंग - Clustering)

हर कार के हर दूसरी कार से बात करने के बजाय, सिस्टम पास की कारों को क्लस्टर्स (जैसे छोटे पड़ोस) में समूहबद्ध करता है।

क्लस्टर हेड (Cluster Head): हर पड़ोस में, एक कार को "टीम कैप्टन" (क्लस्टर हेड) के रूप में चुना जाता है। यह कैप्टन समूह की अन्य कारों से संदेश एकत्र करने और उन्हें आगे बढ़ाने के लिए जिम्मेदार होता है।
कैप्टन कौन बनेगा? पुराने दिनों में, वे शायद पहली दिखने वाली कार को चुन लेते थे। लेकिन इस नए सिस्टम में, AI कप्तान चुनने से पहले तीन चीजों को देखता है:
1. ऊर्जा (Energy): क्या कार की बैटरी फुल है? (हम ऐसा कार नहीं चुनना चाहते जो मरने ही वाली हो)।
2. मेमोरी (Memory): क्या कार के पास संदेशों को रखने के लिए अपने ट्रंक (बफर) में जगह है?
3. सामाजिक कौशल (Social Skills): क्या इस कार ने हाल ही में कई अन्य कारों से मुलाकात की है? (एक कार जो बहुत से लोगों से मिलती है, वह संदेशों को आगे बढ़ाने में बेहतर होती है)।

2. "दिमाग" (डीप रिइन्फोर्समेंट लर्निंग - Deep Reinforcement Learning)

सिस्टम को कैसे पता चलता है कि कौन सा कार सबसे अच्छा कप्तान है? यह डीप रिइन्फोर्समेंट लर्निंग (DRL) का उपयोग करता है।

उपमा: एक वीडियो गेम चरित्र को खेलते हुए सीखने की कल्पना करें। शुरू में, वह गलतियाँ करता है और अंक खो देता है। लेकिन हर बार जब वह एक अच्छा कदम उठाता है (जैसे फुल बैटरी वाली कार को कप्तान चुनना), तो उसे एक "रिवॉर्ड" (पुरस्कार) मिलता है। समय के साथ, AI किसी की बैटरी खत्म किए बिना नेटवर्क को सुचारू रूप से चलाने के लिए एकदम सही रणनीति सीख जाता है।
एक्टर-क्रिटिक (Actor-Critic): यह पेपर एक विशिष्ट प्रकार के AI का उपयोग करता है जिसे "एक्टर-क्रिटिक" कहा जाता है।
- एक्टर (Actor) निर्णय लेने वाला है (यह कप्तान चुनता है)।
- क्रिटिक (Critic) जज है (यह कहता है, "अच्छा काम किया!" या "यह एक बुरा चुनाव था, फिर से कोशिश करो")।
- वे वास्तविक समय में बेहतर निर्णय लेने के लिए मिलकर काम करते हैं।

3. "लचीली बाड़" (डायनेमिक ओवरलैप - Dynamic Overlap)

पुराने तरीकों में, इन "पड़ोसों" का आकार निश्चित था। यदि शहर खाली था, तो पड़ोस बहुत छोटे थे। यदि शहर में भीड़ थी, तो पड़ोस बहुत बड़े और अराजक थे।

नवाचार: CR-DRL एक "स्मार्ट फेंस" (जिसे ह्यूरिस्टिक फंक्शन कहा जाता है) का उपयोग करता है।
- यदि शहर भीड़भाड़ वाला है, तो फेंस सिकुड़ जाती है ताकि टीमें छोटी और कुशल बनी रहें।
- यदि शहर खाली है, तो फेंस फैल जाती है ताकि टीमें दूर तक पहुँच सकें और जुड़े रह सकें।
- यह सुनिश्चित करता है कि भले ही कारें दूर हों, नेटवर्क जुड़ा रहे, जैसे एक रबर बैंड जो बिल्कुल सही तरीके से खिंचता और सिकुड़ता है।

4. "पुल बनाने वाले" (कॉमन मेंबर्स - Common Members)

कभी-कभी एक संदेश को पड़ोस A से पड़ोस C तक जाना होता है, लेकिन वे आपस में नहीं मिलते।

सिस्टम एक ऐसी कार को ढूंढता है जो दोनों पड़ोसों का हिस्सा है (एक "कॉमन मेंबर")। यह कार एक पुल के रूप में कार्य करती है, जो संदेश को एक टीम से दूसरी टीम तक ले जाती है।
AI यह सुनिश्चित करता है कि इन पुलों को सावधानी से चुना जाए ताकि लूप (कारों का चक्कर लगाना) से बचा जा सके और रास्ता छोटा रखा जा सके।

यह क्यों मायने रखता है? (परिणाम)

शोधकर्ताओं ने एक व्यस्त शहर के सिमुलेशन में इस सिस्टम का परीक्षण किया। यहाँ पुराने तरीकों की तुलना में उनके निष्कर्ष दिए गए हैं:

लंबा जीवन: कारें (नोड्स) 21% अधिक समय तक टिकी रहीं क्योंकि AI थकी हुई कारों को भारी काम करने के लिए नहीं चुनता था।
कम बर्बादी: पूरे नेटवर्क ने 17% कम ऊर्जा का उपयोग किया।
तेज़ डिलीवरी: संदेश 28.5% तेज़ी से पहुँचे क्योंकि AI ने सबसे अच्छे रास्ते खोज लिए।
कम स्टॉप्स: संदेशों को अपने गंतव्य तक पहुँचने के लिए 30% कम "हॉप्स" (स्टॉप्स) की आवश्यकता पड़ी।
स्थिरता: जब ट्रैफिक पागलपन भरा था, तब भी नेटवर्क बहुत बेहतर तरीके से जुड़ा रहा।

बड़ी तस्वीर (The Big Picture)

CR-DRL को चलती हुई कारों के ऑर्केस्ट्रा के लिए एक स्मार्ट कंडक्टर के रूप में सोचें। इसके बजाय कि हर कोई बेतरतीब ढंग से बजाए और शोर मचाए, कंडक्टर उन्हें अलग-अलग हिस्सों में व्यवस्थित करता है, सर्वश्रेष्ठ सोलोइस्ट (कैप्टन) चुनता है कि किसके पास खेलने की ऊर्जा है, और कितने संगीतकार मंच पर हैं इसके आधार पर संगीत (नेटवर्क का आकार) को समायोजित करता है।

यह कारों को कुशलतापूर्वक एक-दूसरे से बात करने, अपनी बैटरी बचाने और संदेशों को जल्दी से गंतव्य तक पहुँचाने की अनुमति देता है, भले ही शहर अराजक क्यों न हो। यह हमारे भविष्य के स्मार्ट शहरों को बिना लाखों सेल टावर की आवश्यकता के सुचारू रूप से चलाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

व्हीकुलर ऑपर्चुनिस्टिक नेटवर्क्स (OppNets) स्टोर-कैरी-फॉरवर्ड (SCF) प्रतिमान (paradigm) के तहत कार्य करते हैं, जहाँ डेटा को नोड्स पर संग्रहीत किया जाता है और कनेक्टिविटी पुनः स्थापित होने पर आगे बढ़ाया जाता है। हालाँकि, ये नेटवर्क निम्नलिखित कारणों से महत्वपूर्ण चुनौतियों का सामना करते हैं:

अत्यधिक गतिशील टोपोलॉजी (Highly Dynamic Topology): वाहनों की तीव्र गतिशीलता के कारण रुक-रुक कर कनेक्टिविटी और बार-बार नेटवर्क विभाजन (partitions) होता है।
संसाधन संबंधी सीमाएँ (Resource Constraints): नोड्स पर सीमित ऊर्जा (बैटरी) और बफ़र क्षमता।
रूटिंग अक्षमताएँ (Routing Inefficiencies): पारंपरिक रूटिंग प्रोटोकॉल अप्रत्याशित संपर्क पैटर्न के कारण संघर्ष करते हैं, जिससे उच्च विलंबता (latency), कम डिलीवरी अनुपात और अत्यधिक ऊर्जा खपत होती है।
मौजूदा विधियों की सीमाएँ:
- क्लस्टरिंग-आधारित विधियाँ अक्सर स्थिर थ्रेशोल्ड या निश्चित बुनियादी ढांचे (जैसे रोडसाइड यूनिट्स - RSUs) पर निर्भर करती हैं, जो तेजी से बदलते घनत्व के अनुकूल होने में विफल रहती हैं।
- रीइन्फोर्समेंट लर्निंग (RL) विधियाँ अक्सर उच्च कम्प्यूटेशनल ओवरहेड, गतिशील वातावरण में खराब अभिसरण (convergence), या वर्कलोड असंतुलन (एक ही नोड को बार-बार क्लस्टर हेड के रूप में चुनना) से ग्रस्त होती हैं।
TCP/IP संगतता (TCP/IP Compatibility): OppNets में अक्सर मानक TCP/IP प्रोटोकॉल के लिए आवश्यक स्थिर कनेक्शनों का अभाव होता है।

2. कार्यप्रणाली: CR-DRL

लेखक CR-DRL (डीप रीइन्फोर्समेंट लर्निंग का उपयोग करके क्लस्टर-आधारित रूटिंग) प्रस्तावित करते हैं, जो एक अभिनव प्रोटोकॉल है जो गतिशील क्लस्टर प्रबंधन के लिए एक ह्यूरिस्टिक फंक्शन के साथ एक्टर-क्रिटिक (AC) डीप लर्निंग फ्रेमवर्क को एकीकृत करता है।

A. सिस्टम मॉडल और आर्किटेक्चर

नेटवर्क: एक शहर-स्तरीय व्हीकुलर नेटवर्क जहाँ नोड्स (वाहन) मिश्रित मोबिलिटी मॉडल (Random Waypoint, Gauss-Markov, Working Day Movement) के अनुसार चलते हैं।
क्लस्टरिंग (Clustering): नोड्स को क्लस्टरों में समूहीकृत किया जाता है। प्रत्येक क्लस्टर में एक क्लस्टर हेड (CH) होता है जो गेटवे के रूप में कार्य करता है और कॉमन मेंबर्स (Common Members) क्लस्टरों के बीच रिले के रूप में कार्य करते हैं।
आभासी खंड (Virtual Segments): प्रोटोकॉल भौतिक बुनियादी ढांचे के बिना TCP/IP संगतता सक्षम करने के लिए "आभासी नेटवर्क खंड" बनाता है।

B. डीप रीइन्फोर्समेंट लर्निंग (एक्टर-क्रिटिक फ्रेमवर्क)

रूटिंग और क्लस्टर हेड चयन को एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में मॉडल किया गया है:

स्टेट स्पेस ( $s$ ): एकत्रित नोड अवस्थाएँ जिनमें शामिल हैं:
- अधिकतम एनकाउंटर रेट ( $\phi_{v_{imax}}$ ): पड़ोसियों के साथ संपर्क की ऐतिहासिक आवृत्ति।
- अवशिष्ट ऊर्जा ( $\Psi_{vi}$ ): प्रारंभिक ऊर्जा के सापेक्ष शेष बैटरी।
- बफ़र आकार ( $\eta_{vi}$ ): क्षमता के सापेक्ष वर्तमान बफ़र अधिभोग (occupancy)।
एक्शन स्पेस ( $a$ ): इष्टतम क्लस्टर हेड का चयन।
रिवॉर्ड फंक्शन ( $R$ ): एक भारित योग (weighted sum) जो एंड-टू-एंड (E2E) विलंब को कम करते हुए डिलीवरी अनुपात और थ्रूपुट को अधिकतम करने के लिए डिज़ाइन किया गया है:
$R = M_1(\hat{\mu}) + M_2(\hat{\eth}) - M_3(\hat{D})$
जहाँ $\hat{\mu}$ डिलीवरी अनुपात है, $\hat{\eth}$ थ्रूपुट है, और $\hat{D}$ विलंब है।
स्थिरता तंत्र (Stability Mechanisms): DRL में सामान्य अभिसरण समस्याओं को रोकने के लिए, लेखक निम्नलिखित का उपयोग करते हैं:
- एन्ट्रॉपी रेगुलराइजेशन (Entropy Regularization): अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाता है।
- एक्सपीरियंस रिप्ले (Experience Replay): क्षणिक अवस्थाओं पर ओवरफिटिंग से बचने के लिए पिछले रूटिंग निर्णयों से सीखता है।
- अनुकूली लर्निंग दर और ग्रेडिएंट क्लिपिंग (Adaptive Learning Rates & Gradient Clipping): स्थिर प्रशिक्षण सुनिश्चित करता है।

C. एडेप्टिव डिस्टेंस थ्रेशोल्ड (ADT) ह्यूरिस्टिक

विभिन्न घनत्वों में क्लस्टर के आकार की समस्या को हल करने के लिए, एक ह्यूरिस्टिक फंक्शन क्लस्टर बनाने के लिए नोड्स के बीच अधिकतम अनुमत दूरी को गतिशील रूप से समायोजित करता है:

फॉर्मूला: $\varrho_d = \Delta \cdot \frac{1}{\sqrt{H}}$ , जहाँ $H$ नोड घनत्व है और $\Delta$ एक स्केलिंग फैक्टर है (जिसे 1.5 पर अनुकूलित किया गया है)।
कार्य:
- कम-घनत्व वाले क्षेत्रों में, थ्रेशोल्ड बढ़ता है, जिससे क्लस्टर कनेक्टिविटी बनाए रखने के लिए बड़े दूरियों तक फैल सकते हैं।
- उच्च-घनत्व वाले क्षेत्रों में, थ्रेशोल्ड घटता है, जिससे क्लस्टर बहुत बड़े होने से बचते हैं और इंट्रा-क्लस्टर संचार ओवरहेड कम होता है।

D. रूटिंग प्रक्रिया

क्लस्टर गठन: नोड्स मैनहट्टन दूरी की गणना करते हैं और AC एल्गोरिदम की पॉलिसी के आधार पर CH का चयन करते हैं।
डेटा ट्रांसमिशन: स्रोत अपने CH को डेटा भेजता है।
इंटर-क्लस्टर फॉरवर्डिंग: CHs, गंतव्य क्लस्टर तक पहुँचने के लिए कॉमन मेंबर्स (क्लस्टरों के बीच साझा किए गए नोड्स) को डेटा अग्रेषित करते हैं।
लूप रोकथाम: यह 300s के TTL और 10 के हॉप काउंट लिमिट का उपयोग करता है। संदेश लूप से बचने के लिए विज़िट किए गए क्लस्टरों को ट्रैक करते हैं।

3. मुख्य योगदान

अभिनव AC-आधारित रूटिंग: वास्तविक समय की ऊर्जा, एनकाउंटर रेट और बफ़र मेट्रिक्स के आधार पर गतिशील क्लस्टर हेड चयन के लिए विशेष रूप से डीप रीइन्फोर्समेंट लर्निंग (एक्टर-क्रिटिक) मॉडल का उपयोग करने वाला पहला OppNets प्रोटोकॉल।
डायनेमिक ओवरलैप एडजस्टमेंट: नोड घनत्व के आधार पर क्लस्टर ओवरलैप को गतिशील रूप से समायोजित करने के लिए ADT ह्यूरिस्टिक का परिचय, जो फिक्स्ड-डिस्टेंस क्लस्टरिंग की स्केलेबिलिटी समस्याओं को हल करता है।
TCP/IP संगतता: एक मिडलवेयर आर्किटेक्चर जो डायनेमिक क्लस्टरों को आभासी नेटवर्क खंडों में बदल देता है, जिससे बिना रोडसाइड यूनिट्स (RSUs) के मानक TCP/IP प्रोटोकॉल को बाधित (intermittent) OppNets में कार्य करने की अनुमति मिलती है।
संतुलित संसाधन उपयोग: AC एल्गोरिदम नोड क्षमताओं का गतिशील मूल्यांकन करके वर्कलोड असंतुलन को रोकता है, यह सुनिश्चित करता है कि किसी एक नोड का क्लस्टर हेड के रूप में अत्यधिक उपयोग न हो।

4. सिमुलेशन परिणाम

प्रोटोकॉल का मूल्यांकन हेलसिंकी मैप परिदृश्य (50–250 नोड्स) के साथ ONE (ओपर्चुनिस्टिक नेटवर्क एनवायरनमेंट) सिम्युलेटर का उपयोग करके किया गया था। इसकी तुलना EEHCHR, SCF-Architecture, Mobility Adaptive, RLProph, और Latency-Aware रूटिंग जैसे बेसलाइन से की गई थी।

प्रमुख प्रदर्शन सुधार:

ऊर्जा दक्षता (Energy Efficiency):
- नोड जीवनकाल को 21% तक बढ़ाता है।
- समग्र ऊर्जा खपत को 17% कम करता है।
- बेंचमार्क की तुलना में नोड्स को 15% अधिक समय तक सक्रिय रखता है।
संचार प्रदर्शन (Communication Performance):
- डिलीवरी अनुपात: बेसलाइन से 10% तक अधिक।
- विलंबता (Latency): 28.5% कम E2E विलंब।
- थ्रूपुट: 7% अधिक डेटा थ्रूपुट।
- हॉप काउंट: 30% कम ट्रांसमिशन स्टेप्स (हॉप्स) की आवश्यकता।
स्थिरता (Stability):
- SCF-Architecture की तुलना में नेटवर्क विभाजन को 85% कम करता है।
- 35 सेकंड के भीतर पूर्ण कनेक्टिविटी (1 पार्टीशन) प्राप्त करता है, जबकि SCF खंडित (fragmented) रहता है।
- क्लस्टर हेड चेंज रेट को काफी कम करता है, जो अधिक स्थिर क्लस्टर का संकेत देता है।

5. महत्व

CR-DRL प्रोटोकॉल व्हीकुलर एड-हॉक नेटवर्क्स (VANETs) और स्मार्ट सिटी इंफ्रास्ट्रक्चर में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। डायनेमिक टोपोलॉजी (गतिशील टोपोलॉजी) को संभालने और दक्षता (ऊर्जा और विलंबता) के बीच महत्वपूर्ण ट्रेड-ऑफ को सफलतापूर्वक हल करके, यह डीप रीइन्फोर्समेंट लर्निंग को ह्यूरिस्टिक क्लस्टरिंग के साथ जोड़ता है।

इसकी आभासी स्थिर लिंक बनाने की क्षमता इसे अत्यधिक गतिशील, बुनियादी ढांचा-रहित वातावरण में मानक इंटरनेट प्रोटोकॉल (TCP/IP) तैनात करने के लिए एक व्यवहार्य उम्मीदवार बनाती है। यह अधिक विश्वसनीय इंटेलिजेंट ट्रांसपोर्ट सिस्टम (ITS), रीयल-टाइम ट्रैफिक प्रबंधन और भविष्य के 6G-सक्षम एज कंप्यूटिंग वातावरण में मजबूत डेटा विनिमय के लिए मार्ग प्रशस्त करता है।