Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks
यह शोध पत्र JUROR का प्रस्ताव करता है, जो प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (Proximal Policy Optimization) का उपयोग करने वाला एक सुदृढीकरण शिक्षण (reinforcement learning) आधारित ढांचा है, जो डिले-टॉलरेंट नेटवर्क्स (Delay-Tolerant Networks) में विकेंद्रीकृत अवसरवादी रूटिंग और नियंत्रणीय UAV उड़ान को संयुक्त रूप से अनुकूलित करने के लिए, PRoPHET और MaxProp जैसे पारंपरिक प्रोटोकॉल की तुलना में संदेश वितरण दरों को बढ़ाने और भीड़भाड़ को कम करने के लिए उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ इंटरनेट मौजूद नहीं है, या कम से कम, उस तरह का नहीं है जो आपके फोन को हर सेकंड एक सर्वर से जोड़े रखता है। आपदा क्षेत्रों, दूरदराज के जंगलों, या यहाँ तक कि सिग्नल जाम वाले व्यस्त शहरों जैसी जगहों पर, संदेश भेजने वाला और प्राप्त करने वाला सीधे तौर पर "उड़" नहीं सकते। इसके बजाय, उन्हें "हॉट पोटैटो" (गर्म आलू) का खेल खेलना पड़ता है। यह डिले-टॉलरेंट नेटवर्क्स (DTNs) की दुनिया है। इसे टैग के खेल की तरह समझें जहाँ खिलाड़ी चलती हुई कारें और ड्रोन हैं। एक संदेश वह "इत" (it) टैग है। यदि आप टैग को पकड़ लेते हैं, तो आप उसे तब तक अपने पास रखते हैं जब तक कि आप किसी ऐसे व्यक्ति से न टकरा जाएँ जो उसे आगे ले जा सके। आप इसे स्टोर करते हैं, ले जाते हैं, और केवल तभी आगे बढ़ाते हैं जब आप किसी दूसरे व्यक्ति के पर्याप्त करीब होते हैं। इसे "स्टोर-कैरी-फॉरवर्ड" (store-carry-forward) कहा जाता है।
जटिल बात यह है कि ये नेटवर्क अक्सर विरल (sparse) और अराजक होते हैं। "खिलाड़ी" (कारें और लोग) निश्चित सड़कों पर चलते हैं, और "टैग" (संदेश) की एक समय सीमा होती है इससे पहले कि वह समाप्त हो जाए। यदि खिलाड़ी आपस में पर्याप्त बार नहीं मिलते, या यदि वे बहुत अधिक भीड़भाड़ वाले हो जाते हैं और टैग रखने के लिए उनकी जेबें (मेमोरी) खत्म हो जाती हैं, तो संदेश खो जाता है। इसे ठीक करने के लिए, वैज्ञानिकों ने अनमैन्ड एरियल व्हीकल्स (UAVs), या ड्रोनों का उपयोग करना शुरू कर दिया है ताकि वे उड़ने वाले संदेशवाहकों के रूप में कार्य कर सकें। ड्रोन ट्रैफिक के ऊपर से उड़ सकते हैं, दूर तक पहुँच सकते हैं, और चुन सकते हैं कि उन्हें वास्तव में कहाँ जाना है। लेकिन यहाँ बड़ा सवाल यह है: आप ड्रोनों को यह कैसे बताएंगे कि उन्हें कहाँ उड़ना है और साथ ही ज़मीनी कारों को यह भी बताएंगे कि संदेश कब पास करना है, वह भी बिना किसी केंद्रीय बॉस के जो सबको निर्देश दे सके? यदि ड्रोन गलत दिशा में उड़ते हैं, तो कारें शायद कभी मिल ही न पाएं। यदि कारें गलत लोगों को संदेश पास कर देती हैं, तो ड्रोन खाली जगहों पर उड़ सकते हैं।
यह ठीक वही पहेली है जिसे शोधकर्ता श्याओ वांग और शुन-रेन यांग ने अपने शोध पत्र JUROR (Joint UAV flight and Opportunistic Routing) के माध्यम से सुलझाया है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक प्रकार की आर्टिफिशियल इंटेलिजेंस का उपयोग करके एक स्मार्ट सिस्टम बनाया। कल्पना कीजिए कि ड्रोनों और कारों की एक टीम एक साथ वीडियो गेम खेल रही है। उनके पास भविष्य का कोई नक्शा नहीं है, लेकिन वे चीज़ों को आज़माकर सीखते हैं। यदि वे सफलतापूर्वक एक संदेश पास करते हैं, तो उन्हें एक "पॉइंट" मिलता है। यदि कोई संदेश समाप्त हो जाता है या यदि ड्रोन की भीड़ में कोई ड्रोन टकरा जाता है, तो वे अंक खो देते हैं। शोध पत्र इस परिदृश्य का हजारों बार सिमुलेशन करता है ताकि ड्रोनों और कारों को सहयोग करना सिखाया जा सके।
मुख्य निष्कर्ष यह है कि जब ड्रोन और कारें एक एकल टीम के रूप में काम करना सीखती हैं, न कि केवल निश्चित नियमों का पालन करती हैं, तो वे बहुत अधिक संदेश वितरित करती हैं। शोधकर्ताओं ने पाया कि ड्रोनों को "नियंत्रणीय" (controllable) होना चाहिए—अर्थात, सिस्टम तय करता है कि वे कहाँ उड़ें, यह इस आधार पर कि ट्रैफिक कहाँ जाम है। उन्होंने यह भी पाया कि जबकि ड्रोन सिमुलेटर में सीखते समय एक "संदर्भ गाइड" (ग्लोबल जानकारी) का उपयोग कर सकते हैं, उन्हें वास्तविक दुनिया में काम करते समय केवल वही निर्णय लेने चाहिए जो वे स्थानीय रूप रूप से देख सकते हैं। सेंट्रलाइज्ड ट्रेनिंग एंड डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) नामक यह दृष्टिकोण ही असली सफलता का मंत्र साबित हुआ।
अपने सिमुलेशन में, JUROR सिस्टम ने पुराने, पारंपरिक तरीकों से काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, एक परीक्षण परिदृश्य में जहाँ 69 संदेश भेजे गए थे, पुराने तरीकों ने लगभग आधे संदेश ही डिलीवर किए, जबकि JUROR सिस्टम ने 57 से अधिक संदेश डिलीवर किए (लगभग 83%)। शोध पत्र सुझाव देता है कि केवल ड्रोन जोड़ना ही पर्याप्त नहीं है; ड्रोनों को सक्रिय रूप से निर्देशित किया जाना चाहिए ताकि वे ज़मीनी वाहनों के लिए नए मिलन स्थल बना सकें, और वाहनों को यह तय करना चाहिए कि संदेश कब पास करना है, यह देखते हुए कि ड्रोन क्या कर रहे हैं। यह एक नाजुक नृत्य है जहाँ उड़ने वालों और चलने वालों को तालमेल में रहना पड़ता है ताकि सूचना का प्रवाह बना रहे, भले ही नेटवर्क टूटा हुआ या विरल हो।
उड़ने वाले संदेशवाहकों की कहानी
तो, JUROR वास्तव में कैसे काम करता है? एक व्यस्त शहर की सड़क की कल्पना करें। आपके पास ट्रैफ़िक में फंसी कारों (ग्राउंड नोड्स) का एक समूह है, और कुछ ड्रोन (UAVs) ऊपर मंडरा रहे हैं। कारों के पास संदेश हैं जिन्हें उन्हें विशिष्ट गंतव्यों तक पहुँचाना है, लेकिन वे अन्य कारों या ड्रोनों से केवल तभी बात कर सकते हैं जब वे पास हों। यदि कारें ट्रैफिक जाम में फंसी हैं, तो वे किसी और तक नहीं पहुँच सकतीं। यदि ड्रोन बेतरतीब ढंग से चक्कर काटते हैं, तो वे जाम को पूरी तरह से मिस कर सकते हैं।
शोधकर्ताओं ने महसूस किया कि यह एक "मुर्गी और अंडा" (chicken and egg) वाली स्थिति है। कारों को संदेश बाहर निकालने के लिए ड्रोनों की आवश्यकता है, लेकिन ड्रोनों को यह जानने के लिए कि उन्हें कहाँ उड़ना है, कारों की भीड़ का पता होना चाहिए। इस समस्या को हल करने के लिए, JUROR पूरे नेटवर्क को साथियों की एक टीम के रूप में मानता है। प्रत्येक कार और प्रत्येक ड्रोन का अपना दिमाग (एजेंट) होता है।
सीखने की प्रक्रिया: प्रयास और त्रुटि (Trial and Error)
सिस्टम प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) नामक विधि का उपयोग करता है। कल्पना कीजिए कि आप एक पिल्ले को गेंद लाने (fetch) के लिए सिखा रहे हैं। आप उसे ठीक से नहीं बताते कि उसे कैसे दौड़ना है; आप बस गेंद फेंकते हैं और जब वह उसे वापस लाता है तो कहते हैं "अच्छा कुत्ता!" समय के साथ, पिल्ला सीख जाता है कि किन गतिविधियों से इनाम मिलता है। JUROR भी यही करता है, लेकिन गणित के साथ।
- सिमुलेशन: शोधकर्ताओं ने 70 नोड्स (65 कारें और 5 ड्रोन) के साथ एक आभासी दुनिया (सिमुलेटर) बनाई। उन्होंने विभिन्न ट्रैफिक परिदृश्य तैयार किए, जैसे संदेशों का अचानक उछाल या ट्रैफिक का निरंतर प्रवाह।
- टीम रिवॉर्ड: केवल एक ड्रोन या एक कार को पुरस्कृत करने के बजाय, सिस्टम एक "टीम स्कोर" देता है। यदि एक संदेश डिलीवर होता है, तो सभी को एक पॉइंट मिलता है। यदि कोई संदेश समाप्त हो जाता है या बफर (मेमोरी) भर जाता है और संदेश गिर जाता है, तो सभी अंक खो देते हैं। यह ड्रोनों और कारों को सहयोग करने के लिए मजबूर करता है। यदि एक ड्रोन ऐसी जगह उड़ता है जहाँ कोई कार नहीं है, तो वह टीम स्कोर में मदद नहीं करता। यदि एक कार संदेश को बहुत लंबे समय तक रोक कर रखती है, तो टीम अंक खो देती है।
- "संदर्भ गाइड" बनाम वास्तविक जीवन: यहाँ सबसे चतुर हिस्सा है। जब सिस्टम ट्रेनिंग (सीख रहा) कर रहा होता है, तो "शिक्षक" (क्रिटिक) पूरे बोर्ड को देख सकता है। उसे पता होता है कि हर कार और ड्रोन कहाँ है, उनकी कितनी मेमोरी है, और ट्रैफिक जाम कहाँ है। वह इस "ग्लोबल व्यू" का उपयोग एजेंटों को यह बताने के लिए करता है कि, "हे, तुमने अच्छा कदम उठाया!" या "वह एक बुरा कदम था!" लेकिन जब सिस्टम डिप्लॉय (वास्तविक दुनिया में उपयोग) किया जाता है, तो ड्रोन और कारें केवल वही देख सकते हैं जो उनके ठीक सामने है। वे पूरे शहर को नहीं देख सकते। वे केवल यह जानते हैं कि वे वर्तमान में किससे संपर्क कर रहे हैं या किससे बात कर रहे हैं। शोध पत्र दिखाता है कि इस सीमित दृश्य के बावजूद, एजेंट अविश्वसनीय रूप से अच्छा प्रदर्शन कर सकते हैं क्योंकि उन्हें "संदर्भ गाइड" की मदद से प्रशिक्षित किया गया था।
ड्रोन का नया काम
पुराने सिस्टम में, ड्रोन शायद एक पूर्व-निर्धारित पैटर्न में उड़ते थे, जैसे कि घास काटने वाली मशीन (lawnmower) आगे-पीछे चलती है। लेकिन JUROR ड्रोनों को स्मार्ट बनाना सिखाता है। वे "स्ट्रेस फील्ड्स" (stress fields) को देखते हैं। कल्पना कीजिए कि शहर में अदृश्य हीट मैप हैं जो दिखाते हैं कि संदेश कहाँ जमा हो रहे हैं। यदि बहुत सारे संदेशों के साथ कारों का एक समूह एक क्षेत्र में फंसा हुआ है, तो वह क्षेत्र लाल चमकने लगता है। ड्रोन संदेशों को उठाने और उन्हें दूर ले जाने के लिए उन लाल क्षेत्रों की ओर उड़ना सीखते हैं।
शोध पत्र ने यह भी परीक्षण किया कि क्या ड्रोनों को यह भविष्यवाणी करनी चाहिए कि भविष्य में ट्रैफिक कहाँ होगा (LSTM का उपयोग करके, जो पैटर्न के लिए शॉर्ट-टर्म मेमोरी की तरह है)। उन्होंने पाया कि हालांकि यह कुछ स्थितियों में मदद कर सकता है, लेकिन यह हमेशा आवश्यक नहीं है। कभी-कभी, केवल वर्तमान ट्रैफिक जाम पर प्रतिक्रिया देना ही पर्याप्त होता है। वास्तव में, भारी ट्रैफिक वाले कुछ परिदृश्यों में, भविष्य की भविष्यवाणी करने की कोशिश ने सिस्टम को थोड़ा खराब कर दिया क्योंकि भविष्यवाणियाँ शोर भरी (noisy) थीं और ड्रोनों को भ्रमित कर रही थीं।
निष्कर्ष
परिणाम स्पष्ट थे। सिमुलेशन में, JUROR एक गेम-चेंजर साबित हुआ।
- बिना ड्रोन के: यदि आपके पास केवल कारें हैं और कोई नियंत्रणीय ड्रोन नहीं है, तो सिस्टम संघर्ष करता है। एक परीक्षण में, 69 में से केवल लगभग 13 संदेश डिलीवर हुए।
- ड्रोन के साथ (सीखने के साथ): केवल एक नियंत्रणीय ड्रोन जोड़ने से बड़ा अंतर पड़ा, जिसने 45 से अधिक संदेश डिलीवर किए। जब ड्रोन और कारें एक पूर्ण टीम के रूप में मिलकर काम करना सीख गए, तो डिलीवरी दर तेजी से बढ़कर 57 से अधिक संदेशों तक पहुँच गई।
- पुराने तरीकों से तुलना: JUROR ने अधिकांश परिदृश्यों में, विशेष रूप से भारी ट्रैफिक के दौरान, पुराने तरीकों की तुलना में काफी अधिक संदेश डिलीवर किए। हालाँकि, शोध पत्र नोट करता है कि नियमित, अनुमानित गति वाले परिदृश्यों में, PRoPHET जैसे कुछ पारंपरिक तरीके अभी भी काफी अच्छा प्रदर्शन करते हैं, जो दर्शाता है कि JUROR का लाभ जटिल, भीड़भाड़ वाले या अराजक वातावरण में अधिक स्पष्ट है।
शोध पत्र ने कुछ विचारों को भी खारिज कर दिया। उन्होंने पाया कि आप ड्रोनों को कारों से अलग नहीं मान सकते। आपको उन्हें एक साथ अनुकूलित (optimize) करना होगा। यदि आप ड्रोन के उड़ान पथ को मैसेज रूटिंग से अलग अनुकूलित करने की कोशिश करते हैं, तो सिस्टम अपनी पूरी क्षमता तक नहीं पहुँच पाता। उन्होंने यह भी पाया कि "हॉटस्पॉट" भविष्यवाणी (ट्रैफिक कहाँ होगा इसका अनुमान लगाना) सुनने में अच्छा लगता है, लेकिन यह कोई जादुई समाधान नहीं है। यह काफी हद तक ट्रैफिक के प्रकार पर निर्भर करता है। कभी-कभी यह मदद करता है, कभी-कभी यह नुकसान पहुँचाता है। सबसे विश्वसनीय सेटअप वह था जहाँ ड्रोन और कारें केवल अपने स्थानीय अवलोकनों (local observations) का उपयोग करके वर्तमान स्थिति पर प्रतिक्रिया करते थे, जिन्हें एक ग्लोबल टीचर द्वारा प्रशिक्षित किया गया था।
यह क्यों महत्वपूर्ण है?
यह केवल ईमेल तेजी से भेजने के बारे में नहीं है। यह उस बारे में है जब इंटरनेट टूट जाता है। एक प्राकृतिक आपदा के बारे में सोचें जहाँ सेल टावर डाउन हो गए हैं। आपको एक जीवित बचे व्यक्ति से बचाव दल तक संदेश पहुँचाने की आवश्यकता है। जीवित बचा व्यक्ति एक कार में हो सकता है, और बचाव दल एक ड्रोन में हो सकता है। यदि ड्रोन को यह नहीं पता कि कहाँ उड़ना है, या यदि कार को यह नहीं पता कि संदेश कब पास करना है, तो संदेश खो जाएगा। JUROR दिखाता है कि इन नेटवर्कों को मजबूत कैसे बनाया जाए। यह साबित करता है कि उड़ने वाले और ज़मीनी हिस्सों को एक साथ "नृत्य" करना सिखाकर, हम संचार की रेखाओं को खुला रख सकते हैं, भले ही दुनिया बिखर रही हो।
शोधकर्ताओं ने केवल सिद्धांत नहीं बनाया; उन्होंने आंकड़ों का परीक्षण किया। उन्होंने इसका परीक्षण पांच अन्य प्रसिद्ध तरीकों (जैसे PRoPHET और MaxProp) के विरुद्ध किया और JUROR आम तौर पर जीत गया, विशेष रूप रूप से जब ट्रैफिक भारी था। शोध पत्र निष्कर्ष निकालता है कि यह "संयुक्त" (joint) दृष्टिकोण—जहाँ उड़ान पथ और संदेश पथ दोनों को एक साथ तय किया जाता है—डिले-टॉलरेंट नेटवर्क्स की पूरी क्षमता को अनलॉक करने की कुंजी है। यह एक याद दिलाता है कि एक अराजक दुनिया में, जुड़े रहने का सबसे अच्छा तरीका एक टीम के रूप में काम करना है, चाहे आप ज़मीन पर हों या आसमान में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।