Autonomous Collision Avoidance Decision-Making Method for UAV-USV Based on PD3QN Algorithm
यह शोध पत्र अनमैन्ड सरफेस व्हीकल्स (USVs) के लिए एक स्वायत्त टकराव बचाव निर्णय लेने की विधि प्रस्तावित करता है जो सुरक्षित, कुशल और अनुकूलन योग्य नेविगेशन प्राप्त करने के लिए यूएवी (UAV) विजुअल परसेप्शन को प्रायरिटाइज्ड एक्सपीरियंस रिप्ले-एन्हांस्ड ड्यूलिंग डबल डीप क्यू-नेटवर्क (PD3QN) एल्गोरिदम और एक COLREGs-अनुपालन रिवॉर्ड फंक्शन के साथ एकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समुद्र की कल्पना एक विशाल, अराजक डांस फ्लोर के रूप में करें जहाँ जहाज नर्तक हैं। सदियों से, मनुष्य इन विशाल जहाजों को भीड़ के बीच से रास्ता दिखाने वाले कोरियोग्राफर रहे हैं। लेकिन मनुष्य थक जाते हैं, उनका ध्यान भटक जाता है, या उनसे गलतियाँ हो जाती हैं, जिससे अनाड़ी टक्कर और बाल-बाल बचने जैसी स्थितियाँ पैदा होती हैं। अब, वैज्ञानिक जहाजों को अपने आप नृत्य करना सिखा रहे हैं, जिसका उपयोग "डीप रीइन्फोर्समेंट लर्निंग" (Deep Reinforcement Learning) के माध्यम से किया जा रहा है। इसे एक वीडियो गेम प्रशिक्षण पद्धति के रूप में समझें जहाँ एक कंप्यूटर तब तक खेल में महारत हासिल करने के लिए प्रयास करता है, असफल होता है और अच्छे मूव्स के लिए अंक प्राप्त करता है जब तक कि वह खेल में माहिर न हो जाए। हालाँकि, इसमें एक पेच है: पानी पर एक जहाज एक धुंधले कमरे में चलने वाले व्यक्ति की तरह है; वह केवल वही देख सकता है जो उसके ठीक सामने है। पूरे डांस फ्लोर को देखने के लिए, शोधकर्ता अब जहाज को एक ड्रोन (UAV) के साथ जोड़ रहे हैं, जो ऊँचाई पर उड़ रहा है, जो मीलों दूर से मुसीबत को पहचानने वाली बाज जैसी आँखों के रूप में कार्य करता है। बड़ा सवाल यह है कि क्या हम एक जहाज को इन ऊँची उड़ने वाली आँखों का उपयोग करके ऐसे क्षणिक निर्णय लेने के लिए सिखा सकते हैं जो न केवल सुरक्षित हों बल्कि समुद्र के सख्त, प्राचीन नियमों का भी पालन करते हों?
यह शोध पत्र अनमैन्ड सरफेस व्हीकल (USV) के लिए एक नया "मस्तिष्क" पेश करता है जिसे PD3QN एल्गोरिदम कहा जाता है। शोधकर्ताओं ने टकराव से बचने में मदद करने के लिए ड्रोन के ऊँचाई वाले विजन को एक परिष्कृत शिक्षण प्रणाली के साथ जोड़ा। उन्होंने केवल एक साधारण रोबोट नहीं बनाया; उन्होंने एक ऐसा सिस्टम बनाया जो ड्रोन के कैमरे के माध्यम से दुनिया को देखकर जटिल, भीड़भाड़ वाले पानी में रास्ता बनाना सीखता है। टीम ने पाया कि एक विशेष "प्रायोरिटाइज्ड" (प्राथमिकता वाले) लर्निंग मेथड का उपयोग करके—जहाँ जहाज उबाऊ, सुरक्षित पलों के बजाय डरावने, बाल-बाल बचने वाले पलों पर अधिक ध्यान केंद्रित करता है—जहाज बहुत तेज़ी से सीखता है और समझदारी भरे विकल्प चुनता है। उनके सिमुलेशन में, इस नई पद्धति ने जहाजों को पुराने तरीकों की तुलना में अधिक तेज़ी से और सुचारू रूप से अपने गंतव्य तक पहुँचने में मदद की, और यह सब अंतरराष्ट्रीय कोलिजन प्रिवेंशन नियमों (COLREGs) का सख्ती से पालन करते हुए किया गया, जो समुद्र के यातायात नियम हैं।
यहाँ जादू कैसे होता है। शोधकर्ताओं ने जहाज को एक नई जोड़ी आँखें दीं: ऊपर उड़ता हुआ एक ड्रोन। जहाज अपने सीमित सेंसरों का उपयोग करके बाधाओं का अनुमान लगाने के बजाय, ड्रोन पानी की तस्वीरें खींचता है और उन्हें नीचे भेज देता है। जहाज का "मस्तिष्क" इन छवियों को देखने के लिए देखता है ताकि वातावरण को समझा जा सके, ठीक वैसे ही जैसे आप ट्रैफिक जाम देखने के लिए अपने फोन पर मैप देख सकते हैं। जहाज फिर निर्णय लेने के लिए PD3QN एल्गोरिदम का उपयोग करता है। यह एल्गोरिदम पुराने लर्निंग सिस्टम का एक शानदार अपग्रेड है। यह एक "ड्यूलिंग" (Dueling) नेटवर्क का उपयोग करता है, जो जहाज के मस्तिष्क में दो विशेषज्ञों के होने जैसा है: एक जो यह निर्णय लेता है कि स्थिति कितनी अच्छी है, और दूसरा जो सबसे अच्छा कदम उठाने का पता लगाता है। वे सरल प्रणालियों में होने वाली "अति-आत्मविश्वास" की समस्या से बचने के लिए मिलकर काम करते हैं।
जहाज को और भी तेज़ी से सीखने में मदद करने के लिए, शोधकर्ताओं ने एक "प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले" (Prioritized Experience Replay) तंत्र जोड़ा। कल्पना कीजिए कि आप एक परीक्षा के लिए पढ़ाई कर रहे हैं। यदि आप हर प्रश्न का सही उत्तर देते हैं, तो आप ऊब सकते हैं। लेकिन यदि आप एक विशिष्ट गणित के सवाल को बार-बार गलत करते हैं, तो आप संभवतः उस सवाल पर तब तक अधिक समय बिताएंगे जब तक कि आप उसे सही न कर लें। यह सिस्टम जहाज के लिए भी यही करता है। यह खतरनाक पलों (जैसे किसी दूसरी नाव से टकराते-टकराते बचना) को याद रखता है और उबाऊ, सुरक्षित पलों की तुलना में उनका अधिक अभ्यास करता है। इससे जहाज अपनी गलतियों से बहुत तेज़ी से सीखता है।
जहाज के पास नियमों का एक बहुत ही विशिष्ट सेट भी है, जिसे COLREGs के रूप में जाना जाता है। ये नियम निर्धारित करते हैं कि विभिन्न स्थितियों में किसका अधिकार है, जैसे कि जब दो जहाज एक-दूसरे के सामने आ रहे हों या जब एक जहाज दूसरे के बगल से गुजर रहा हो। शोधकर्ताओं ने जहाज को ये नियम सिखाने के लिए एक विशेष "रिवॉर्ड सिस्टम" (पुरस्कार प्रणाली) डिजाइन की। यदि जहाज नियमों का पालन करता है और टक्कर से बचता है, तो उसे एक बड़ा "गोल्ड स्टार" (सकारात्मक पुरस्कार) मिलता है। यदि वह नियमों को तोड़ता है या किसी चीज़ से टकराता है, तो उसे "टाइम-आउट" (नकारात्मक पुरस्कार) मिलता है। उन्होंने जहाज को एक सीधी रेखा में सुचारू रूप से चलने के लिए भी अंक दिए, क्योंकि टेढ़े-मेढ़े तरीके से चलना असुरक्षित और अक्षम है।
टीम ने अपने नए तरीके का परीक्षण एक कंप्यूटर सिमुलेशन में किया, जो समुद्र के एक सुपर-एडवांस्ड वीडियो गेम की तरह है। उन्होंने ऐसे परिदृश्य बनाए जहाँ जहाज को कई अन्य जहाजों से बचना था, जिसमें आमने-सामने की टक्कर, ओवरटेकिंग की स्थितियाँ और क्रॉसिंग पाथ शामिल थे। इन परीक्षणों में, PD3QN द्वारा संचालित जहाज एक स्टार परफॉर्मर रहा। इसने पुराने तरीकों जैसे DQN या DWA का उपयोग करने वाले जहाजों की तुलना में कम मोड़ के साथ अपने गंतव्य तक तेज़ी से पहुँचने का कौशल सीखा। उदाहरण के लिए, एक भीड़भाड़ वाले परिदृश्य में, इस नए तरीके ने पुराने DWA तरीके की तुलना में कुल टर्निंग एंगल को लगभग 23% कम कर दिया, जिसका अर्थ है कि जहाज बहुत अधिक सुचारू रूप से चला। जहाज ने यातायात के नियमों का भी पूरी तरह से पालन करना सीखा, यह जानते हुए कि कब दाईं ओर मुड़ना है, कब अपने मार्ग पर बने रहना है, और कब दूसरे जहाज को गुजरने देना है।
हालाँकि, शोधकर्ता सावधानी बरतते हुए यह स्पष्ट करते हैं कि यह वर्तमान में केवल एक सिमुलेशन है। हालांकि परिणाम आशाजनक हैं, जहाज ने वास्तव में वास्तविक समुद्र में अभी तक यात्रा नहीं की है। वर्तमान संस्करण केवल जहाज के स्टीयरिंग (बाएं या दाएं मुड़ना) को नियंत्रित करता है और अभी तक गति समायोजन जैसे कि धीमा होना या तेज़ होना को नहीं संभालता है। साथ ही, सिमुलेशन में हवा, लहरों या ड्रोन और जहाज के बीच संचार में देरी जैसे वास्तविक दुनिया के सिरदर्द को शामिल नहीं किया गया था। टीम का सुझाव है कि भविष्य के कार्यों को वास्तविक दुनिया के इन कारकों से निपटना होगा ताकि इस प्रणाली को वास्तविक तैनाती के लिए तैयार किया जा सके। लेकिन फिलहाल, यह अध्ययन दिखाता है कि जहाज को एक ड्रोन की आँखें और एक स्मार्ट, नियम मानने वाला मस्तिष्क देने से खुले समुद्र में सुरक्षित और अधिक कुशल यात्रा की कुंजी मिल सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।