🤖 AI

Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application

यह शोध पत्र GNSS-रहित इनडोर खोज और बचाव मिशनों में स्वायत्त सहकारी UAVs के लिए एक सर्व-प्रथम एंड-टू-एंड फ्रेमवर्क प्रस्तुत करता है, जो सेंटीमीटर-स्तरीय स्थिरता प्राप्त करने के लिए APF-संवर्धित DRL मार्गदर्शन, GAT-आधारित कार्य आवंटन और एक हल्के ऊंचाई स्थिरीकरण फिल्टर को एकीकृत करता है और 2024 NATO-Sapience प्रतियोगिता में प्रथम स्थान सुरक्षित करता है।

मूल लेखक: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप फर्नीचर, संकरी गलियों और बंद रास्तों से भरे एक विशाल, घने अंधेरे, बहु-मंजिला भूलभुलैया में एक खोए हुए बच्चे को खोजने की कोशिश कर रहे हैं। आप जीपीएस (GPS) का उपयोग नहीं कर सकते क्योंकि दीवारें सैटेलाइट सिग्नल को रोक देती हैं। आपकी मदद के लिए आपके पास दो छोटे, उड़ने वाले रोबोट (ड्रोन) हैं, लेकिन वे आपके बिना अंधे हैं।

यह शोध पत्र इस बात की कहानी है कि कैसे शोधकर्ताओं की एक टीम ने इन दो ड्रोनों को एक सुपर-स्मार्ट बचाव दल के रूप में मिलकर काम करना सिखाया, और यह साबित करने के लिए कि यह वास्तविक दुनिया में काम करता है, एक प्रमुख अंतरराष्ट्रीय प्रतियोगिता जीती।

यहाँ उनके "जादुई करतब" का विवरण दिया गया है, जिसे सरल भाषा में समझाया गया है:

1. समस्या: "अंधा" भूलभुलैया

आमतौर पर, ड्रोन जीपीएस (जैसे कार का नेविगेशन) का उपयोग करके उड़ते हैं। लेकिन किसी इमारत के अंदर, जीपीएस काम नहीं करता है। ड्रोनों को कैमरों और लेजरों के जरिए दीवारों को देखकर यह समझना पड़ता है कि वे कहाँ हैं।

चुनौती: यह एक अंधे कमरे में आंखों पर पट्टी बांधकर चलने जैसा है, लेकिन आपको यह भी याद रखना है कि आप कहाँ से आए हैं और फर्नीचर से टकराने से बचना है।
विशिष्ट समस्या: लेजर (LIDAR) बाएं और दाएं देखने में तो बहुत अच्छे थे, लेकिन वे "ऊपर" और "नीचे" को लेकर भ्रमित हो जाते थे। ड्रोन सोचते थे कि वे एक ही ऊंचाई पर उड़ रहे हैं, जबकि वे वास्तव में हवा कम होने वाले गुब्बारे की तरह धीरे-धीरे ऊपर या नीचे जा रहे थे।

2. समाधान: तीन महाशक्तियाँ (Superpowers)

टीम ने इन समस्याओं को हल करने के लिए अपने ड्रोनों को तीन विशिष्ट "महाशक्तियाँ" दीं।

महाशक्ति A: "घोस्ट गाइड" (Artificial Potential Fields - APF)

कल्पना कीजिए कि आप एक लक्ष्य की ओर बढ़ रहे हैं, लेकिन आपके चारों ओर दीवारें हैं।

पुराना तरीका: आप बस लक्ष्य की ओर सीधा चलने की कोशिश करते हैं। यदि आप दीवार के बहुत करीब पहुँच जाते हैं, तो आप घबरा जाते हैं और रुक जाते हैं। इससे गतिविधियाँ झटकेदार और असुरक्षित हो जाती हैं।
नया तरीका (APF): शोधकर्ताओं ने ड्रोन को एक "घोस्ट गाइड" (भूतिया मार्गदर्शक) दिया। काल्पनिक अदृश्य बलों की कल्पना करें:
- एक चुंबक जो ड्रोन को लक्ष्य की ओर खींच रहा है।
- प्रतिकर्षी गुब्बारे (Repulsive balloons) जो ड्रोन को दीवारों से दूर धकेल रहे हैं।
इससे कैसे मदद मिली: ड्रोन ने केवल परीक्षण और त्रुटि (trial and error) से नहीं सीखा (जिसमें बहुत समय लगता है), बल्कि "घोस्ट गाइड" ने ड्रोन को एक आदर्श सुगम रास्ता दिखाया। ड्रोन के दिमाग (AI) ने इस सुगम रास्ते की नकल करना सीखा। इसका मतलब था कि ड्रोन एक झटकेदार कीट की तरह नहीं, बल्कि बहुत ही सहजता से उड़ा।

महाशक्ति B: "स्मार्ट मैनेजर" (Graph Attention Network - GAT)

आपके पास दो ड्रोन हैं और खोजने के लिए कमरों से भरी एक इमारत है। कौन कहाँ जाएगा?

पुराना तरीका: आप शायद ड्रोन A को बाएं जाने और ड्रोन B को दाएं जाने के लिए कह सकते हैं, या उन्हें अनुमान लगाने दे सकते हैं। इससे अक्सर वे दोनों एक ही कमरे में पहुँच जाते हैं (समय बर्बाद होता है) या कोई कमरा पूरी तरह से छूट जाता है।
नया तरीका (GAT): टीम ने एक लैपटॉप पर बैठा एक "स्मार्ट मैनेजर" बनाया। यह पूरी इमारत को जुड़े हुए बिंदुओं (ग्राफ) के एक मानचित्र की तरह देखता है।
- यह देखता है: "ड्रोन A कमरा 1 के पास है, लेकिन ड्रोन B कमरा 2 के करीब है।"
- यह अटेंशन (Attention) (एक स्पॉटलाइट की तरह) का उपयोग सबसे महत्वपूर्ण कार्यों पर ध्यान केंद्रित करने के लिए करता है।
- यह तुरंत सबसे अच्छे काम के लिए सबसे अच्छा ड्रोन नियुक्त कर देता है। यह हवाई अड्डे के ट्रैफिक कंट्रोलर की तरह है, जो यह सुनिश्चित करता है कि कोई भी दो विमान आपस में न टकराएं और हर कोई अपने गेट तक कुशलतापूर्वक पहुँचे।

महाशक्ति C: "अल्टीट्यूड एंकर" (ऊंचाई के बहाव को रोकना)

याद है वह समस्या जहाँ ड्रोन ऊपर या नीचे की ओर भटक रहे थे?

समाधान: टीम ने महसूस किया कि ड्रोन का लेजर सेंसर लंबे, खाली गलियारों में ऊंचाई मापने में खराब है। इसलिए, उन्होंने सीधे नीचे की ओर देखने वाला दूसरा कैमरा (डेप्थ कैमरा) जोड़ा।
उपमा: ड्रोन के आंतरिक जायरोस्कोप (IMU) को एक ऐसे व्यक्ति के रूप में सोचें जो यह जानने के लिए कि उसने कितनी ऊंचाई चढ़ी है, अपने कदमों की गिनती करने की कोशिश कर रहा है। वे थक जाते हैं और गिनती भूल जाते हैं। डेप्थ कैमरा एक दोस्त की तरह है जो चिल्लाकर कहता है, "हे, तुम वास्तव में कदम नंबर 5 पर हो!"
उन्होंने "कदम गिनने वाले" और "दोस्त की चिल्लाहट" को एक सरल गणितीय फिल्टर का उपयोग करके जोड़ा। इसने ड्रोन को बिना जीपीएस के भी, सेंटीमीटर दर सेंटीमीटर, सटीक ऊंचाई पर बनाए रखा।

3. वास्तविक दुनिया का परीक्षण: प्रतियोगिता

टीम ने इसे केवल एक वीडियो गेम में टेस्ट नहीं किया। उन्होंने एक वास्तविक, अव्यवस्थित, बहु-मंजिला आपदा क्षेत्र (एक ढही हुई इमारत का "मॉक-अप") बनाया और NATO Sapience Competition में भाग लिया।

मिशन:
1. इमारत का मानचित्र बनाना: घूमकर भूलभुलैया की 3D तस्वीर बनाना।
2. सामान पहुंचाना: विशिष्ट स्थानों को ढूंढना और "चिकित्सा सहायता" (सिम्युलेटेड पैकेज) छोड़ना।
3. मिलकर काम करना: कभी-कभी, भारी भार उतारने के लिए दो ड्रोनों को एक साथ लैंड करना पड़ता था।
परिणाम: उनका सिस्टम प्रथम स्थान जीता।
- उन्होंने अकेले ड्रोन की तुलना में 53% तेजी से इमारत का मानचित्र बनाया।
  कठिन मोड़ों और अलग-अलग मंजिलों के स्तरों पर बिना टकराए सफलतापूर्वक नेविगेट किया।
- उन्होंने साबित किया कि कंप्यूटर गेम में प्रशिक्षित AI वास्तव में एक खतरनाक, वास्तविक दुनिया के वातावरण में एक भारी ड्रोन उड़ा सकता है।

मुख्य निष्कर्ष (The Big Takeaway)

यह शोध पत्र महत्वपूर्ण है क्योंकि यह "शानदार कंप्यूटर सिमुलेशन" और "वास्तविक जीवन" के बीच के अंतर को पाटता है।

इससे पहले, अधिकांश AI ड्रोन अनुसंधान कंप्यूटर के भीतर ही सीमित था। इस टीम ने दिखाया कि यदि आप AI को सही "घोस्ट गाइड" (APF) के साथ सिखाते हैं, समन्वय के लिए "स्मार्ट मैनेजर" (GAT) देते हैं, और इसकी ऊंचाई का बोध ठीक करते हैं, तो आप रोबोटों की एक ऐसी टीम बना सकते हैं जो वास्तविक आपदा क्षेत्र में जान बचा सकती है, भले ही जीपीएस काम न कर रहा हो।

संक्षेप में: उन्होंने दो ड्रोनों को एक समन्वित, ऊंचाई-जागरूक, बाधाओं से बचने वाली बचाव टीम बनना सिखाया जो केवल एक वीडियो गेम में ही नहीं, बल्कि वास्तविक दुनिया में भी काम करती है।

यहाँ शोध पत्र "Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र GNSS-रहित इनडोर वातावरण में खोज और बचाव (Search and Rescue - SAR) कार्यों के लिए स्वायत्त अनक्रेयड एरियल व्हीकल्स (UAVs) को तैनात करने की महत्वपूर्ण चुनौती को संबोधित करता है। ये वातावरण विशिष्ट कठिनाइयाँ प्रस्तुत करते हैं:

नेविगेशन (Navigation): GPS की अनुपलब्धता के कारण मजबूत ओडोमेट्री की आवश्यकता होती है, लेकिन मानक LIDAR-SLAM विशेषताहीन गलियारों में "Z-ड्रिफ्ट" (ऊर्ध्वाधर ऊंचाई त्रुटियां) से ग्रस्त होता है।
नियंत्रण (Control): पारंपरिक असतत एक्शन स्पेस या सरल दूरी-आधारित पुरस्कार अक्सर अव्यवस्थित, बहु-स्तरीय इनडोर स्थानों में सुचारू और सुरक्षित प्रक्षेपवक्र (trajectories) बनाने में विफल रहते हैं।
सहयोग (Cooperation): केंद्रीयकृत मानव हस्तक्षेप के बिना वास्तविक समय में कई एजेंटों के बीच कार्यों को कुशलतापूर्वक आवंटित करना जटिल है, विशेष रूप से तब जब एजेंटों को टकरावों से बचना हो और बड़े क्षेत्रों को कवर करना हो।
सिम-टू-रियल गैप (Sim-to-Real Gap): अधिकांश डीप रिइन्फोर्समेंट लर्निंग (DRL) समाधान UAVs के लिए केवल सिमुलेशन तक सीमित रहते हैं, और वास्तविक दुनिया के भौतिकी, सेंसर शोर और मोमेंटम बाधाओं में अनुवाद करने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने एक एंड-टू-एंड फ्रेमवर्क विकसित किया है जिसमें तीन मुख्य मॉड्यूल शामिल हैं, जिन्हें LIDAR, RGB-D कैमरों और NVIDIA Jetson Orin Nano प्रोसेसर से लैस दो 1-मीटर क्लास क्वाड-रोटर्स पर तैनात किया गया है।

A. स्वायत्त मार्गदर्शन (APF शेपिंग के साथ DRL)

एल्गोरिदम: सिस्टम निरंतर नियंत्रण (वेलोसिटी-लेवल कमांड: $v_x, v_z, \omega$ ) के लिए Twin Delayed Deep Deterministic Policy Gradient (TD3) का उपयोग करता है।
रिवॉर्ड शेपिंग (मुख्य नवाचार): केवल लक्ष्य तक की दूरी पर आधारित स्पार्स रिवॉर्ड के बजाय, लेखकों ने एक आर्टिफिशियल पोटेंशियल फील्ड (APF)-संदर्भित रिवॉर्ड पेश किया है।
- एक APF एक "इष्टतम" संदर्भ क्रिया ( $a^*_t$ ) की गणना करता है जो आकर्षक बलों (लक्ष्य की ओर) और प्रतिकर्षक बलों (बाधाओं से दूर) पर आधारित है।
- DRL एजेंट को उसके द्वारा निष्पादित क्रिया ( $a_t$ ) को इस संदर्भ ( $r \propto 1 - ||a_t - a^*_t||^2$ ) के साथ संरेखित करने के लिए पुरस्कृत किया जाता है।
- यह सघन (dense), भौतिक रूप से सार्थक फीडबैक प्रदान करता है, जिससे अभिसरण (convergence) तेज होता है और सुचारू, टकराव-मुक्त प्रक्षेपवक्र सुनिश्चित होता है।
आर्किटेक्चर: एक मल्टी-ब्रांच न्यूरल नेटवर्क डेप्थ इमेजेस (8 conv layers), 1D LIDAR स्कैन्स (5 conv layers) और पोजीशनल स्टेट वेक्टर्स को फ्यूज करता है ताकि निरंतर वेलोसिटी कमांड आउटपुट दी जा सके।

B. केंद्रीकृत कार्य आवंटन (Graph Attention Networks)

दृष्टिकोण: कार्य आवंटन को एक ग्राफ अटेंशन नेटवर्क (GAT) का उपयोग करके एक केंद्रीकृत निर्णय प्रक्रिया के रूप में मॉडल किया गया है।
तंत्र: सिस्टम एक ग्राफ बनाता है जहाँ नोड्स UAVs और कार्यों (वेपॉइंट्स) का प्रतिनिधित्व करते हैं। एज एट्रीब्यूट्स टकराव-मुक्त लघुतम पथ (shortest-path) की दूरी को एनकोड करते हैं।
कार्य: GAT-एक्टर-क्रिटिक ग्राफ संरचना पर तर्क देकर कार्यों को आवंटित करने के लिए सीखता है, जो एजेंट की निकटता और स्थिति के आधार पर कार्यों को गतिशील रूप से प्राथमिकता देता है, और एक सिंगल फॉरवर्ड पास में असाइनमेंट मैट्रिक्स आउटपुट करता है।

C. मजबूत स्थानीयकरण (Altitude Drift Suppression)

समस्या: मानक LIDAR-SLAM ऊर्ध्वाधर विशेषताओं की कमी के कारण संकीर्ण गलियारों में वर्टिकल ड्रिफ्ट जमा करता है।
समाधान: एक हल्का कॉम्प्लीमेंटरी फिल्टर निम्नलिखित को फ्यूज करता है:
1. IMU वर्टिकल वेलोसिटी: अल्पकालिक स्थिरता प्रदान करती है।
2. डेप्थ कैमरा अल्टीमेट्री: Intel RealSense D455f इमेज के पांच क्षेत्रों से प्राप्त मीडियन डेप्थ गणना फर्श के सापेक्ष पूर्ण ऊंचाई संदर्भ प्रदान करती है।
परिणाम: यह फ्यूजन बाहरी बीकन के बिना सेंटीमीटर-स्तर की ऊंचाई स्थिरता प्राप्त करने के लिए Z-ड्रिफ्ट को ठीक करता है।

3. प्रमुख योगदान (Key Contributions)

एंड-टू-एंड रियल-वर्ल्ड डिप्लॉयमेंट: पूर्ववर्ती कार्यों के विपरीत जो सिमुलेशन या छोटे पैमाने की लैब तक सीमित थे, यह एक जटिल, बहु-स्तरीय इनडोर आपदा मॉक-अप में बहु-UAV SAR के लिए सहकारी DRL नीति का पहला प्रदर्शन है।
APF-संदर्भित एक्शन अलाइनमेंट: एक नवीन रिवॉर्ड शेपिंग तकनीक जो निरंतर DRL नियंत्रण के साथ APF मार्गदर्शन को मिश्रित करती है। इसने मानक दूरी-से-लक्ष्य बेसलाइनों को पछाड़ दिया, जिससे वहां भी स्थिर प्रशिक्षण और तैनाती संभव हुई जहां अन्य विफल रहे।
GAT-संचालित सहकारी आवंटन: एक केंद्रीकृत टास्क एलोकेटर जो ड्रोन-टास्क ग्राफ पर तर्क करने के लिए ग्राफ अटेंशन नेटवर्क का उपयोग करता है, जो नगण्य ऑनबोर्ड कंप्यूट के साथ निकटतम-इष्टतम आवंटन उत्पन्न करता है।
Z-ड्रिफ्ट शमन: एक व्यावहारिक सेंसर फ्यूजन विधि (डेप्थ कैमरा + IMU) जो इनडोर LIDAR-SLAM की कुख्यात वर्टिकल ड्रिफ्ट समस्या को हल करती है, जिससे विश्वसनीय बहु-स्तरीय नेविगेशन सक्षम होता है।

4. परिणाम और प्रदर्शन (Results and Performance)

सिस्टम का परीक्षण NATO SAPIENCE Autonomous Cooperative Drone Competition (2024) में किया गया था, जहाँ टीम ने प्रथम स्थान प्राप्त किया।

सिमुलेशन वैलिडेशन: APF-रिवॉर्डेड मॉडल ने वैलिडेशन में 304/304 लक्ष्यों को प्राप्त किया, जबकि मानक दूरी-आधारित रिवॉर्ड उसी बाधा के तहत एक तैनात करने योग्य कंट्रोलर बनाने में विफल रहे।
रियल-वर्ल्ड मैपिंग:
- दो UAVs ने एक जटिल इमारत का 3D मैपिंग कार्य 134 सेकंड में पूरा किया।
- एक एकल UAV ने उसी कार्य के लिए 287 सेकंड लिए, जो सहयोग के कारण समय में 53.3% की कमी प्रदर्शित करता है।
- सिस्टम ने GNSS निषेध के बावजूद सुसंगत 3D पॉइंट क्लाउड सफलतापूर्वक उत्पन्न किए।
डिलीवरी कार्य: UAVs ने 8 डिलीवरी सफलतापूर्वक पूरी कीं, जिसमें विभिन्न ऊंचाई स्तरों (0.2 मीटर फर्श और 1.2 मीटर प्लेटफॉर्म) पर सिंक्रोनाइज्ड लैंडिंग शामिल थी, जो सटीक ऊंचाई नियंत्रण और समन्वय को प्रदर्शित करती है।
वैकल्पिक लेआउट: एक माध्यमिक लेआउट पर, GAT-DRL एलोकेटर ने क्लासिकल ग्रीडी और ऑक्शन-आधारित विधियों की तुलना में कुल यात्रा दूरी में 19.4% और मेक्सपैन (makespan) में 19.8% की कमी की।
स्थानीयकरण: डेप्थ-IMU फ्यूजन ने सटीक ऊंचाई अनुमान बनाए रखने में सफलता प्राप्त की, जिसने उस कच्चे LIDAR-SLAM ड्रिफ्ट को ठीक किया जो अन्यथा ऊंचाई परिवर्तन को ट्रैक करने में विफल रहता।

5. महत्व और प्रभाव (Significance and Impact)

सिम-टू-रियल गैप को पाटना: यह शोध सिद्ध करता है कि DRL नीतियां, जब उन्हें डोमेन ज्ञान (APF) के साथ उचित रूप से आकार दिया जाता है और वास्तविक दुनिया के भौतिकी (मोमेंटम, सेंसर शोर) के विरुद्ध मान्य किया जाता है, तो वे सिमुलेशन से पूर्ण-पैमाने के, सुरक्षा-महत्वपूर्ण संचालन तक स्केल हो सकती हैं।
परिचालन व्यवहार्यता: यह प्रणाली प्रदर्शित करती है कि स्वायत्त सहकारी UAVs बिना किसी मानवीय हस्तक्षेप के GNSS-रहित वातावरण में जटिल SAR कार्य (मैपिंग, डिटेक्शन, डिलीवरी) कर सकते हैं, जिससे मानव उत्तरदाताओं के लिए जोखिम काफी कम हो जाता है।
स्केलेबिलिटी: यह फ्रेमवर्क भविष्य के मल्टी-एजेंट सिस्टम के लिए एक ब्लूप्रिंट प्रदान करता है, जो दिखाता है कि केंद्रीकृत ग्राफ-आधारित आवंटन और विकेंद्रीकृत निरंतर नियंत्रण अव्यवस्थित, गतिशील वातावरण में प्रभावी रूप से सह-अस्तित्व में रह सकते हैं।
भविष्य का रोडमैप: यह कार्य भविष्य के आउटडोर/मिश्रित वातावरण संचालन, विकेंद्रीकृत कार्य आवंटन (पीयर-टू-पीयर), और सहयोगी धारणा (collaborative perception) के लिए आधार तैयार करता है ताकि ड्रिफ्ट को कम किया जा सके और सुरक्षा में सुधार किया जा सके।

निष्कर्षतः, यह कार्य स्वायत्त रोबोटिक्स में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है, जो DRL को सैद्धांतिक सिमुलेशन से वास्तविक दुनिया के आपदा प्रतिक्रिया परिदृश्यों के लिए एक सिद्ध, विजेता समाधान तक ले जाता है।