A Machine-Learning and Cybernetic Control Framework for RGB--Geometric UAV Navigation

तकनीकी सारांश: RGB–ज्यामितीय UAV नेविगेशन के लिए एक मशीन-लर्निंग और साइबरनेटिक नियंत्रण ढांचा

समस्या विवरण
नदी गलियारों (river corridors) के माध्यम से मानव रहित हवाई वाहनों (UAVs) का संचालन करना सामान्य हवाई वातावरणों से भिन्न अनूठी चुनौतियाँ प्रस्तुत करता है। जल प्रतिबिंब दृश्य उपस्थिति को बदल देते हैं, संकीर्ण मोड़ मुड़ने की जगह को सीमित करते हैं, तटरेखा व्यवधान ज्यामितीय संकेतों को कमजोर करते हैं, और तैरती हुई वस्तुएं या पुल स्थानीय अवरोध (occlusions) पैदा करते हैं। जबकि मॉडल-आधारित योजनाकार (planners) सटीक मानचित्रों के होने पर व्याख्यात्मकता (interpretability) प्रदान करते हैं, वे दृश्य रूप से अस्थिर नदी ज्यामिति में निहित अनिश्चितता के साथ संघर्ष करते हैं। इसके विपरीत, लर्निंग-आधारित नियंत्रक अक्सर "लीकेज" (leakage) से ग्रस्त होते हैं, जहाँ नीतियां वास्तविक विजुअल इनपुट के बजाय विशेषाधिकार प्राप्त सिम्युलेटर वेरिएबल्स (जैसे, ग्राउंड-ट्रुथ मास्क या सेंटरलाइन) पर निर्भर हो जाती हैं, या धारणा (perception) को मेट्रिक नियंत्रण से अलग करने में विफल रहती हैं। संबोधित किया गया मुख्य मुद्दा एक एकीकृत धारणा–निर्णय–क्रिया लूप विकसित करना है जो कच्चे RGB अवलोकनों को संरचित गतिक (kinematic) और ज्यामितीय फीडबैक के साथ जोड़ता है, यह सुनिश्चित करता है कि सीखी गई नीति वैध दृश्य साक्ष्य पर निर्भर रहे और साथ ही स्पष्ट, गैर-सीखे गए हस्तक्षेप स्तरों के माध्यम से सुरक्षा बनाए रखे।

कार्यप्रणाली
लेखक एक साइबरनेटिक नियंत्रण ढांचा प्रस्तावित करते हैं जो दृश्य धारणा, संरचित अवस्था फीडबैक, अनुकूली पुरस्कार शिक्षण (adaptive reward learning), और नियम-आधारित हस्तक्षेप को सख्ती से अलग करता है।

1. सिस्टम आर्किटेक्चर और स्टेट रिप्रेजेंटेशन:

   • विजुअल स्ट्रीम: सिस्टम एक ResNet-50 बैकबोन और एक फीचर पिरामिड नेटवर्क (FPN) के साथ मिलकर 224×224 RGB फ्रेम को प्रोसेस करता है। मल्टी-स्केल फीचर्स को ग्लोबल एवरेज पूलिंग और एक सीखे गए अटेंशन मैकेनिज्म के माध्यम से एकत्रित किया जाता है ताकि एक 256-आयामी अपीयरेंस वेक्टर उत्पन्न किया जा सके।
   • स्ट्रक्चर्ड स्टेट: एक 291-आयामी स्टेट वेक्टर बनाया जाता है जो विजुअल लेटेंट को 35 स्पष्ट रूप से परिभाषित ज्यामितीय और गतिक वेरिएबल्स के साथ जोड़कर निर्मित होता है। इनमें सापेक्ष गतिकी (वेलोसिटी, हेडिंग, एक्सेलरेशन), लक्ष्य प्रगति, पांच फॉरवर्ड सेंटरलाइन सैंपल्स, आठ रे-कास्टिंग क्लीयरेंस वैल्यूज, और सबसे हालिया अबाधित पोज़ और मोशन रिकॉर्ड वाला एक मेमोरी ब्लॉक शामिल है।
   • लीकेज रेजिस्टेंस: महत्वपूर्ण रूप से, ढांचा "फिक्स्ड-विड्थ एब्लेशन" (fixed-width ablations) का उपयोग करता है। विशिष्ट इनपुट (जैसे, सेंटरलाइन को हटाना) का परीक्षण करते समय, संबंधित ब्लॉक को बिना किसी सरोगेट वेरिएबल या अन्य ब्लॉक्स के नियतात्मक प्रोजेक्शन के, शून्य (zeros) से बदल दिया जाता है। यह सुनिश्चित करता है कि प्रदर्शन में कोई भी गिरावट केवल लापता जानकारी के कारण हो।

2. लर्निंग कोर (TD3 के साथ मेटा-ग्रेडिएंट्स):

   • नियंत्रक ट्विन डिलेड डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (TD3) का उपयोग करता है।
   • अनुकूली पुरस्कार (Adaptive Rewards): एक स्केलर रिवॉर्ड स्टोर करने के बजाय, रिप्ले बफर छह-आयामी अनवेटेड रिवॉर्ड कंपोनेंट्स (प्रोग्रेस, सेफ्टी, टर्मिनल आउटकम, स्मूथनेस, हेडिंग, और स्टेप पेनल्टी) का एक वेक्टर स्टोर करता है। यह वर्तमान वेट्स का उपयोग करके स्केलर रिवॉर्ड को गतिशील रूप से पुनर्गठित करने की अनुमति देता है।
   • मेटा-ग्रेडिएंट ऑप्टिमाइजेशन: एक डिफरेंशिएबल मेटा-ग्रेडिएंट वर्चुअल एक्टर-क्रिटिक अपडेट्स को एक-चरण सत्यापन गतिक उद्देश्य (one-step validation kinematic objective) से जोड़ता है। बाहरी लॉस (outer loss) गोल डिस्टेंस, क्रॉस-ट्रैक एरर, बाधा क्लीयरेंस और कंट्रोल एफर्ट के एक स्मूथ फंक्शन को मिनिमाइज करता है। रिवॉर्ड वेट्स ($\lambda$) को एक हाइपरग्रेडिएंट के माध्यम से अपडेट किया जाता है, जो एक प्रोजेक्शन के अधीन है जो सुरक्षा उल्लंघन का पता चलने के बाद एक सेफ्टी फ्लोर (जैसे, सेफ्टी कंपोनेंट के लिए न्यूनतम वेट) को लागू करता है।

3. हाइब्रिड इंटरवेंशन लेयर:

   • एक अलग, फ्रोजन नियम-आधारित लेयर स्वतंत्र रूप से संचालित होती है। यह विशिष्ट घटनाओं पर ट्रिगर होती है: द्विभाजन (bifurcation - उस शाखा का चयन करना जो लक्ष्य के साथ सबसे अधिक संरेखित है), समाप्ति (termination - नदी खो जाने पर मोनोटोनिक ब्रेकिंग), गंभीर अवरोध (severe occlusion - मेमोरी के माध्यम से अंतराल को पाटना), और बाधा एकत्रीकरण (obstacle aggregation - नीति क्रियाओं को एक कृत्रिम क्षमता क्षेत्र/artificial potential field के साथ मिलाना)।
   • सिस्टम दोनों नीति क्रिया ($a^\pi_t$) और निष्पादित क्रिया ($a^{exec}_t$) को लॉग करता है ताकि सीखे गए व्यवहार और इंजीनियर किए गए सुरक्षा हस्तक्षेपों के बीच अंतर किया जा सके।

प्रमुख योगदान

1. सत्यापित विजुअल-ज्यामितीय फ्यूजन: पेपर एक 291-आयामी स्टेट को फॉर्म्युलेट करता है जहाँ एक ऑनलाइन RGB/FPN रिप्रेजेंटेशन को स्पष्ट मेट्रिक वेरिएबल्स के साथ जोड़ा जाता है। आउटकम-लेवल साक्ष्य (एक "विज़न-प्लस-काइनेटिक्स" एब्लेशन में 84.0% पूर्णता जहाँ सभी ज्यामितीय प्रायर जीरो कर दिए गए थे) यह प्रदर्शित करता है कि नीति प्रभावी रूप से विजुअल स्ट्रीम का उपयोग करती है न कि विशेषाधिकार प्राप्त ज्यामितीय सरोगेट्स का।
2. गणितीय रूप से बंद अनुकूली रिवॉर्ड ग्राफ: लेखक रिवॉर्ड अडैप्टेशन के लिए कम्प्यूटेशनल ग्राफ को क्लोज करते हैं। रॉ रिवॉर्ड कंपोनेंट्स को स्टोर करके और वर्चुअल काइनेटिक्स वाले डिफरेंशिएबल आउटर ऑब्जेक्टिव का उपयोग करके, वे पुराने (stale) स्केलर रिवॉर्ड्स पर निर्भर किए बिना ऐतिहासिक ट्रांजिशन को रीवेट करने में सक्षम होते हैं।
3. लीकेज-रेसिस्टेंट एब्लेशन प्रोटोकॉल: अध्ययन एक कठोर एब्लेशन पद्धति को परिभाषित करता है जहाँ एक स्ट्रक्चर्ड इनपुट को हटाने पर उसे शून्य से बदल दिया जाता है, जिससे यह सुनिश्चित होता है कि कोई भी सरोगेट जानकारी स्टेट में लीक न हो। यह विशिष्ट इनपुट (जैसे, मेमोरी, सेंटरलाइन) के मार्जिनल मूल्य को आइसोलेट करता है।
4. चिंताओं का पृथक्करण (Separation of Concerns): ढांचा स्पष्ट रूप से सीखे गए नियंत्रण, प्रेडिक्टिव ऑप्टिमाइजेशन (NMPC), और नियम-आधारित हस्तक्षेप को अलग करता है। यह सुरक्षा और दक्षता लाभों के स्वतंत्र एट्रिब्यूशन की अनुमति देता है, जिससे सीखी गई इंटेलिजेंस और इंजीनियर की गई सुरक्षा के बीच भ्रम से बचा जा सकता है।
5. पुनरुत्पादनीय मूल्यांकन प्रोटोकॉल: पेपर एक व्यापक मूल्यांकन सूट प्रदान करता है जिसमें फ्रोजन बैलेंस्ड मैनिफेस्ट, पेयर्ड स्टैटिस्टिक्स, फाइनाइट-डिफरेंस ग्रेडिएंट चेक, और सामान्य ज्यामिति नियंत्रण एवं नदी-विशिष्ट घटनाओं (द्विभाजन, समाप्ति, अवरोध, एकत्रीकरण) के लिए अलग बेंचमार्क शामिल हैं।

परिणाम

• स्टेट एब्लेशन: फिक्स्ड-विड्थ एब्लेशन में, मेमोरी ब्लॉक को हटाने से पूर्णता में सबसे बड़ी गिरावट (4.25 प्रतिशत अंक) देखी गई, हालांकि यह सांख्यिकीय रूप से महत्वपूर्ण नहीं थी। "विज़न-प्लस-काइनेटिक्स" स्थिति (सभी स्पष्ट ज्यामिति को हटाने पर) ने 84.0% पूर्णता बरकरार रखी, जो विजुअल स्ट्रीम की उपयोगिता को प्रमाणित करती है।
• रिवॉर्ड अडैप्टेशन: जबकि मेटा-ग्रेडिएंट वेरिएंट्स ने फिक्स्ड वेट्स (83.13%) की तुलना में उच्च पूर्णता दर (87.75%) प्राप्त की, एक "जीरो-हाइपरग्रेडिएंट" कंट्रोल—जो समान सुरक्षा-ट्रिगर प्रोजेक्शन लागू करता है लेकिन हाइपरग्रेडिएंट अपडेट को अक्षम करता है—ने भी समान 87.75% पूर्णता दर प्राप्त की। यह इंगित करता है कि प्रदर्शन में सुधार प्रोजेक्टेड रिवॉर्ड रीकॉन्फ़िगरेशन (विशेष रूप से सेफ्टी फ्लोर) के कारण है, न कि हाइपरग्रेडिएंट मैकेनिज्म के कारण।
• कंट्रोलर तुलना:
  • सामान्य नेविगेशन: हाइब्रिड TD3 कंट्रोलर ने रिवर-इवेंट बेंचमार्क पर 88.5% औसत कार्य पूर्णता प्राप्त की। इसने NMPC को 11.1 प्रतिशत अंक और RRT*-Replan को 15.9 अंक से पीछे छोड़ दिया।
  • ज्यामिति नियंत्रण: एक ज्यामिति-ओनली बेंचमार्क (कोई RGB नहीं) में, NMPC ने एक साधारण रूल कंट्रोलर (78.7% बनाम 65.3% पूर्णता) की तुलना में बेहतर प्रदर्शन किया, लेकिन इसके लिए काफी अधिक कम्प्यूटेशनल लेटेंसी (32.9 ms बनाम 4.5 ms प्रति स्टेप) की आवश्यकता थी।
  • हस्तक्षेप का प्रभाव: सभी इंटरवेंशन नियमों को सक्रिय करने से सामान्य नेविगेशन में टकराव कम हुआ, लेकिन सामान्य लक्ष्य-प्राप्ति सफलता में 12.63 प्रतिशत अंकों की कमी आई, जो सुरक्षा-दक्षता ट्रेड-ऑफ को उजागर करता है। नियमों ने सुरक्षित स्टॉप या रीरूटिंग के माध्यम से 81.5% समाप्ति मामलों को सफलतापूर्वक संभाला।

महत्व और दावे
पेपर का दावा है कि यह नदी-गलियारे के UAV नेविगेशन में विजुअल परसेप्शन, अनुकूली रिवॉर्ड लर्निंग और हाइब्रिड सेफ्टी इंटरवेंशन को एकीकृत करने के लिए एक पुनरुत्पादनीय और निरीक्षण योग्य ढांचा स्थापित करता है। इसका महत्व किसी एक "सर्वश्रेष्ठ" एल्गोरिदम का प्रस्ताव करने में नहीं है, बल्कि नियंत्रण समस्या के कठोर अपघटन (decomposition) में है:

• यह सिद्ध करता है कि यदि स्टेट रिप्रेजेंटेशन को सावधानीपूर्वक डिजाइन किया जाए, तो विजुअल जानकारी नेविगेशन को संचालित कर सकती है, भले ही स्पष्ट ज्यामितीय प्रायर हटा दिए जाएं।
• यह प्रदर्शित करता है कि अनुकूली रिवॉर्ड लर्निंग को फाइनाइट-डिफरेंस चेक के माध्यम से गणितीय रूप से क्लोज और सत्यापित किया जा सकता है, हालांकि इस सेटअप में मुख्य लाभ हाइपरग्रेडिएंट अपडेट के बजाय सुरक्षा-नियंत्रित प्रोजेक्शन से आया।
• यह एक स्पष्ट एट्रिब्यूशन मॉडल प्रदान करता है जहाँ सीखी गई नीति, मॉडल-आधारित ऑप्टिमाइज़र और नियम-आधारित हस्तक्षेप के योगदान अलग और मापने योग्य हैं, जो इंजीनियर की गई सुरक्षा को सीखी गई इंटेलिजेंस मानने की सामान्य गलती से बचता है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि ढांचा विशिष्ट नदी परिदृश्यों में बेसलाइन्स की तुलना में पूर्णता दरों में सुधार करता है, लेकिन लाभ अक्सर केवल मेटा-ग्रेडिएंट मैकेनिज्म के बजाय रिवॉर्ड वेट्स के विशिष्ट पुनर्गठन और इंटरवेंशन लेयर द्वारा संचालित होते हैं। यह कार्य जटिल, दृश्य रूप से अस्थिर वातावरण में धारणा, अवस्था और सुरक्षा को अलग करने के लिए एक पद्धतिगत ब्लूप्रिंट के रूप में कार्य करता है।