SEArch: Optimistic Policy Selection Between Scene Noise and Drift for UAV Radar Search

तकनीकी सारांश: SEArch – दृश्य शोर (Scene Noise) और ड्रिफ्ट (Drift) के बीच UAV रडार खोज के लिए आशावादी नीति चयन (Optimistic Policy Selection)

समस्या विवरण
रडार सेंसर से लैस मानव रहित हवाई वाहन (UAVs) को गतिशील वातावरण, जैसे कि समुद्री बचाव और आपदा प्रतिक्रिया में लक्ष्य खोज मिशनों के लिए तेजी से तैनात किया जा रहा है। ये मिशन एक मौलिक चुनौती का सामना करते हैं: जैसे-जैसे UAV गैर-स्थिर वातावरण (जैसे कि दीवार की सामग्री, क्लटर, या समुद्र की स्थिति में परिवर्तन) के माध्यम से आगे बढ़ता है, रडार सांख्यिकी बदल जाती है, जिससे निश्चित सिग्नल-प्रोसेसिंग रणनीतियाँ उप-इष्टतम (suboptimal) हो जाती हैं। इसके अलावा, इन अनुकूलनों को संसाधन-सीमित नोड्स पर अल्ट्रा-लो लेटेंसी के साथ ऑनबोर्ड निष्पादित किया जाना चाहिए, जो क्लाउड ऑफलोडिंग को असंभव बनाता है।

मुख्य कठिनाई दो अलग-अलग प्रकार की अनिश्चितताओं के बीच संतुलन बनाने में निहित है:

1. इन-सीन स्टोकेस्टिक शोर (In-scene stochastic noise): UAV की सूक्ष्म-गतियों (micro-motions) और क्लटर के कारण एक स्थिर दृश्य के भीतर होने वाले उतार-चढ़ाव।
2. इंटर-सीन डिस्ट्रीब्यूशनल शिफ्ट्स (Inter-scene distributional shifts): जैसे ही UAV विभिन्न पर्यावरणीय व्यवस्थाओं (environmental regimes) के बीच संक्रमण करता है, माप वितरण (measurement distribution) में अचानक या क्रमिक परिवर्तन।

मौजूदा विधियाँ आमतौर पर केवल एक ही शासन (regime) को संबोधित करती हैं: एडवर्सरियल ऑनलाइन लर्निंग विधियाँ वास्तविक कठिनाई से स्वतंत्र होकर रूढ़िवादी सीमाएँ (conservative bounds) प्रदान करती हैं, जबकि स्टोकेस्टिक मॉडल अचानक होने वाले दृश्य परिवर्तनों को पकड़ने में विफल रहते हैं। यह शोध पत्र प्रतिपादित करता है कि कोई भी एकल डिटेक्टर सभी स्थितियों में अच्छा प्रदर्शन नहीं कर सकता है, जिसके लिए एक मल्टी-पॉलिसी प्रतिमान (multi-policy paradigm) की आवश्यकता है जहाँ सिस्टम को दृश्य ड्रिफ्ट या शोर के पैमाने के पूर्व ज्ञान के बिना, वास्तविक समय में एक पूर्व-प्रशिक्षित लाइब्रेरी से इष्टतम नीति का चयन करना चाहिए।

कार्यप्रणाली (Methodology)
लेखक UAV लक्ष्य खोज समस्या को $K$ विशिष्ट सिग्नल प्रोसेसिंग नीतियों के एक सीमित पुस्तकालय (library) पर ऑनलाइन कॉन्वेक्स ऑप्टिमाइज़ेशन (OCO) कार्य के रूप में तैयार करते हैं। प्रदर्शन मीट्रिक रिग्रेट (regret) है, जिसे प्रत्येक विशिष्ट दृश्य खंड के लिए पिछले इतिहास में सर्वश्रेष्ठ स्थिर नीति के सापेक्ष संचयी हानि अंतराल (cumulative loss gap) के रूप में परिभाषित किया गया है।

पर्यावरण को मॉडल करने के लिए, शोध पत्र स्टोकेस्टिकली एक्सटेंडेड एडवर्सरी (SEA) ढांचे को अपनाता है। यह ढांचा समस्या की कठिनाई को निम्नानुसार विभाजित करता है:

• $\bar{\sigma}_T^2$: संचयी स्टोकेस्टिक वेरिएंस (इन-सीन शोर)।
• $\bar{\Sigma}_T^2$: संचयी एडवर्सरियल वेरिएशन (इंटर-सीन ड्रिफ्ट)।

यह शोध पत्र इस ढांचे के भीतर दो एल्गोरिदम पेश करता है:

1. SEARCH (Optimistic FTRL):

   • एक अडैप्टिव लर्निंग रेट वाला ऑप्टिमिस्टिक फॉलो द रेगुलराइज्ड लीडर (OFTRL) सेलेक्टर।
   • यह पिछले अवलोकन के आधार पर अगले लॉस का अनुमान लगाता है ($M_t = \ell_{t-1}$)। यह भविष्यवाणी स्थिर दृश्यों के भीतर सटीक होती है लेकिन संक्रमण (transitions) के समय विफल हो जाती है।
   • अडैप्टिव लर्निंग रेट स्वचालित रूप से तब रूढ़िवादी हो जाता है जब त्रुटियों (जो संक्रमण या उच्च शोर का संकेत देती हैं) का पता चलता है, जिससे दोलन (oscillation) को रोका जा सके।
   • रिग्रेट बाउंड: $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, जहाँ $J$ दृश्य संक्रमणों की संख्या है। स्विचिंग पेनल्टी केवल $\sqrt{J}$ के रूप में बढ़ती है।

2. W-SEARCH (Windowed OFTRL):

   • उन मिशनों के लिए डिज़ाइन किया गया है जहाँ दृश्य परिवर्तन बार-बार होते हैं और वैश्विक इतिहास का संचय जड़ता (inertia) पैदा करता है (जो पुराने अनुकूलों को प्राथमिकता देता है)।
   • यह हाल के $w$ अवलोकनों तक अपडेट को सीमित करता है, और प्रत्येक $w$ राउंड के बाद एक "हार्ड रिस्टार्ट" करता है।
   • यह पहले से पार किए गए दृश्यों से अप्रचलित मापों को हटा देता है, जिससे अनियमित परिवर्तनों के प्रति तीव्र अनुकूलन सक्षम होता है।
   • रिग्रेट बाउंड: $w$ लंबाई के किसी भी निरंतर अंतराल पर $O(\bar{\sigma}_I \sqrt{w})$, यह मानते हुए कि प्रति विंडो अधिकतम एक संक्रमण होता है।

दोनों एल्गोरिदम हल्के (lightweight) हैं, जिन्हें प्रति राउंड केवल $O(K \log K)$ गणना और $O(K)$ मेमोरी स्टेट की आवश्यकता होती है, और इसमें कोई ऑनलाइन प्रशिक्षण या बाहरी एक्सेलेरेटर नहीं है। वे फुल-इन्फॉर्मेशन फीडबैक पर निर्भर करते हैं, जहाँ एक एकल रडार माप सभी $K$ नीतियों का एक साथ मूल्यांकन करता है, जिससे कोई अतिरिक्त सेंसिंग लागत नहीं लगती।

प्रमुख योगदान

• फॉर्मूलेशन: लेखकों ने UAV खोज को एक सीमित लाइब्रेरी पर ऑनलाइन पॉलिसी सिलेक्शन के रूप में प्रस्तुत किया है, जो समस्या-निर्भर रिग्रेट बाउंड प्राप्त करने के लिए SEA ढांचे के माध्यम से अनिश्चितता को मॉडल करता है।
• SEARCH एल्गोरिदम: एक OFTRL सेलेक्टर जो $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$ का रिग्रेट बाउंड प्राप्त करता है, जो प्रभावी रूप से लागत को स्टोकेस्टिक शोर और स्विचिंग पेनल्टी में विभाजित करता है।
• W-SEARCH एल्गोरिदम: एक विंडो वाला संस्करण जो $w$ लंबाई के अंतराल पर $O(\bar{\sigma}_I \sqrt{w})$ का अडैप्टिव रिग्रेट प्राप्त करता है, जो विशेष रूप से जड़ता (inertia) की समस्या को संबोधित करता है।
• मॉड्यूलरिटी: यह दृष्टिकोण पॉलिसी लाइब्रेरी निर्माण के प्रति ऑर्थोगोनल है; यह एक ऑनलाइन चयन परत (selection layer) के रूप में कार्य करता है जो किसी भी पूर्व-प्रशिक्षित डिटेक्टर पूल के ऊपर स्थित हो सकता है।

प्रायोगिक परिणाम
लेखक विभिन्न गैर-स्थिर सेटिंग्स ($T=150$) में $K=4$ नीतियों के साथ सिमुलेशन के माध्यम से अपने दृष्टिकोण को मान्य करते हैं:

• रिग्रेट में कमी: गैर-अनुकूलनीय बेसलाइन (UCB, Exp3, OMD) की तुलना में, प्रस्तावित विधियाँ 30% तक रिग्रेट में कमी प्राप्त करती हैं।
• अनुकूलन गति: SEARCH एक शासन परिवर्तन के 10 चरणों के भीतर इष्टतम नीति पर भार केंद्रित कर देता है।
• विंडोड प्रदर्शन: W-SEARCH तेजी से बदलते वातावरण में महत्वपूर्ण लाभ प्रदर्शित करता है। बार-बार होने वाले संक्रमणों वाले परिदृश्यों में, इसने ग्लोबल SEARCH एल्गोरिदम की तुलना में अंतिम रिग्रेट को 60% से 72% तक कम कर दिया।
• मजबूती (Robustness): विंडो वाला दृष्टिकोण अनियमित स्विचिंग पैटर्न और विविध शोर स्तरों ($\sigma \in [0.05, 0.4]$) के प्रति मजबूत बना रहता है, हालांकि बहुत उच्च शोर स्तरों पर सापेक्ष लाभ थोड़ा कम हो जाता है जहाँ प्रति खंड अधिक अवलोकनों की आवश्यकता होती है।
• स्केलेबिलिटी: दोनों एल्गोरिदम नीतियों की संख्या ($K$) के साथ अच्छी तरह से स्केल करते हैं, जिसमें W-SEARCH $K=16$ तक बढ़ते एक्शन स्पेस के साथ बेहतर प्रदर्शन दिखाता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि विशुद्ध रूप से एडवर्सरियल या विशुद्ध रूप से स्टोकेस्टिक मॉडलों से आगे बढ़कर, SEA ढांचा UAV रडार खोज वातावरण की अधिक सूक्ष्म समझ प्रदान करता है। प्राथमिक महत्व हल्के, ऑनबोर्ड समाधान प्रदान करने में है जो दृश्य गतिशीलता के पूर्व ज्ञान के बिना वास्तविक समय में इष्टतम नीतियों को ट्रैक कर सकते हैं। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण स्थिर वातावरण में लगभग इष्टतम स्टोकेस्टिक दर प्राप्त करता है, जबकि बार-बार होने वाले परिवर्तनों के दौरान गैर-स्थिर दरों में ढल जाता है, और यह सब लो-अल्टीट्यूड IoT नेटवर्क नोड्स के लिए आवश्यक कम्प्यूटेशनल बाधाओं को बनाए रखते हुए किया जाता है। यह कार्य विशेष रूप से "ऑनलाइन सिलेक्शन लेयर" को लक्षित करता है, जिससे ऑफलाइन पॉलिसी लाइब्रेरी का निर्माण पूरक कार्यों (जैसे [5]) पर छोड़ दिया जाता है, जिससे अनुकूल सेंसिंग के लिए एक मॉड्यूलर समाधान मिलता है।