UDAQ: Unified Dynamic and Adaptive Q-iteration for Unknown Environment Path Planning and Exploration

कल्पना कीजिए कि एक रोबोट को एक ऐसे अंधेरे भूलभुलैया में छोड़ दिया गया है जिसे उसने पहले कभी नहीं देखा है। उसके पास केवल दो ही उपकरण हैं: "आंखें" (सेंसर) जो कुछ कदम आगे तक देख सकती हैं और एक दिमाग जिसे एक साथ दो चीजें समझने की जरूरत है: "मैं उस विशिष्ट स्थान तक कैसे पहुँचूँ जो वहाँ है?" और "मैं पूरे अंधेरे कमरे का नक्शा कैसे बनाऊं ताकि मैं खो न जाऊं?" यह एक स्वायत्त (autonomous) रोबोट का दैनिक जीवन है, जिसे मोबाइल रोबोटिक्स नामक विज्ञान का क्षेत्र कहा जाता है। वास्तविक दुनिया में जीवित रहने के लिए, एक रोबोट को पाथ प्लानिंग (बिंदु A से बिंदु B तक एक सुरक्षित रेखा खींचना) और एक्सप्लोरेशन (मानसिक मानचित्र बनाने के लिए अज्ञात क्षेत्रों को व्यवस्थित रूप से जांचना) की आवश्यकता होती है। पारंपरिक रूप से, इंजीनियरों ने इन्हें दो अलग-अलग कार्यों के रूप में माना है, जहाँ एक "प्रोग्राम" को यह तय करने के लिए काम पर रखा जाता है कि कहाँ जाना है और दूसरे "प्रोग्राम" को यह पता लगाने के लिए कि वहाँ कैसे पहुँचना है। लेकिन एक ऐसी दुनिया में जो आपके देखते ही बदल जाती है, इन कार्यों को अलग रखना भ्रम पैदा कर सकता है, जैसे कि एक ड्राइवर जो यात्री से दिशा पूछ रहा हो जबकि यात्री अभी भी नक्शा पढ़ने की कोशिश कर रहा हो।

यहाँ UDAQ (यूनिफाइड डायनेमिक एंड एडेप्टिव Q-इट्रेशन) आता है, जो एक नया फ्रेमवर्क है जिसे शोधकर्ताओं नासर अब्दलमनान और उनकी टीम (यूनिवर्सिटी मलेशिया पेरलिस और ओरेब्रो यूनिवर्सिटी से) द्वारा प्रस्तावित किया गया है। UDAQ को दो अलग-अलग दिमागों वाले रोबोट के रूप में नहीं, बल्कि एक एकल, सुपर-अनुकूलनशील (super-adaptive) नेविगेटर के रूप में सोचें जो "हॉट एंड कोल्ड" (पास या दूर) के खेल के माध्यम से सब कुछ करना सीखता है। अलग-अलग मोड के बीच स्विच करने के बजाय, UDAQ नियमों का एक ही सेट (रिवॉर्ड सिस्टम) उपयोग करता है ताकि रोबोट को व्यवहार करना सिखाया जा सके। यदि रोबोट को एक विशिष्ट दरवाजे को खोजना है, तो "खेल" उसे उस दरवाजे के करीब पहुँचने के लिए पुरस्कृत करता है। यदि रोबोट को पूरी इमारत का नक्शा बनाना है, तो "खेल" उसे नए, अनछुए कोनों को खोजने के लिए पुरस्कृत करता है। इसका जादू यह है कि यह प्रणाली जैसे-जैसे रोबोट दुनिया की खोज करता है, अपने स्वयं के कठिनाई स्तरों को स्वचालित रूप से समायोजित करती है। यदि भूलभुलैया बड़ी हो जाती है, तो UDAQ अपने रिवॉर्ड्स को बढ़ा देता है ताकि रोबोट निराश या भ्रमित न हो। कंप्यूटर सिमुलेशन की एक श्रृंखला में, यह दृष्टिकोण वर्तमान में उद्योग में उपयोग किए जाने वाले मानक तरीकों की तुलना में अज्ञात स्थानों में नेविगेट करने का एक तेज़, सुचारू और अधिक कुशल तरीका साबित हुआ।

समस्या: रोबोट का "दोहरा व्यक्तित्व"

कल्पना कीजिए कि आप एक विशाल, अंधेरी गुफा की खोज कर रहे हैं। आपके पास एक टॉर्च है जो आपके चारों ओर केवल एक छोटा घेरा रोशन करती है। बाहर निकलने के लिए, आपको रास्ता जानने की आवश्यकता है। नक्शा बनाने के लिए, आपको अंधेरे में घूमना होगा। पुराने जमाने के रोबोट नेविगेशन अक्सर इन कार्यों को दो अलग-अलग टीमों में विभाजित करता है। एक टीम, एक्सप्लोरर (खोजकर्ता), कहती है, "जाओ और ज्ञात दुनिया के किनारे को खोजो!" दूसरी टीम, प्लानर (योजनाकार), कहती है, "ठीक है, अब उस किनारे तक एक रेखा खींचो।"

समस्या यह है कि ये दोनों टीमें आपस में ठीक से बात नहीं करती हैं। एक्सप्लोरर एक ऐसा लक्ष्य चुन सकता है जो पास दिखता है लेकिन वास्तव में एक दीवार के पीछे है, और प्लानर को चक्कर काटने का रास्ता खोजने में समय बर्बाद करना पड़ता है। या, जब प्लानर काम कर रहा होता है तो नक्शा बदल सकता है, जिससे पुराना प्लान बेकार हो जाता है। यह एक कार चलाने की कोशिश करने जैसा है जहाँ GPS और स्टीयरिंग व्हील दो अलग-अलग लोगों द्वारा नियंत्रित किए जाते हैं जो मंजिल को लेकर बहस कर रहे हैं।

समाधान: एक दिमाग, कई मूड

UDAQ के पीछे के शोधकर्ताओं ने टीम को विभाजित करना बंद करने का निर्णय लिया। उन्होंने एक ऐसा सिस्टम बनाया जहाँ रोबोट के पास एक ही दिमाग है जो खोज (exploring) और योजना (planning) दोनों को संभालता है, लेकिन यह अपनी "मूड" बदल लेता है कि आप इसे क्या करने के लिए कहना चाहते हैं। वे इसे यूनिफाइड डायनेमिक एंड एडेप्टिव Q-इट्रेशन फ्रेमवर्क कहते हैं।

यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:

"हॉट एंड कोल्ड" का खेल
कल्पना कीजिए कि रोबोट एक वीडियो गेम खेल रहा है जहाँ वह चलने के लिए अंक (रिवॉर्ड्स) अर्जित करता है।

• मूड 1: लक्ष्य का पीछा करने वाला (The Goal Chaser)। यदि आप रोबोट को कहते हैं, "लाल दरवाजे पर जाओ," तो खेल उसे दरवाजे के करीब पहुँचने के लिए बहुत सारे अंक देता है। यह गोल-गोल घूमने के लिए छोटे दंड (penalties) भी देता है। रोबोट दरवाजे की ओर तेजी से भागना सीख जाता है, लेकिन यदि वह किसी दीवार से टकराता है, तो वह तुरंत उसके चारों ओर का सबसे अच्छा रास्ता फिर से कैलकुलेट करता है।
• मूड 2: नक्शा बनाने वाला (The Map Maker)। यदि आप रोबोट को कहते हैं, "सब कुछ एक्सप्लोर करो," तो खेल बदल जाता है। अब, रोबोट को फ्रंटियर्स (सीमाओं) को खोजने के लिए सबसे अधिक अंक मिलते हैं—वे धुंधले किनारे जहाँ ज्ञात नक्शा अज्ञात अंधेरे से मिलता है। वह लाल दरवाजे को अनदेखा कर देता है और इसके बजाय निकटतम अनछरी कोनों की ओर दौड़ पड़ता है।
• मूड 3: दिशात्मक खोजकर्ता (The Directional Explorer)। आप रोबोट को यह भी कह सकते हैं, "एक्सप्लोर करो, लेकिन मुख्य रूप से उत्तर की ओर।" रोबोट अभी भी नए क्षेत्रों की तलाश करेगा, लेकिन वह उन्हें प्राथमिकता देगा जो उत्तर में हैं, जिससे एक विशिष्ट पैटर्न बनता है।

UDAQ की प्रतिभा यह है कि इसे मूड बदलने के लिए सॉफ्टवेयर बदलने की आवश्यकता नहीं है। यह बस एक ही दिमाग को चलते रहने देते हुए खेल के नियमों (रिवॉर्ड कॉन्फ़िगरेशन) को बदल देता है।

गुप्त मंत्र: "लचीला" रिवॉर्ड

इन खेलों में एक पेचीदा समस्या होती है। यदि रोबोट एक छोटे कमरे में है, तो "10 अंक" का रिवॉर्ड बहुत बड़ा लग सकता है। लेकिन यदि रोबोट अचानक एक विशाल हॉल की खोज करता है, तो वही "10 अंक" बहुत छोटे लग सकते हैं जो रोबोट को पूरे कमरे को पार करने के लिए प्रेरित करने के लिए पर्याप्त न हों। रोबोट भ्रमित हो सकता है और प्रयास करना छोड़ सकता है, या वह गलत निर्णय ले सकता है क्योंकि गणित अब मेल नहीं खाता।

UDAQ इसे एक डायनेमिक एंड एडेप्टिव तंत्र के साथ हल करता है। इसे एक लचीले पैमाने (stretchy ruler) की तरह समझें।

1. रोबोट लगातार अब तक खोजी गई जगह के आकार को मापता है। यह ज्ञात नक्शे के माध्यम से वह सबसे लंबा संभव रास्ता निकालता है जो वह चल सकता है ("जियोडेसिक व्यास")।
2. इस आकार के आधार पर, यह स्वचालित रूप से रिवॉर्ड्स को रीस्केल (पुनर्गणना) करता है। यदि कमरा बहुत बड़ा है, तो अंक अधिक मूल्यवान होते हैं। यदि कमरा छोटा है, तो अंक कम मूल्यवान होते हैं।
3. यह सुनिश्चित करता है कि रोबлот हमेशा "हॉट एंड कोल्ड" संकेतों को सही ढंग से महसूस करे, चाहे भूलभुलैया कितनी भी बड़ी क्यों न हो जाए। यह रोबोट को "फंसने" या गलत निर्णय लेने से रोकता है क्योंकि वातावरण बदल गया है।

सिमुलेशन ने क्या दिखाया

शोधकर्ताओं ने तीन अलग-अलग आभासी दुनियाओं में UDAQ का परीक्षण किया, जिसमें एक साधारण खुला गोदाम से लेकर संकीर्ण गलियारों और कई कमरों वाली एक जटिल इमारत तक शामिल थी। उन्होंने इसकी तुलना उद्योग में उपयोग किए जाने वाले मानक तरीकों (जैसे ROS 2 NavFn प्लानर) और अन्य एक्सप्लोरेशन रणनीतियों (जैसे "वॉल-फॉलोइंग" या "रैंडम वॉकिंग") से की।

1. A से B तक पहुँचना (पाथ प्लानिंग)
जब रोबोट को अज्ञात वातावरण में एक शुरुआती बिंदु से लक्ष्य बिंदु तक जाना था:

• UDAQ ने मानक प्लानर की तुलना में 8-12% छोटे रास्ते खोजे।
• इसने यात्रा 20-30% तेजी से पूरी की।
• बिना पहले से नक्शा जाने भी, UDAQ के रास्ते लगभग उतने ही अच्छे थे जितना कि एक "परफेक्ट" रास्ता जो एक इंसान तब बना सकता है जब उसे शुरू से ही पूरा नक्शा पता हो।

2. पूरे कमरे की खोज करना (एक्सप्लोरेशन)
जब रोबोट को पूरे वातावरण का नक्शा बनाना था:

• UDAQ स्पष्ट विजेता था। इसने मानक "फ्रंटियर-बेस्ड" पद्धति (जो वर्तमान में सबसे अच्छा पारंपरिक दृष्टिकोण है) की तुलना में 36-44% कम दूरी तय की।
• इसने खोज कार्य 48-59% तेजी से पूरा किया।
• सबसे जटिल मानचित्र (मैप C) में, मानक "रैंडम वॉक" पद्धति वास्तव में एक संकीर्ण गलियारे में फंस गई और काम पूरा करने में विफल रही, जबकि UDAQ ने सुचारू रूप से रास्ता बनाया और कार्य पूरा किया।

3. "दिशात्मक" परीक्षण
एक प्रयोग में, शोधकर्ताओं ने रोबोट को एक विशिष्ट दिशा (जैसे "मुख्य रूप से दक्षिण") की ओर झुकाव के साथ जटिल इमारत की खोज करने के लिए कहा।

• जब दिशा इमारत के लेआउट से मेल खाती थी (जैसे दक्षिण), तो रोबोट अविश्वसनीय रूप से कुशल था, और सबसे छोटा रास्ता अपनाया।
• जब दिशा "गलत" थी (जैसे पश्चिम), तो रोबोट ने लंबा, घुमावदार रास्ता लिया।
• इससे सिद्ध हुआ कि UDAQ को एक विशिष्ट क्रम में एक्सप्लोर करने के लिए "स्टीयर" किया जा सकता है, जो कि उपयोगी हो सकता है यदि आप जानते हैं कि कुछ कमरे दूसरों की तुलना में अधिक महत्वपूर्ण हैं।

कमी: यह अभी भी एक सिमुलेशन है

हालांकि परिणाम प्रभावशाली हैं, शोधकर्ता सावधानीपूर्वक नोट करते हैं कि ये सभी परीक्षण कंप्यूटर सिमुलेशन में किए गए थे। रोबोट एक आदर्श डिजिटल दुनिया में रहते थे जहाँ सेंसर कभी खराब नहीं होते, पहिए कभी फिसलते नहीं, और नक्शे हमेशा सटीक होते। वास्तविक दुनिया में, रोबोट कठिन समस्याओं का सामना करते हैं जैसे खराब रोशनी, फिसलन भरे फर्श और शोर वाले सेंसर। शोध पत्र सुझाव देता है कि UDAQ वास्तविक दुनिया के उपयोग के लिए एक बहुत मजबूत उम्मीदवार है, लेकिन अभी तक इसका परीक्षण किसी भौतिक रोबोट पर नहीं किया गया है। लेखक भविष्य के कार्यों में इस "लचीले पैमाने" वाले दिमाग को कंप्यूटर से निकालकर वास्तविक दुनिया में ले जाने की योजना बना रहे हैं।

निष्कर्ष

UDAQ उन रोबोटों की ओर एक कदम है जो केवल एक चेकलिस्ट का पालन करने वाली कठोर मशीनों के बजाय अनुकूलन योग्य खोजकर्ता हैं। पाथ प्लानिंग और एक्सप्लोरेशन को एक एकल, स्व-समायोजन प्रणाली में एकीकृत करके, यह रोबोटों को अज्ञात रास्तों पर उस दक्षता और सुगमता के साथ नेविगेट करने की अनुमति देता है जो पारंपरिक, विभाजित-प्रणाली वाले रोबोटों के लिए कठिन होता है। यह हमें याद दिलाता है कि कभी-कभी, जटिल समस्या को हल करने का सबसे अच्छा तरीका अधिक उपकरण बनाना नहीं, बल्कि आपके पास मौजूद एक उपकरण का अधिक स्मार्ट तरीके से उपयोग करना है।