Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning
यह शोध पत्र एक विजन-गाइडेड सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो सुपरवाइज्ड लर्निंग और करिकुलम फाइन-ट्यूनिंग की शामिल दो-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से क्वाडकॉप्टर्स को अज्ञात, GNSS-रहित बाहरी वातावरण में स्वायत्त रूप से नेविगेट करने और बाधाओं से बचने में सक्षम बनाता है, जिससे सफल जीरो-शॉट सिम-टू-रियल ट्रांसफर प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक रिमोट-कंट्रोल ड्रोन है। आमतौर पर, आपको एक कंट्रोलर पकड़ना पड़ता है, स्क्रीन देखनी पड़ती है, और पेड़ों, इमारतों या अन्य बाधाओं से टकराने से बचने के लिए लगातार इसे मोड़ना पड़ता है। यदि आप सिग्नल खो देते हैं या बैटरी खत्म हो जाती है, तो ड्रोन रुक जाता है। यह शोध पत्र एक तरीका प्रस्तुत करता है जिससे आप एक ड्रोन को बिना किसी मानव पायलट के, केवल अपनी "आंखों" और "दिमाग" का उपयोग करके, एक घने और अज्ञात जंगल या शहर के माध्यम से खुद उड़ना सिखा सकते हैं।
यहाँ उन्होंने इसे कैसे किया, इसका सरल विवरण दिया गया है:
समस्या: "पायलट" की बाधा
आज के अधिकांश ड्रोन उन कारों की तरह हैं जिनका ड्राइवर कभी सोता नहीं है। वे तेजी से चलने और तीखे मोड़ लेने में बहुत अच्छे हैं, लेकिन वे कठिन जगहों (जैसे घने जंगल के नीचे या युद्ध क्षेत्र में) में अकेले नहीं उड़ सकते क्योंकि उन्हें लगातार एक इंसान की जरूरत होती है जो उन्हें बताए कि कहाँ जाना है। इस शोध का लक्ष्य एक ऐसा ड्रोन बनाना था जो दुनिया को देख सके, यह समझ सके कि बाधाएं कहाँ हैं, और अपने आप एक गंतव्य तक पहुँच सके।
समाधान: दो-भागों वाला दिमाग
शोधकर्ताओं ने ड्रोन के लिए एक "दिमाग" बनाया जो दो मुख्य भागों में काम करता है, ठीक वैसे ही जैसे एक इंसान गाड़ी चलाना सीखता है:
- आंखें (द ऑटोएनकोडर): ड्रोन गहराई देखने के लिए एक स्टीरियो कैमरा (मानव आंखों की तरह दो लेंस) का उपयोग करता है। हालाँकि, कच्चा वीडियो (raw video) एक छोटे कंप्यूटर के लिए प्रोसेस करने हेतु बहुत अधिक डेटा होता है। इसलिए, उन्होंने पहले एक विशेष AI को प्रशिक्षित किया जो एक "सारांश बनाने वाले" (summarizer) के रूप में कार्य करता है। यह दुनिया के जटिल 3D दृश्य को देखता है और उसे स्थान के एक सरल, निम्न-स्तरीय "एहसास" में संकुचित कर देता है। इसे एक हाई-डेफिनिशन मूवी को एक त्वरित स्केच में बदलने जैसा समझें जो कमरे के सार को पकड़ लेता है।
- पायलट (द LSTM नेटवर्क): एक बार जब ड्रोन के पास दुनिया का यह "स्केच" आ जाता है, तो वह इसे मस्तिष्क के दूसरे भाग को भेज देता है जिसे LSTM कहा जाता है। यह एक प्रकार का AI है जो समय के साथ चीजों को याद रखने में अच्छा है। यह स्केच को देखता है, याद रखता है कि एक सेकंड पहले वह कहाँ था, और निर्णय लेता है: "ठीक है, मुझे बाईं ओर मुड़ना चाहिए और गति बढ़ानी चाहिए।" यह सरल कमांड आउटपुट देता है जैसे "इस गति से आगे बढ़ें" या "थोड़ा मुड़ें," जिसका पालन ड्रोन का अंतर्निहित सॉफ्टवेयर तुरंत कर सकता है।
प्रशिक्षण: वीडियो गेम से वास्तविकता तक
आप एक असली ड्रोन को हजारों बार क्रैश करके नहीं सिखा सकते; वह टूट जाएगा। इसलिए, शोधकर्ताओं ने पहले एक वीडियो गेम सिमुलेशन में ड्रोन को उड़ाना सिखाया।
- चरण 1: ट्यूटर (प्रिविलेज्ड लर्निंग): कल्पना कीजिए कि एक छात्र पायलट उड़ना सीख रहा है। शुरुआत में, उसके पास एक सुपर-ट्यूटर होता है जो जंगल के बीच से सही रास्ता जानता है। AI ड्रोन इस "परफेक्ट पाथ" को देखता है और उसके करीब रहने के लिए उसे इनाम मिलता है। यह ट्रेनिंग व्हील्स की तरह है; ड्रोन बुनियादी नियम सीखता है कि चीजों से कैसे टकराना नहीं है और लक्ष्य की ओर कैसे बढ़ना है।
- चरण 2: सोलो फ्लाइट (करिकुलम लर्निंग): एक बार जब ड्रोन बुनियादी बातें जान जाता है, तो ट्यूटर गायब हो जाता है। ड्रोन को एक कठिन, अधिक जटिल गेम लेवल में डाल दिया जाता है जिसमें रैंडम बाधाएं होती हैं। अब, उसे अपने दम पर रास्ता खोजना होगा। शोधकर्ताओं ने धीरे-धीरे गेम को कठिन बनाया (अधिक दीवारें, तीखे मोड़ जोड़कर) ताकि ड्रोन को नई स्थितियों के अनुकूल होने के लिए सिखाया जा सके।
जादू का नुस्खा: अंतर को पाटना (सिम-टू-रियल)
रोबोटिक्स में सबसे बड़ी चुनौती यह है कि जो चीज़ वीडियो गेम में काम करती है, वह अक्सर वास्तविक दुनिया में विफल हो जाती है। गेम में, भौतिकी (physics) एकदम सटीक होती है। वास्तविकता में, हवा होती है, कैमरा धुंधला हो सकता है, और ड्रोन उम्मीद से भारी या हल्का हो सकता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने डोमेन रैंडमाइजेशन (Domain Randomization) नामक तकनीक का उपयोग किया।
- उपमा: कल्पना कीजिए कि आप एक सॉकर खिलाड़ी को प्रशिक्षित कर रहे हैं। यदि वे केवल घास के एक आदर्श, सूखे मैदान पर अभ्यास करते हैं, तो वे बारिश होने या मैदान में कीचड़ होने पर असफल हो सकते हैं। इसके बजाय, इस टीम ने अपने ड्रोन को एक "क्योस सिम्युलेटर" (अराजक सिम्युलेटर) में प्रशिक्षित किया। उन्होंने रैंडम तरीके से हवा की गति बदली, कैमरा इमेज में स्टैटिक नॉइज़ जोड़ा, ड्रोन को भारी या हल्का बनाया, और यहाँ तक कि सेंसर ग्लिच का भी सिमुलेशन किया।
- परिणाम: इस अराजक, अप्रत्याशित वातावरण में प्रशिक्षण लेने के कारण, ड्रोन "मजबूत" बनना सीख गया। जब वह अंततः बाहर उतरा, तो उसे इस बात से फर्क नहीं पड़ा कि हवा चल रही है या कैमरा थोड़ा धुंधला है। उसने सिमुलेशन में पहले ही इससे भी "बुरे" हालात देख लिए थे।
वास्तविक दुनिया का परीक्षण
उन्होंने एक वास्तविक, भारी-भरकम ड्रोन (एक DJI M300, जो उनके द्वारा सिम्युलेट किए गए छोटे ड्रोन से लगभग 10 गुना भारी है) पर एक खुले मैदान में इस सिस्टम का परीक्षण किया।
- सेटअप: उन्होंने एक आंगन और एक खुले मैदान में खंभे और दीवारें जैसी बाधाएं स्थापित कीं।
- स्थितियाँ: हवा चल रही थी, रोशनी चुनौतीपूर्ण थी, और ड्रोन को बिना GPS के (केवल अपने कैमरे और आंतरिक सेंसर का उपयोग करके) नेविगेट करना था।
- परिणाम: ड्रोन इन अज्ञात वातावरणों में सफलतापूर्वक उड़ा, बाधाओं से बचा और उनके परीक्षणों में 100% समय अपने लक्ष्य तक पहुँचा। वह लगभग 2.6 मीटर प्रति सेकंड (लगभग 6 मील प्रति घंटा) की गति से उड़ा, जो एक तेज़ पैदल चलने की गति के बराबर है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र दावा करता है कि यह तरीका विशेष है क्योंकि ड्रोन को उस विशिष्ट भारी ड्रोन के लिए फिर से ट्यून करने की आवश्यकता नहीं थी जिसका उन्होंने उपयोग किया था। उन्होंने एक छोटे, हल्के ड्रोन पर गेम में प्रशिक्षण दिया, और यह एक विशाल, भारी वास्तविक दुनिया के ड्रोन पर पूरी तरह से काम कर गया। यह सुझाव देता है कि यदि आप ड्रोन को "वेलोसिटी कमांड्स" (उसे कितनी गति से जाना है यह बताना) का उपयोग करके उड़ाना सिखाते हैं, न कि जटिल भौतिकी का, तो यह बिना किसी नए मैनुअल के, बड़े या छोटे, लगभग किसी भी ड्रोन के अनुकूल हो सकता है।
संक्षेप में, उन्होंने एक ड्रोन को एक साहसी, आत्मनिर्भर खोजकर्ता बनने के लिए सिखाया जो एक अराजक वीडियो गेम में सीखकर और उस मजबूती को वास्तविक दुनिया में ले जाकर, अस्त-व्यस्त और अज्ञात दुनिया को संभाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।