Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

कल्पना कीजिए कि आप एक रोबोट को विमान उड़ाना सिखा रहे हैं। आप उसे एक कठोर, पहले से लिखा गया मैनुअल नहीं देना चाहते क्योंकि हवा बदलती है, ईंधन का वजन बदलता है, और अधिक ऊंचाई पर हवा पतली हो जाती है। इसके बजाय, आप चाहते हैं कि रोबोट काम करते समय सीखे, जैसे-जैसे वह आगे बढ़ता है वैसे-वैसे सटीक चालें समझ सके। यह "एप्रोक्सिमेट डायनेमिक प्रोग्रामिंग" (ADP) की दुनिया है। ADP को एक सुपर-स्मार्ट छात्र के रूप में सोचें जो चीजों को आजमाकर, गलतियाँ करके और फिर अगली बार बेहतर करने के लिए अपने मस्तिष्क (एक न्यूरल नेटवर्क) को समायोजित करके सीखता है। यह एक वीडियो गेम पात्र की तरह है जो बाधाओं से बचने में जितना अधिक खेलता है, उतना ही बेहतर होता जाता है, लेकिन हवाई जहाजों जैसी वास्तविक, भारी मशीनरी के लिए।

हालाँकि, इसमें एक पेंच है। जब ये सीखने वाले रोबोट उत्साहित या भ्रमित होते हैं, तो वे छटपटाने लगते हैं। वे एक छोटी सी त्रुटि को ठीक करने के लिए कंट्रोल स्टिक को इधर-उधर तेजी से झटक सकते हैं। वास्तविक दुनिया में, यह खतरनाक है। इससे विमान हिलता है, ईंधन बर्बाद होता है और पंखों को हिलाने वाले यांत्रिक पुर्जे टूट सकते हैं। बड़ा सवाल वैज्ञानिकों के लिए यह है कि: हम रोबोट को तेजी से सीखना कैसे सिखाएं बिना उसे अस्थिर (jittery) बनाए? हमें रोबोट को बताने का एक तरीका चाहिए कि, "हे, सुचारू रहो। उस पक्षी को देखने के लिए अपनी गर्दन झटके से मत घुमाओ।"

यह शोध पत्र उड़ान नियंत्रण (flight control) के लिए ठीक इसी समस्या पर काम करता है। लेखक, यिफेई ली और डॉ. एरिक-जैन वैन कामपेन, इन उड़ने वाले रोबड़ों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं ताकि वे शांत और स्थिर रहना सीख सकें। वे एक विधि पेश करते हैं जिसे "टेम्पोरली स्मूथड इंक्रीमेंटल मॉडल-बेस्ड ह्यूरिस्टिक डायनेमिक प्रोग्रामिंग" (TS-IHDP) कहा जाता है। सरल भाषा में, यह एक विमान को बिना हिले-डुले एक विशिष्ट 'एंगल ऑफ अटैक' (वह कोण जिस पर विमान का अगला हिस्सा संकेत करता है) को ट्रैक करना सिखाने का एक शानदार नुस्खा है।

शोधकर्ताओं ने पाया कि रोबोट को केवल यह कहना कि "सुचारू रहो" पर्याप्त नहीं है; आपको इस बारे में स्मार्ट होना होगा कि आप उसे झटकेदार होने के लिए कैसे दंडित करते हैं। उन्होंने एक ऐसी प्रणाली विकसित की है जो एक सख्त लेकिन निष्पक्ष कोच की तरह काम करती है। यदि रोबोट के नियंत्रण आदेश बहुत अधिक उछल-कूद करने लगते हैं, तो कोच स्वचालित रूप से नियमों को कड़ा कर देता है। यदि रोबोट बहुत सख्त है और अपने लक्ष्य को चूक रहा है, तो कोच नियमों को ढीला कर देता है। उन्होंने एक "लो-पास फ़िल्टर" भी जोड़ा है, जो रोबोट के मस्तिष्क के लिए एक शॉक एब्जॉर्बर (झटका सोखने वाला) की तरह है। यह पंखों तक पहुँचने से पहले उच्च-आवृत्ति वाले, घबराहट भरे संकेतों को सुचारू बना देता है।

महत्वपूर्ण रूप से, उन्होंने सब कुछ करने के लिए एक विशाल मस्तिष्क नहीं बनाया। इसके बजाय, उन्होंने एक "कैस्केडेड" (cascaded) नियंत्रण संरचना डिजाइन की, जो एक दो-सदस्य टीम की तरह है। पहला व्यक्ति, आउटर-लूप एजेंट, मिशन कमांडर के रूप में कार्य करता है। उसका एकमात्र काम यह तय करना है कि विमान के नाक की गति (पिच रेट) कितनी होनी चाहिए। वह सीधे पंखों को नहीं छूता है। दूसरा व्यक्ति, इनर-लूप एजेंट, पायलट के रूप में कार्य करता है। वह कमांडर के आदेशों को सुनता है और वास्तव में नियंत्रण सतहों (पंखों और पूंछ) को हिलाता है ताकि नाक उसी दिशा में मुड़े। यह टीम वर्क महत्वपूर्ण है क्योंकि यह रोबोट को भ्रमित होने से रोकता है। यदि एक विशाल मस्तिष्क एक साथ दोनों काम करने की कोशिश करेगा, तो वह अभिभूत हो जाएगा और छटपटाने लगेगा। कार्यों को विभाजित करके, "कमांडर" बड़े चित्र पर ध्यान केंद्रित कर सकता है, और "पायलट" सुचारू निष्पादन पर ध्यान केंद्रित कर सकता है, जिससे पूरा सिस्टम बहुत अधिक स्थिर हो जाता है।

कंप्यूटर सिमुलेशन के माध्यम से, उन्होंने दिखाया कि उनका नया तरीका काम करता है। रोबोट पहले की तुलना में बहुत अधिक सुचारू रूप से उड़ना सीख गए, जिससे वह कंपन से बच गए जो आमतौर पर इन प्रणालियों में होता है। उन्होंने अपने लक्ष्यों को अधिक सटीकता से ट्रैक किया और अनावश्यक कंपन पर ऊर्जा बर्बाद नहीं की।

द स्टोरी ऑफ द जितरी पायलट (अस्थिर पायलट की कहानी)

आइए देखें कि यह कैसे काम करता है। कल्पना कीजिए कि आप एक तोते को एक विशिष्ट गीत की नकल करना सिखा रहे हैं। यदि आप केवल कहते हैं, "इसकी नकल करो," तो तोता उत्साहित होकर नोट्स को बहुत तेज़, बहुत ज़ोर से, या अजीब अंतराल के साथ बोल सकता है। उड़ान नियंत्रण की दुनिया में, "तोता" कंप्यूटर मस्तिष्क (न्यूरल नेटवर्क) है, और "गीत" उड़ान पथ है।

समस्या यह है कि जब तोता गलती करता है, तो वह अक्सर अत्यधिक सुधार (overcorrect) करने लगता है। वह बहुत ज़ोर से चिल्लाता है, फिर दूसरी ओर बहुत ज़ोर से सुधार करता है, जिससे एक अस्थिर स्थिति पैदा होती है। शोध पत्र में, लेखक इसे "ऑसिलेटरी कंट्रोल एक्शन्स" कहते हैं। यह कार चलाने जैसा है जहाँ आप लेन में रहने की कोशिश में स्टीयरिंग व्हील को बाईं ओर, फिर दाईं ओर, फिर बाईं ओर झटकते हैं। यह देखने में अजीब लगता है, लेकिन यह डरावना है और कार को थका देता है।

इसे ठीक करने के लिए, लेखकों ने एक नई प्रशिक्षण प्रणाली बनाई। सबसे पहले, उन्होंने एक "इंक्रीमेंटल मॉडल" का उपयोग किया। इसे एक स्थानीय मानचित्र के रूप में सोचें। पूरे ग्लोब (विमान के पूरे भौतिक विज्ञान) को याद करने के बजाय, रोबोट केवल अपने ठीक सामने के छोटे से हिस्से को देखता है। वह पूछता है, "यदि मैं अभी थोड़ा सा दाईं ओर धक्का दूँ, तो अगले क्षण क्या होगा?" यह सीखना बहुत तेज़ और आसान बनाता है, जैसे पूरी यात्रा के बजाय अगले एक इंच सड़क पर ध्यान केंद्रित करके साइकिल चलाना सीखना।

लेकिन इस स्थानीय मानचित्र के साथ भी, रोबोट अभी भी अस्थिर हो सकता था। इसलिए, लेखकों ने एक "टेम्पोरल स्मूथनेस पेनल्टी" जोड़ी। कल्पना कीजिए कि आप तोते के प्रशिक्षक हैं। आपके पास एक नियम है: "यदि आप नोट्स के बीच बहुत तेज़ी से अपनी आवाज़ बदलते हैं, तो आप अंक खो देंगे।" कंप्यूटर में, यह एक गणितीय दंड है। हर बार जब रोबोट का नियंत्रण संकेत एक क्षण से दूसरे क्षण में बहुत तेज़ी से कूदता है, तो सिस्टम उसके स्कोर में एक "जुर्माना" जोड़ देता है। रोबोट सीख जाता है कि अच्छा ग्रेड पाने का एकमात्र तरीका सुचारू रहना है।

हालाँकि, एक पेचीदा हिस्सा था: आपको कितना जुर्माना देना चाहिए? यदि जुर्माना बहुत कम है, तो तोता चिल्लाता रहेगा। यदि जुर्माना बहुत अधिक है, तो तोता डर जाएगा और गाना बंद कर देगा, जिससे वह लक्ष्य को चूक जाएगा। लेखकों ने इसे "प्राइमल-ड्यूल" दृष्टिकोण के साथ हल किया। यह एक स्मार्ट ट्रेनर की तरह है जो तोते को देखता है और वास्तविक समय में जुर्माने को समायोजित करता है। यदि तोता अभी भी बहुत अस्थिर है, तो ट्रेनर जुर्माना बढ़ा देता है। यदि तोता बहुत धीमा है और नोट्स को मिस कर रहा है, तो ट्रेनर जुर्माना कम कर देता है। सिस्टम बिना किसी मानवीय अनुमान के सही संतुलन खोज लेता है।

अंत में, उन्होंने एक "लो-पास फ़िल्टर" जोड़ा। इसे रोबोट के मस्तिष्क के लिए शोर-रद्द करने वाले हेडफ़ोन के रूप में सोचें। भले ही रोबोट का मस्तिष्क थोड़ा झटकेदार संकेत भेजता है, फ़िल्टर पंखों तक पहुँचने से पहले उसे सुचारू बना देता है। यह एक ऊबड़-खाबड़ सड़क पर शॉक एब्जॉर्बर लगाने जैसा है; कार अभी भी चलती है, लेकिन सवारी बहुत सहज होती है।

उन्होंने क्या पाया

लेखकों ने एक उड़ने वाले वाहन के कंप्यूटर सिमुलेशन के माध्यम से इन विचारों का परीक्षण किया। उन्होंने अपने नए "स्मूथ" रोबोट का पुराने तरीकों के साथ परीक्षण किया।

परिणाम स्पष्ट थे। पुराने तरीके, जिनमें यह विशेष स्मूथनेस ट्रेनिंग नहीं थी, ऐसे रोबोटों के साथ समाप्त हुए जो या तो बहुत अस्थिर थे या अत्यधिक सुधार के चक्र में फंस गए थे। वे नियंत्रण सतहों को इतनी ज़ोर से हिलाते थे कि सिमुलेशन ने दिखाया कि रोबोट अपनी भौतिक सीमाओं तक पहुँच गया है, जैसे कि कोई कार इंजन टूटने तक रेव कर रहा हो।

इसके विपरीत, नए TS-IHDP पद्धति ने एक ऐसा रोबोट तैयार किया जिसने सुचारू रूप से उड़ना सीखा। "पिच रेट" (विमान की नाक कितनी तेज़ी से ऊपर-नीचे होती है) और "कंट्रोल सरफेस डेफलेक्शंस" (पंख कितने झुकते हैं) बहुत शांत थे। रोबोट ने न केवल हिलना बंद किया; बल्कि उसने बेहतर ढंग से उड़ान भी भरी। उसने लक्ष्य कोण (angle of attack) को अधिक सटीकता से ट्रैक किया और बेकार के कंपनों पर ऊर्जा बर्बाद नहीं की।

एक दिलचस्प खोज "स्मार्ट ट्रेनर" (प्राइमल-ड्यूल पद्धति) के बारे में थी। लेखकों ने पाया कि यदि वे नियमों को बहुत सख्त रखते हैं, तो रोबोट बहुत सावधान हो जाता है। वह लक्ष्य के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ी से आगे नहीं बढ़ पाता, जिससे ट्रैकिंग खराब हो जाती है। लेकिन यदि उन्होंने ट्रेनर को स्वचालित रूप से नियमों को समायोजित करने दिया, तो रोबोट ने एक ऐसा 'स्वीट स्पॉट' खोज लिया जहाँ वह सुचारू भी था और प्रतिक्रियाशील भी।

उन्होंने यह भी परीक्षण किया कि क्या होता है जब "हवा" बदलती है—विमान के भौतिक विज्ञान में अनिश्चितता का अनुकरण करते हुए। उनके नए तरीके से प्रशिक्षित रोबोट, विशेष रूप से वह जिसमें शॉक-एब्जॉर्बर फ़िल्टर था, अन्य की तुलना में इन आश्चर्यों को बहुत बेहतर तरीके से संभाल सका। वह तब भी रास्ते पर बना रहा जब खेल के नियम थोड़े बदल गए।

मुख्य निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने सभी उड़ान नियंत्रण समस्याओं को हमेशा के लिए हल कर दिया है। आखिर यह एक सिमुलेशन है, वास्तविक विमान नहीं। लेकिन यह एक बहुत ही आशाजनक राह का सुझाव देता है। रोबोट को सटीकता के साथ-साथ सुचारूता (smoothness) को महत्व देना सिखाकर, और उन्हें अपने व्यवहार को स्वचालित रूप से ट्यून करने का तरीका देकर, हम डेटा-संचनित उड़ान नियंत्रण को सुरक्षित और अधिक विश्वसनीय बना सकते हैं।

लेखक दिखाते हैं कि आपको एक ऐसे रोबोट के बीच चयन करने की आवश्यकता नहीं है जो तेज़ी से सीखता है और एक ऐसा रोबोट जो सुचारू रूप से उड़ता है। सही संयोजन के साथ—स्थानीय मानचित्र, स्वचालित नियम-समायोजन और शॉक एब्जॉर्बर—आप दोनों पा सकते हैं। यह भविष्य के स्वायत्त उड़ान को एक अस्थिर वीडियो गेम पात्र के बजाय एक सुंदर, स्थिर पक्षी बनाने की दिशा में एक कदम है।