Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जो एक घने क्षुद्रग्रह क्षेत्र (asteroid field) से गुजर रहे हैं। आपका मिशन एक दूर स्थित तारे तक पहुँचना है, वह भी कम से कम ईंधन का उपयोग करके। लेकिन एक पेच है: आपको केवल उन क्षुद्रग्रहों से बचना ही नहीं है जिन्हें आप अभी देख पा रहे हैं, बल्कि आपको यह गारंटी भी देनी है कि आपकी पूरी यात्रा, लॉन्च से लेकर लैंडिंग तक, बहुत उच्च संभावना के साथ सुरक्षित रहे। यह स्टोकेस्टिक ऑप्टिमल कंट्रोल (stochastic optimal control) नामक एक क्षेत्र का मूल है। यह निर्णय लेने का विज्ञान है जब भविष्य धुंधला और आश्चर्यों से भरा हो।

इस चुनौती को समझने के लिए, खतरे को संभालने के दो तरीकों के बारे में सोचें। पहला तरीका अपने रियरव्यू मिरर को हर सेकंड देखने जैसा है और यह कहना कि, "ठीक है, मैं अभी सुरक्षित हूँ।" इसे "स्टेजवाइज" (stagewise) जांच कहा जाता है। दूसरा, अधिक कठिन दृष्टिकोण, अपने पूरे उड़ान पथ को एक मानचित्र पर देखने और यह कहने जैसा है कि, "मैं वादा करता हूँ कि इस रेखा का हर एक बिंदु क्षुद्रग्रहों से मुक्त रहेगा।" यह एक जॉइंट चांस कंस्ट्रेंट (joint chance constraint) है। यह एक "मिशन-व्यापी" वादा है। समस्या यह है कि इस वादे को निभाना कंप्यूटर के लिए अविश्वसनीय रूप से कठिन है क्योंकि भविष्य का पथ हर उस मोड़ और उछाल पर निर्भर करता है जो पहले हुआ है, जिससे गणितीय जटिलता अत्यधिक बढ़ जाती है। आमतौर पर, गणित को प्रबंधनीय बनाने के लिए, इंजीनियर या तो बहुत अधिक सतर्क होकर चौड़े, धीमे रास्ते चुनते हैं जिससे ईंधन बर्बाद होता है, या वे यह मान लेते हैं कि एक निश्चित समय के बाद ब्रह्मांड खतरनाक होना बंद हो जाता है।

यह शोध पत्र, जो फ्रांसेस्को कॉर्डियानो, कांगहुई हे और बार्ट डी शटर द्वारा लिखा गया है, इस समस्या को हल करने के तरीके पर केंद्रित है कि कैसे एक अनंत, खतरनाक पथ पर बिना अत्यधिक सतर्क हुए या यह माने बिना कि खतरा समाप्त हो जाएगा, नेविगेट किया जाए। वे एक नया और चतुर तरीका प्रस्तावित करते हैं जिससे कंप्यूटर को उन प्रणालियों के लिए सुरक्षित और ईंधन-कुशल निर्णय लेने के लिए सिखाया जा सके जो अनंत काल तक चलती हैं, जैसे कि एक पावर ग्रिड या हाईवे पर चलता हुआ सेल्फ-ड्राइविंग कार।

जादू का खेल: एक मेमोरी समस्या को स्टेट समस्या में बदलना

"मिशन-व्यापी" सुरक्षा वादे के साथ सबसे बड़ी सिरदर्द यह है कि यह नॉन-मार्कोवियन (non-Markovian) है। सरल शब्दों में, इसका अर्थ है कि कंप्यूटर को यह जानने के लिए कि क्या वह अभी भी सुरक्षित है, शुरुआत से लेकर अब तक की सब कुछ याद रखने की आवश्यकता है। यदि आपने कभी किसी क्षुद्रग्रह से टक्कर नहीं मारी है, तो आप सुरक्षित हैं। यदि आपने कल टक्कर मारी थी, तो आप पहले ही "विफल" हो चुके हैं। एक मानक कंप्यूटर मस्तिष्क (एक मार्कोव पॉलिसी) आमतौर पर केवल यह देखता है कि आप अभी कहाँ हैं ताकि तय किया जा सके कि आगे क्या करना है। इसके पास लंबी अवधि की स्मृति नहीं होती।

लेखकों का पहला चमत्कार स्टेट ऑग्मेंटेशन (state augmentation) नामक एक "जादू का खेल" है। वे अंतरिक्ष यान से जोड़ने के लिए नए "आभासी सेंसर" (virtual sensors) का आविष्कार करते हैं।

1. "ऑल-क्लियर" लाइट (स्टेट $\xi$): यह एक बाइनरी स्विच है जो तब तक "ON" (1) रहता है जब तक कि जहाज ने कभी किसी क्षुद्रग्रह से टक्कर नहीं मारी है। जिस क्षण जहाज टकराता है, स्विच "OFF" (0) हो जाता है और वहीं रहता है।
2. "फर्स्ट हिट" अलार्म (स्टेट $\psi$): यह एक विशेष अलार्म है जो केवल उसी क्षण बजता है जब जहाज अपनी पहली टक्कर खाता है। यदि यह बजता है, तो सिस्टम को पता चल जाता है, "आह, यही वह क्षण है जब हम विफल हो गए।"
3. "टाइम-डायल" (स्टेट $\phi$): चूंकि जहाज अनंत भविष्य में ईंधन के उपयोग को कम करने की कोशिश कर रहा है, इसलिए समय के साथ भविष्य के ईंधन उपयोग का महत्व बदलता है। यह डायल उस बदलते महत्व को ट्रैक करता है।

इन तीन आभासी सेंसरों को जहाज की वास्तविक स्थिति के साथ जोड़ने से, कंप्यूटर को अब पूरा इतिहास याद रखने की आवश्यकता नहीं है। उसे बस इन सेंसरों की वर्तमान स्थिति को देखने की आवश्यकता है। यदि "ऑल-क्लियर" लाइट ON है, तो वह जानता है कि वह अब तक सुरक्षित है। यदि यह OFF है, तो वह जानता है कि वह पहले ही विफल हो चुका है। यह एक जटिल, मेमोरी-हैवी समस्या को एक मानक, प्रबंधनीय समस्या में बदल देता है जिसे कंप्यूटर चरण-दर-चरण हल कर सकता है।

संतुलन का खेल: सुरक्षा की कीमत

अब जब समस्या प्रबंधनीय हो गई है, तो अगली चुनौती "अनंत क्षितिज" (infinite horizon) वाला हिस्सा है। जहाज को न केवल अगले 10 मिनट के लिए, बल्कि हमेशा के लिए सुरक्षित रहना होगा। लेखक इसे हल करने के लिए लैग्रेंज डुअलिटी (Lagrange duality) नामक एक गणितीय अवधारणा का उपयोग करते हैं।

कल्पिए कि आप एक रोबोट को अपनी कार चलाने के लिए काम पर रख रहे हैं। आप उसे कहते हैं, "जितनी हो सके उतनी तेज़ चलो, लेकिन दुर्घटना मत करो।" रोबोट को यह नहीं पता कि गति और सुरक्षा के बीच संतुलन कैसे बनाया जाए। इसलिए, आप एक "सुरक्षा की कीमत" पेश करते हैं। आप कहते हैं, "हर बार जब आप दुर्घटना के करीब पहुँचते हैं, तो आपको जुर्माना भरना होगा।"

• यदि जुर्माना बहुत कम है, तो रोबोट लापरवाही से गाड़ी चलाएगा और दुर्घटनाग्रस्त हो जाएगा।
• यदि जुर्माना बहुत अधिक है, तो रोबोट इतनी धीरे चलेगा कि वह कभी कहीं पहुँच ही नहीं पाएगा।

यह शोध पत्र एक एल्गोरिदम प्रस्तावित करता है जो एक स्मार्ट वार्ताकार की तरह कार्य करता है। यह कम जुर्माने के साथ शुरू होता है और रोबोट को चलाने देता है। यदि रोबोट बहुत अधिक दुर्घटनाग्रस्त होता है, तो एल्गोरिदम जुर्माना बढ़ा देता है। यदि रोबोट बहुत धीरे और सुरक्षित रूप से चल रहा है, तो यह जुर्माना कम कर देता है। लक्ष्य उस "गोल्डिलॉक्स" जुर्माने (जिसे डुअल वेरिएबल, $\lambda$ कहा जाता है) को खोजना है जहाँ रोबोट सुरक्षा की आवश्यकता को ठीक से पूरा करते हुए जितनी संभव हो सके उतनी तेज़ गति से चल सके।

लेखक सिद्ध करते हैं कि यह बातचीत पूरी तरह से काम करती है। वे दिखाते हैं कि एक विशिष्ट मूल्य (price) है जहाँ रोबोट की "सर्वश्रेष्ठ गति" वाली रणनीति ही "सबसे सुरक्षित" रणनीति भी होती है। यह उन्हें इस कठिन "सुरक्षा बाधा" वाले समस्या को एक सरल "लागत प्लस जुर्माना कम करने" वाली समस्या में बदलने की अनुमति देता है।

न्यूरल नेटवर्क के साथ रोबोट को सिखाना

पहेली का अंतिम हिस्सा यह है कि वास्तविक दुनिया की प्रणालियों (जैसे रोबोट या पावर ग्रिड) में वे स्थान और कार्य करने की अनंत संभावनाएं होती हैं जहाँ वे हो सकते हैं और जो वे कर सकते हैं। आप हर एक संभावना के लिए नियम नहीं लिख सकते। इसे संभालने के लिए, लेखक मशीन लर्निंग का उपयोग करते हैं।

वे एक न्यूरल नेटवर्क (मानव मस्तिष्क से प्रेरित एक प्रकार का कंप्यूटर मस्तिष्क) को किसी भी स्थिति के "मूल्य" को सीखने के लिए प्रशिक्षित करते हैं।

• पहले, वे नेटवर्क को सिखाते हैं कि क्या होता है यदि सुरक्षा नियम पहले ही टूट चुका है। इस मामले में, रोबलेट केवल लक्ष्य तक जितनी जल्दी हो सके पहुँचने की कोशिश करता है, सुरक्षा की परवाह किए बिना।
• फिर, वे नेटवर्क को "ऑल-क्लियर" स्थिति सिखाते हैं। यहाँ, नेटवर्क गति और "सुरक्षा की कीमत" के जुर्माने के बीच संतुलन बनाना सीखता है।

प्रशिक्षण ऑफलाइन होता है, जिसका अर्थ है कि रोबोट के चलने से पहले कंप्यूटर सारा कठिन काम कर लेता है। एक बार प्रशिक्षित होने के बाद, रोबोट केवल अपनी वर्तमान स्थिति को देखकर और न्यूरल नेटवर्क की सलाह का पालन करके एक सेकंड के बहुत छोटे हिस्से में (उनके परीक्षणों में 0.01 सेकंड) निर्णय ले सकता है।

परिणाम: तेज़, सुरक्षित और स्मार्ट

लेखकों ने एक "यूनिसाइकिल" रोबोट (एक पहिये पर संतुलन बनाने वाला रोबोट) के सिमुलेशन पर अपने तरीके का परीक्षण किया, जो बीच में एक खतरनाक बाधा के साथ भूलभुलैया में नेविगेट करने की कोशिश कर रहा है। उन्होंने अपने तरीके की तुलना मॉडल प्रेडिक्टिव कंट्रोल (MPC) नामक एक लोकप्रिय तकनीक से की, जो एक ऐसे रोबोट की तरह है जो अपने अगले कुछ कदमों की योजना बनाता है, जाँच करता है कि क्या वे सुरक्षित हैं, और फिर से योजना बनाता है।

परिणाम प्रभावशाली थे:

• सुरक्षा: नए तरीके ने रोबोट को लगभग 4.5% की उल्लंघन दर के साथ सुरक्षित रखा, जो कि निर्धारित 10% की सीमा से काफी कम है। पारंपरिक MPC विधि, भारी समायोजन के बावजूद, 17% की उल्लंघन दर के साथ सुरक्षा परीक्षण में विफल रही।
• प्रदर्शन: नए तरीके ने लक्ष्य तक पहुँचने के लिए काफी कम "ईंधन" (लागत) का उपयोग किया। नए तरीके की लागत 528.3 थी, जबकि MPC विधि की लागत 672.0 थी। नया तरीका जोखिम लेने के मामले में अधिक स्मार्ट था: यदि इसने वास्तव में बाधा से टक्कर मारी (दुर्लभ मामलों में), तो इसने तुरंत लक्ष्य तक पहुँचने के लिए सबसे तेज़ पथ पर स्विच कर दिया, जबकि MPC विधि एक रूढ़िवादी लूप में फंस गई।
• गति: यह सबसे बड़ी जीत है। पारंपरिक MPC विधि को प्रत्येक चरण पर निर्णय लेने में औसतन 2.94 सेकंड का समय लगा, और कभी-कभी 10 सेकंड की सीमा तक पहुँच गई, जिससे देरी हुई। नए तरीके ने केवल 0.01 सेकंड का समय लिया। यह लगभग 300 गुना तेज़ था।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल यह नहीं कहता कि "हमने यह कर दिखाया"; यह एक कठोर गणितीय प्रमाण प्रदान करता है कि उनका तरीका काम करता है और सर्वोत्तम समाधान की ओर अग्रसर होता है। यह दिखाता है कि आपको सुरक्षित होने और कुशल होने के बीच किसी एक को चुनने की आवश्यकता नहीं है। एक चतुर स्टेट ऑगमेंटेशन और एक स्मार्ट लर्निंग एल्गोरिदम का उपयोग करके, आप ऐसी प्रणालियाँ बना सकते हैं जो अनंत भविष्य के लिए अविश्वसनीय रूप से तेज़ और कठोर रूप से सुरक्षित दोनों हैं।

लेखक स्वीकार करते हैं कि उनका तरीका सिमुलेशन पर निर्भर करता है और सीखने की प्रक्रिया के लिए सटीक होने के लिए पर्याप्त डेटा की आवश्यकता होती है, विशेष रूप से खतरे के क्षेत्रों के पास। हालाँकि, वे प्रदर्शित करते हैं कि जटिल, निरंतर प्रणालियों के लिए, यह दृष्टिकोण एक बड़ी छलांग है। यह एक ऐसी समस्या को जो पहले हल करना बहुत कठिन था, एक ऐसी समस्या में बदल देता है जिसे कंप्यूटर पलक झपकते ही हल कर सकता है, जिससे वास्तविक दुनिया में सुरक्षित, अधिक कुशल स्वायत्त प्रणालियों के द्वार खुल जाते हैं।