Physics-informed Reinforcement Learning for Stochastic Reach-Avoid Analysis
यह शोध पत्र एक भौतिकी-सूचित सुदृढीकरण शिक्षण (PIRL) ढांचे का प्रस्ताव करता है जो उच्च-आयामी स्टोकेस्टिक रीच-अवॉयड विश्लेषण के लिए पारंपरिक विधियों की कम्प्यूटेशनल और सटीकता संबंधी सीमाओं को दूर करने हेतु प्रोग्रेसिव PDE-रेसिड्यूअल एनफोर्समेंट के साथ टेम्पोरल-डिफरेंस एक्टर-क्रिटिक लर्निंग को संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंजीनियरिंग की दुनिया में, किसी सिस्टम को सुरक्षित रखना अक्सर संभावनाओं का एक खेल होता है। जब कोई कार खुद चलती है या कोई ड्रोन तूफान के बीच उड़ता है, तो वह एक ऐसे वातावरण में काम करता है जो अप्रत्याशित शोर और अचानक परिवर्तनों से भरा होता है। इंजीनियरों को न केवल यह जानने की आवश्यकता है कि क्या कोई मशीन किसी गंतव्य तक पहुँच सकती है, बल्कि यह भी कि उसके किसी खतरनाक चीज़ से टकराए बिना वहाँ पहुँचने की कितनी संभावना है। इसे "रीच-अवॉइड" (reach-avoid) समस्या के रूप में जाना जाता है: उन शुरुआती बिंदुओं के सेट को खोजना जिनसे एक सिस्टम सफलतापूर्वक एक लक्ष्य तक पहुँच सकता है और साथ ही किसी खतरे से बचकर निकल सकता है। सरल मशीनों के लिए, गणितज्ञों के पास इन सुरक्षा क्षेत्रों की गणना करने के लिए लंबे समय से उपकरण उपलब्ध हैं। लेकिन जैसे-जैसे सिस्टम अधिक जटिल होते जाते हैं, जिनमें कई चलते हुए पुर्जे और एक साथ परस्पर क्रिया करने वाले चर (variables) होते हैं, गणित इतना भारी हो जाता है कि सबसे तेज़ सुपरकंप्यूटर भी इसे उचित समय में हल नहीं कर पाते। इन सुरक्षा सीमाओं को वर्णित करने वाले समीकरणों को तब बेहद कठिन माना जाता है जब चरों की संख्या बहुत बढ़ जाती है।
इस समस्या से निपटने के लिए, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस की ओर रुख किया है, विशेष रूप से एक विधि जिसे 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है। कल्पना कीजिए कि एक डिजिटल एजेंट अनुभव और त्रुटि (trial and error) के माध्यम से गाड़ी चलाना सीख रहा है, जहाँ सड़क पर बने रहने के लिए उसे पुरस्कार मिलते हैं और दीवार से टकराने पर दंड मिलता है। समय के साथ, यह एजेंट एक "वैल्यू फंक्शन" (value function) सीखता है, जो एक मानसिक मानचित्र है जो उसे बताता है कि किसी भी दी गई स्थिति में रहना कितना सुरक्षित है। हालाँकि, अनुभव-आधारित सीखने के इस दृष्टिकोण की एक कमी है: यह केवल उन्हीं रास्तों को देखता है जिन पर एजेंट वास्तव में चलता है। यह उन खतरनाक कोनों को मिस कर सकता है जहाँ वह कभी पहुँचा ही नहीं, या यह एक ऐसा शॉर्टकट सीख सकता है जो एक विशिष्ट पथ पर तो अच्छा दिखता है लेकिन उस सिस्टम को नियंत्रित करने वाले भौतिकी के मौलिक नियमों का उल्लंघन करता है। दूसरी ओर, 'फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क' (physics-informed neural networks) नामक एक अन्य एआई तकनीक इस समस्या को सीधे भौतिकी के नियमों का पालन करने के लिए मजबूर करके हल करने का प्रयास करती है। लेकिन यह विधि अक्सर अटक जाती है, एक ऐसा समाधान ढूंढ लेती है जो कागज पर गणितीय रूप से सही दिखता है लेकिन भौतिक रूप से अर्थहीन होता है, जैसे कि एक कार जो एक सपाट रेखा पर तो बिल्कुल सही चलती है लेकिन मुड़ते ही दुनिया के किनारे से नीचे गिर जाती है।
शोधकर्ताओं के एक दल ने अब एक नया दृष्टिकोण विकसित किया है जो दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है, जिससे एक हाइब्रिड सिस्टम बनता है जो प्रत्येक की कमियों से बचता है। वे इसे 'फिजिक्स-इन्फॉर्म्ड रीइन्फोर्समेंट लर्निंग' कहते हैं। मुख्य विचार यह है कि एआई को पहले अनुभव से सीखने दें, जिससे वास्तविक ड्राइविंग पथों के आधार पर सुरक्षा का एक मोटा लेकिन विश्वसनीय मानचित्र तैयार हो सके। केवल इसके बाद ही वे मानचित्र को परिष्कृत करने और अंतराल भरने के लिए भौतिकी के कड़े नियमों को पेश करते हैं। यह "शेड्यूल्ड" (scheduled) दृष्टिकोण एआई को जटिल गणित से भ्रमित होने से रोकता है, इससे पहले कि उसने यह सीख लिया हो कि एक सुरक्षित पथ वास्तव में कैसा दिखता है। एजेंट के अपने अनुभवों से शुरू करके और धीरे-धीरे भौतिक नियमों की परतें चढ़ाकर, सिस्टम एक ऐसा सुरक्षा मानचित्र सीखता है जो सटीक भी है और वास्तविकता के अनुरूप भी।
शोधकर्ताओं ने इस पद्धति का परीक्षण दो बहुत अलग चुनौतियों पर किया। पहले, उन्होंने एक साधारण एक-आयामी (one-dimensional) समस्या का उपयोग किया जिसका सही उत्तर पहले से ज्ञात था। इस परीक्षण में, मानक भौतिकी-आधारित विधि बार-बार विफल रही, वह ऐसे डेड एंड्स (dead ends) में फंस गई जहाँ गणित तो अच्छा दिख रहा था लेकिन समाधान बेकार था। केवल अनुभव-आधारित विधि विश्वसनीय थी लेकिन कम सटीक थी। हालाँकि, नया हाइब्रिड तरीका हर बार सफल रहा, जिसने सर्वश्रेष्ठ भौतिकी-आधारित प्रयासों की सटीकता को बनाए रखते हुए अनुभव-आधारित सीखने की विश्वसनीयता को भी बरकरार रखा। इसने सिद्ध किया कि शेड्यूलिंग रणनीति एआई को गलत समाधानों से प्रभावी ढंग से दूर रखती है।
दूसरा परीक्षण कहीं अधिक कठिन था: एक वाहन को उच्च गति पर 'ड्रिफ्ट' (drift) करने के नियंत्रण में लाना। यह एक अत्यंत कठिन पैंतरा है जहाँ कार बगल की ओर फिसलती है, नियंत्रण खोने के किनारे पर संतुलन बनाती है। सिस्टम को यह सीखने की आवश्यकता थी कि कार को एक विशिष्ट ड्रिफ्टिंग अवस्था में कैसे रखा जाए और दुर्घटना से बचा जाए, और यह सब सड़क की पकड़ में रैंडम उतार-चढ़ाव को ध्यान में रखते हुए करना था। वाहन की स्थिति को आठ अलग-अलग चरों द्वारा वर्णित किया गया था, एक ऐसी जटिलता जो पारंपरिक गणना विधियों को अभिभूत कर सकती थी। शोधकर्ताओं ने एक 'करिकुलम' (curriculum) का उपयोग करके अपने एआई को प्रशिक्षित किया, जो ड्रिफ्ट के केंद्र के पास छोटे और आसान सुधारों से शुरू होकर धीरे-धीरे अधिक चरम स्थितियों तक फैला। उन्होंने पाया कि हाइब्रिड पद्धति ने एक ऐसा सुरक्षा मानचित्र सीखा जो 'रिकवरेबल' (recoverable) यानी सुधारा जा सकने वाले क्षेत्रों की सही पहचान करता है। जब उन्होंने हजारों रैंडम परिदृश्यों का अनुकरण किया, तो एआई की भविष्यवाणियाँ कार की गतिविधियों के वास्तविक परिणामों से मेल खाती थीं। सिस्टम ने सही ढंग से पहचाना कि कुछ पथ दो-आयामी दृश्य में सुरक्षित लग सकते थे, लेकिन वे वास्तव में विनाशकारी थे क्योंकि अन्य चर कैसे बदल रहे थे।
यह अध्ययन प्रदर्शित करता है कि भौतिक नियमों को सीखने की प्रक्रिया में कब पेश किया जाता है, इसका समय निर्धारित करके, इंजीनियर ऐसे एआई बना सकते हैं जो अपने कार्यों के तत्काल परिणामों और अपनी दुनिया को नियंत्रित करने वाले गहरे नियमों, दोनों को समझते हैं। शोधकर्ताओं ने दिखाया कि यह पद्धति न केवल सरल उदाहरणों के लिए, बल्कि जटिल, वास्तविक दुनिया की नियंत्रण समस्याओं के लिए भी काम करती है जहाँ सुरक्षा महत्वपूर्ण है। हालाँकि यह कार्य कंप्यूटर सिमुलेशन के माध्यम से किया गया था, लेकिन इसके परिणाम स्वायत्त वाहनों से लेकर पावर ग्रिड तक, सब कुछ डिजाइन करने के लिए एक आशाजनक मार्ग सुझाते हैं, जहाँ अनिश्चितता के तहत सुरक्षा की सटीक सीमाओं को जानना आवश्यक है। मुख्य निष्कर्ष यह है कि आपको अनुभव से सीखने और भौतिकी के नियमों का पालन करने के बीच चुनाव करने की आवश्यकता नहीं है; सही शेड्यूल के साथ, एक एआई दोनों कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।