Composing Reinforcement Learning Policies, with Formal Guarantees
यह शोध पत्र एक नवीन ढांचे का प्रस्ताव करता है जो जटिल, दो-स्तरीय वातावरण के लिए नियंत्रकों को संयोजित करने हेतु उच्च-स्तरीय नियोजन के लिए रिएक्टिव सिंथेसिस (reactive synthesis) को लेटेंट स्ट्रक्चर्स (latent structures) पर लो-लेवल पॉलिसी ट्रेनिंग के लिए एक सुदृढीकरण लर्निंग (reinforcement learning) दृष्टिकोण के साथ जोड़ता है, और साथ ही मॉडल डिस्टिलेशन की आवश्यकता के बिना औपचारिक प्रदर्शन गारंटी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक विशाल, बदलते हुए भूलभुलैया (maze) में रास्ता खोजने के लिए सिखाने की कोशिश कर रहे हैं। यह सिर्फ एक साधारण भूलभुलैया नहीं है; यह एक ऐसी दुनिया है जहाँ दीवारें हिल सकती हैं, फर्श बदल सकता है, और रोबोट को उड़ते हुए अवरोधों से बचने के लिए पलक झपकते ही निर्णय लेने होंगे। यह रीइन्फोर्समेंट लर्निंग (RL) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एजेंट अनुभव से सीखते हैं, ठीक वैसे ही जैसे एक कुत्ता इनाम के लिए बैठना सीखता है। लक्ष्य एक "पॉलिसी" (policy) खोजना है—नियमों का एक समूह जो एजेंट को हर स्थिति में सबसे अच्छा परिणाम प्राप्त करने के लिए क्या करना है, यह बताता है।
हालाँकि, इसमें एक पेंच है। हालाँकि RL अनुभव से सीखने में बहुत अच्छा है, लेकिन यह गारंटी (guarantees) देने में बेहद खराब है। यदि आप एक मानक RL रोबोट से पूछते हैं, "क्या आप 100% सुनिश्चित हैं कि आप उस फोर्कलिफ्ट से नहीं टकराएंगे?" तो वह आमतौर पर गणितीय "हाँ" के साथ उत्तर नहीं दे पाता। वह कह सकता है, "मुझे लगता है कि मैं ठीक रहूँगा," लेकिन कार चलाने या पावर ग्रिड प्रबंधित करने जैसे सुरक्षा-महत्वपूर्ण कार्यों में, "मुझे लगता है" पर्याप्त नहीं है। यहीं पर फॉर्मल वेरिफिकेशन (formal verification) काम आता है। यह एक सख्त गणितीय प्रमाण की तरह है जो कहता है, "इन विशिष्ट परिस्थितियों के तहत, यह क्रिया गारंटीकृत रूप से सुरक्षित है।" वैज्ञानिक जिस चुनौती का सामना करते हैं वह यह है कि ये दो दुनियाएँ—अनुभव से सीखना और गणितीय प्रमाण—आमतौर पर आपस में मेल नहीं खातीं। सीखना भारी, अव्यवस्थित डेटा की मांग करता है, जबकि प्रमाण साफ-सुथरे, सरल मॉडल की मांग करते हैं। यह शोध पत्र उस जटिल संगम में कदम रखता है ताकि यह देखा जा सके कि क्या हम दोनों का लाभ उठा सकते हैं: एक ऐसा रोबोट जो कठिन चीजें सीखता है लेकिन फिर भी उसके पास एक सुरक्षा प्रमाणपत्र (safety certificate) हो।
मुख्य विचार: मानचित्र और कमरे
लेखकों की टीम, जो बेल्जियम, इज़राइल, नीदरलैंड, डेनमार्क और यूके के शोधकर्ताओं का एक समूह है, इस समस्या को दो भागों में विभाजित करने का एक चतुर तरीका प्रस्तावित करती है। एक विशाल गोदाम की कल्पना करें। हाई-लेवल (High-level) दृश्य एक सरल मानचित्र है: कमरों का एक ग्रिड जो दरवाजों से जुड़े हुए हैं। आप मानचित्र को पूरी तरह से जानते हैं। आप जानते हैं कि कमरा A, कमरा B से जुड़ता है, और कमरा B निकास (exit) से जुड़ता है। लेकिन प्रत्येक कमरे के अंदर? वह एक रहस्य है। "डायनामिक्स" (चीजें कैसे चलती हैं, बाधाएं कहाँ हैं) अज्ञात और अराजक हैं।
लेखक इसे "टू-लेवल स्ट्रक्चर" (two-level structure) कहते हैं।
- हाई लेवल (द मैप): यह आसान हिस्सा है। यह केवल कमरों और दरवाजों का एक ग्राफ है।
- लो लेवल (द रूम्स): यह कठिन हिस्सा है। प्रत्येक कमरे के भीतर, एजेंट को चलते हुए फोर्कलिफ्ट, श्रमिकों या अन्य रोबोटों से बचना होता है। यहाँ के नियम जटिल और अज्ञात हैं।
शोध पत्र का मुख्य तरीका "सेपरेशन ऑफ कंसर्न्स" (separation of concerns) है। वे दो अलग-अलग स्तरों के लिए दो अलग-अलग उपकरणों का उपयोग करते हैं। हाई-लेवल मैप के लिए, वे रिएक्टिव सिंथेसिस (Reactive Synthesis) का उपयोग करते हैं। इसे एक सुपर-स्मार्ट, तार्किक योजनाकार (planner) के रूप में सोचें जो मानचित्र और नियमों के एक सेट (जैसे "बिना किसी से टकराए निकास तक पहुँचें") को देख सकता है और सबसे अच्छे पथ को सिद्ध करने के लिए गणितीय रूप से काम कर सकता है। यह एक ऐसे GPS की तरह है जो कभी नहीं भटकता क्योंकि उसके पास एक सटीक मानचित्र है।
लेकिन GPS रोबोट को कमरे के अंदर फोर्कलिफ्ट से बचने का तरीका नहीं बता सकता। उसके लिए, वे रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करते हैं। रोबोट प्रत्येक कमरे के भीतर सिमुलेशन चलाकर सीखता है, यह पता लगाता है कि प्रवेश द्वार से निकास तक बिना टकराए कैसे पहुँचना है। समस्या यह है कि मानक RL एक "ब्लैक बॉक्स" है—आप वास्तव में नहीं जानते कि यह कैसे काम करता है, और आप यह सिद्ध नहीं कर सकते कि यह सुरक्षित है।
जादू का नुस्खा: "लेटेंट" शॉर्टकट
यहीं पर यह शोध पत्र वास्तव में दिलचस्प हो जाता है। केवल रोबोट को प्रत्येक कमरे के लिए एक अव्यवस्थित, विशाल न्यूरल नेटवर्क (गणित से बना मस्तिष्क) सीखने देने के बजाय, लेखक रोबोट को एक संक्षिप्त लेटेंट मॉडल (concise latent model) सीखना सिखाते हैं।
कल्पना कीजिए कि आप किसी मित्र को चलती हुई बाधाओं से भरे अराजक कमरे का वर्णन करने की कोशिश कर रहे हैं। आप हर एक वस्तु की हर एक गति का वर्णन करने की कोशिश कर सकते हैं, जिसमें बहुत समय लगेगा और जिसे याद रखना असंभव होगा। या, आप एक सरलीकृत स्केच (simplified sketch) (लेटेंट मॉडल) बना सकते हैं जो कमरे के सार को पकड़ता है: "यदि मैं बाईं ओर जाता हूँ, तो मैं आमतौर पर दीवार से टकरा जाता हूँ; यदि मैं दाईं ओर जाता हूँ, तो मुझे आमतौर पर दरवाजा मिल जाता है।"
लेखकों ने WAE-DQN नामक एक नई प्रशिक्षण विधि विकसित की है। यह एक ऐसी प्रक्रिया का भव्य नाम है जहाँ रोबोट एक ही समय में दो चीजें सीखता है:
- कैसे कार्य करना है (पॉलिसी)।
- सरलीकृत स्केच (लेटेंट मॉडल) कैसे बनाना है।
महत्वपूर्ण रूप से, वे केवल स्केच का अनुमान नहीं लगाते; वे इस बात की गणना करते हैं कि वह स्केच कितना अच्छा है। वे PAC बाउंड्स (PAC bounds) का उपयोग करते हैं। इसे एक "कॉन्फिडेंस स्कोर" के रूप में सोचें। यह यह नहीं कहता कि "यह स्केच पूर्ण है।" यह कहता है, "हमें 95% विश्वास है कि यह स्केच वास्तविक कमरे के व्यवहार के 1% के भीतर है।"
सब कुछ एक साथ जोड़ना: प्लानर
एक बार जब रोबोट ने इन सरलीकृत स्केच और प्रत्येक कमरे के लिए "कॉन्फिडेंस स्कोर" सीख लिया, तो हाई-लेवल प्लानर सक्रिय हो जाता है। प्लानर मानचित्र और स्केच को देखता है। वह पूछता है: "यदि मैं रोबोट को कमरे A में भेजता हूँ और उसे दाईं ओर जाने के लिए कहता हूँ, तो उसके सफल होने की कितनी संभावना है?" वह स्केच से प्राप्त कॉन्फिडेंस स्कोर का उपयोग करके गणितीय रूप से इसका उत्तर देता है।
चूंकि प्लानर को प्रत्येक कमरे के स्केच के "सेफ्टी मार्जिन" का पता होता है, इसलिए वह एक ग्लोबल प्लान (global plan) बना सकता है जो गणितीय रूप से काम करने की गारंटी देता है, भले ही रोबोट ने कमरों के विवरण को अनुभव और त्रुटि (trial and error) से सीखा हो।
प्रयोग: क्या यह काम करता है?
टीम ने इस विचार का दो बहुत अलग दुनियाओं में परीक्षण किया:
- ग्रिड वर्ल्ड (Grid World): चलते हुए दुश्मनों के साथ एक डिजिटल भूलभुलैया।
- ViZDoom: एक वीडियो गेम वातावरण (क्लासिक Doom पर आधारित) जहाँ रोबोट को विजुअल इनपुट (कैमरे की तरह) का उपयोग करके दुश्मनों से बचते हुए नेविगेट करना होता है।
ग्रिड वर्ल्ड में, उन्होंने 9 कमरों और 11 चलते हुए दुश्मनों वाली एक भूलभुलैया बनाई। मानक AI (DQN नामक विधि का उपयोग करते हुए) एक अच्छा रास्ता सीखने में संघर्ष करता है, अक्सर फंस जाता है या टकरा जाता है। लेकिन नई विधि? इसने सफलतापूर्वक नेविगेट करना सीख लिया। और भी प्रभावशाली बात यह है कि उन्होंने इसे 49 कमरों और 47 दुश्मनों वाली बहुत बड़ी भूलभुलैया पर भी टेस्ट किया। रोबोट, छोटे कमरों से सीखे गए उन्हीं "स्केचों" का उपयोग करके, विशाल भूलभुलैया में सफलतापूर्वक नेविगेट करने में सक्षम था। यह उनके दृष्टिकोण की "पुन: प्रयोज्यता" (reusability) को सिद्ध करता है: एक बार जब आप एक प्रकार के कमरे को संभालना सीख जाते हैं, तो आप उस ज्ञान का उपयोग किसी भी समान कमरे में कर सकते हैं, चाहे मानचित्र कितना भी बड़ा क्यों न हो।
ViZDoom प्रयोग में, रोबोट को विजुअल इनपुट और दुश्मनों से जूझना पड़ा। परिणामों ने दिखाया कि "लेटेंट वैल्यूज" (सरलीकृत स्केच द्वारा की गई भविष्यवाणियाँ) वास्तविक गेम में जो हुआ उसके बहुत करीब थीं। उदाहरण के लिए, जब रोबोट ने एक विशिष्ट परिदृश्य में सफलता की 24% संभावना की भविष्यवाणी की, तो वास्तविक सफलता दर लगभग 23% थी। यह निकटता सिद्ध करती है कि "स्केच" इतने सटीक थे कि उन पर भरोसा किया जा सके।
यह क्यों महत्वपूर्ण है
सबसे बड़ी जीत यह नहीं है कि रोबोट गेम में बेहतर हो गया। बल्कि यह है कि रोबोट एक सुरक्षा प्रमाणपत्र के साथ बेहतर हो गया।
अतीत में, यदि आप चाहते थे कि एक रोबोट जटिल वातावरण में नेविगेट करे, तो आपको दो में से एक चुनना पड़ता था:
- सुरक्षा (Safety): एक सरल मॉडल का उपयोग करना जहाँ आप सब कुछ सिद्ध कर सकते हैं, लेकिन रोबोट वास्तविक दुनिया की अराजकता को संभालने के लिए बहुत मंद है।
- कौशल (Skill): एक शक्तिशाली सीखने वाले रोबोट का उपयोग करना जो अराजकता को संभाल सकता है, लेकिन आपको पता नहीं कि वह कब टकरा जाएगा।
यह शोध पत्र एक तीसरा रास्ता दिखाता है। "मैप" को "कमरों" से अलग करके, और रोबोट को कमरों के सरलीकृत, सत्यापित स्केच सीखने में मदद करके, उन्होंने एक ऐसी प्रणाली बनाई है जो स्मार्ट (यह चलते हुए अवरोधों और विजुअल इनपुट को संभाल सकती है) और सुरक्षित (यह गणितीय गारंटी के साथ आती है) दोनों है।
लेखक स्वीकार करते हैं कि उनके तरीके को शुरू करने के लिए अभी भी एक "मैप" की आवश्यकता होती है। वे रोबोट को पूरी तरह से अज्ञात दुनिया में नहीं फेंक सकते और उम्मीद नहीं कर सकते कि वह शून्य से मानचित्र बनाएगा। लेकिन उन वातावरणों के लिए जहाँ हम लेआउट जानते हैं (जैसे गोदाम, शहर का ग्रिड, या सॉफ्टवेयर सिस्टम), लेकिन यह नहीं जानते कि कमरों के अंदर क्या होता है, यह दृष्टिकोण एक शक्तिशाली नया उपकरण प्रदान करता है। यह सीखने के "ब्लैक बॉक्स" को एक "ग्लास बॉक्स" में बदल देता है जिसे हम निरीक्षण, सत्यापन और भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।