Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

कल्पना कीजिए कि आप एक ऐसे रोबोट को एक ऐसी दुनिया में नेविगेट करना सिखा रहे हैं जो कभी स्थिर नहीं रहती। रोबोटिक्स और आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, यह एक बहुत बड़ी पहेली है। यदि आप एक रोबोट को केवल समतल, चिकने फुटपाथ पर चलना सिखाते हैं, तो वह घास के पैच या खड़ी ढलान से टकराते ही लड़खड़ा जाएगा। यहीं पर रीइन्फोर्समेंट लर्निंग (RL) काम आती है। RL को एक डिजिटल 'ट्रायल-एंड-एरर' (प्रयास और त्रुटि) खेल के रूप में सोचें जहाँ एक एजेंट सही चालों के लिए पुरस्कार और गलत चालों के लिए दंड प्राप्त करके सीखता है। लेकिन एक पेच है: यदि प्रशिक्षण की दुनिया बहुत आसान है, तो रोबोट जटिल स्थितियों को संभालना नहीं सीख पाएगा और वास्तविक दुनिया में विफल हो जाएगा। यदि यह शुरुआत से ही बहुत कठिन है, तो रोबोट निराश हो जाएगा और कुछ भी नहीं सीख पाएगा।

इसे हल करने के लिए, वैज्ञानिक करिकुलम लर्निंग (Curriculum Learning) का उपयोग करते हैं। यह एक मानव शिक्षक की तरह है जो छात्र को पहले ही दिन कैलकुलस की परीक्षा में नहीं झोंक देता। इसके बजाय, वे सरल जोड़ से शुरू करते हैं, फिर बीजगणित (algebra) पर जाते हैं, और अंत में जैसे-जैसे छात्र बेहतर होता है, कैलकुलst (calculus) को हल करते हैं। लक्ष्य प्रशिक्षण वातावरण की कठिनाई को धीरे-धीरे बढ़ाना है ताकि रोबोट मजबूत (robust) बन सके—जिसका अर्थ है कि वह फिसलन भरे फर्श से लेकर अचानक आने वाली बाधाओं तक सब कुछ संभाल सके। हालाँकि, यह तय करना कि कठिनाई को ठीक कितनी तेजी से बढ़ाना है, और अगला विशिष्ट कौन सा चैलेंज जोड़ना है, अविश्वसनीय रूप से कठिन है। यदि आप गलत अनुमान लगाते हैं, तो रोबोट विफल होने के लूप में फंस सकता है, या वह सबसे कठिन कौशल कभी नहीं सीख पाएगा।

यह शोध पत्र रोबोट के लिए इन प्रशिक्षण पाठ्यक्रमों को डिजाइन करने का एक नया, स्मार्ट तरीका पेश करता है। लेखक, प्रिशिता रे और उनके सहयोगियों ने, रीपैरामीटराइज्ड करिकुलम जनरेशन (Reparameterized Curriculum Generation) नामक एक विधि प्रस्तावित की है। परीक्षण के लिए वातावरणों का चयन करने के लिए रैंडम अनुमान लगाने या कठिनाई स्तरों को मैन्युअल रूप से सेट करने के बजाय, उनका सिस्टम एक "क्रिटिक" (एक स्मार्ट ऑब्जर्वर) का उपयोग करता है जो यह देखता है कि रोबोट कितना अच्छा प्रदर्शन कर रहा है। इस फीडबैक के आधार पर, सिस्टम गणित का उपयोग करके प्रशिक्षण वातावरण के मापदंडों (parameters)—जैसे कि पहाड़ी की ढलान या बाधाओं की संख्या—को सटीक, ग्रेडिएंट-आधारित तरीके से ऊपर या नीचे समायोजित करता है। उन्होंने दो क्लासिक वीडियो-गेम जैसे रोबोट चुनौतियों पर इसका परीक्षण किया: बाधाओं वाले कोर्स के माध्यम से दौड़ती एक कार और ऊबड़-खाबड़ जमीन पर सीधा रहने की कोशिश करता एक द्विपद (bipedal) वॉकर। परिणाम बताते हैं कि यह विधि पुराने, रैंडम या मैन्युअल रूप से डिज़ाइन किए गए प्रशिक्षण तरीकों की तुलना में रोबोट को तेजी से सीखने और विविध प्रकार की कठिन स्थितियों को बेहतर ढंग से संभालने में मदद करती है।

स्मार्ट सिलेबस की कहानी

कल्पना कीजिए कि आप एक वीडियो गेम चरित्र को कार चलाने के लिए प्रशिक्षित कर रहे हैं। पुराने दिनों में, आप शायद हर बार खेलते समय एक रैंडम ट्रैक चुनते। कभी-कभार ट्रैक एक सीधी, खाली हाईवे होता; और कभी-कभी, यह दीवारों का एक अराजक भूलभुलैया होता। इसे रैंडम सैंपलिंग (Random Sampling) कहा जाता है। यह अराजक और अक्षम है। या, आप एक मैनुअल करिकुलम (Manual Curriculum) आज़मा सकते हैं, जहाँ आप निर्णय लेते हैं, "ठीक है, पहले घंटे के लिए, मैं केवल फ्लैट ट्रैक का उपयोग करूँगा। फिर मैं कुछ उभार जोड़ूँगा। फिर मैं घुमाव जोड़ूँगा।" यह बेहतर है, लेकिन यह कठोर है। क्या होगा यदि चरित्र घुमावों के लिए तैयार है लेकिन उभारों के लिए नहीं? या क्या होगा यदि वे उभारों के कारण संघर्ष कर रहे हैं भले ही ट्रैक समतल हो? आप अनुमान लगा रहे हैं, और आप समय बर्बाद कर सकते हैं।

लेखक ने पूछा: क्या हम एक ऐसा सिस्टम बना सकते हैं जो रोबोट के लिए, पल-पल में, एकदम सही कठिनाई वक्र (difficulty curve) को स्वचालित रूप से समझ सके?

उन्होंने एक ढांचा बनाया जिसे वे रीपैम (Reparam) कहते हैं। इसे एक वीडियो गेम लेवल डिज़ाइनर के रूप में सोचें जो एक पर्सनल ट्रेनर भी है। इस ट्रेनर के दो मुख्य कार्य हैं:

1. द पॉलिसी (द स्टूडेंट): यह रोबलेट का मस्तिष्क है, जो कार को स्टीयर करने या द्विपद वॉकर को चलने के बारे में सीख रहा है।
2. द क्रिटिक (द कोच): यह नई पद्धति का विशेष हिस्सा है। क्रिटिक केवल रोबोट को देखता ही नहीं; यह सक्रिय रूप से प्रशिक्षण वातावरण को बदलता है।

यहाँ जादू कैसे होता है। प्रशिक्षण वातावरण के "नॉब्स" (knobs) या पैरामीटर होते हैं। कार के लिए, ये नॉब्स नियंत्रित करते हैं कि सड़क कितनी घुमावदार ($\kappa$) है और कितने अवरोध ($p$) दिखाई देते हैं। वॉकर के लिए, नॉब्स नियंत्रित करते हैं कि जमीन कितनी फिसलन भरी ($f$) है, गड्ढों की संख्या ($\rho$) कितनी है, और ढलान ($s$) कितनी खड़ी है।

क्रिटिक रोबोट के प्रदर्शन को देखता है। यदि रोबोट वर्तमान स्तर को आसानी से पार कर रहा है, तो क्रिटिक एक गणितीय उपकरण जिसका नाम ग्रेडिएंट-आधारित ऑप्टिमाइजेशन (gradient-based optimization) है, का उपयोग करके नॉब्स को थोड़ा "कठिन" की ओर घुमाता है। यदि रोबोट बुरी तरह विफल हो रहा है, तो क्रिटिक उन्हें वापस "आसान" की ओर घुमाता है। लेकिन यहाँ ट्विस्ट है: क्रिटिक केवल अनुमान नहीं लगाता। यह गणना करता है कि नॉब्स को किस दिशा में घुमाना चाहिए ताकि रोबोट सबसे कुशलता से सीख सके। यह एक GPS की तरह है जो न केवल कहता है "बाएं मुड़ें," बल्कि गड्ढे से बचने के लिए स्टीयरिंग व्हील को घुमाने का सटीक कोण भी गणना करता है।

सीक्रेट सॉस: रोबोट को शांत रखना

पिछले तरीकों के साथ एक समस्या थी। जब प्रशिक्षण वातावरण बहुत तेज़ी से या बहुत अधिक बदलाव करता है, तो रोबलेट भ्रमित हो जाता है। AI की दुनिया में, इसे डिस्ट्रीब्यूशन शिफ्ट (distribution shift) कहा जाता है। कल्पना कीजिए कि आप ड्राइविंग सीख रहे हैं, और एक मिनट आप सूखे हाईवे पर थे, और अगले ही सेकंड आप जमी हुई झील पर हैं। आपका मस्तिष्क अनुकूलन करने के लिए संघर्ष करेगा क्योंकि सड़क के "नियम" बहुत नाटकीय रूप से बदल गए हैं।

इसे ठीक करने के लिए, लेखक ने एक रेगुलराइजेशन ऑब्जेक्टिव (regularization objective) जोड़ा। इसे एक "शांत होने वाला" नियम मान लें। यह क्रिटिक को बताता है: "हे, तुम स्तर को कठिन बना सकते हो, लेकिन इसे पिछले स्तर से बहुत अधिक मत बदलो।" यह सुनिश्चित करता है कि रोबोट चरण-दर-चरण सीखे, जिससे प्रशिक्षण वातावरण इतना स्थिर रहे कि रोबोट कौशल की एक ठोस नींव बना सके। यह विशेष रूप से कार रेसिंग कार्य के लिए महत्वपूर्ण था, जहाँ रोबोट को संख्याओं के साथ-साथ छवियों (जो वह "देखता" है) को भी प्रोसेस करना था। "शांत होने वाले" नियम ने रोबोट को दृश्य दुनिया को बेहतर ढंग से समझने में मदद की, जिससे दृश्य परिदृश्य में अचानक, झटकेदार बदलावों से होने वाले ओवरवेल्म होने से बचाव हुआ।

रेस और वॉक

टीम ने OpenAI Gym, जो रोबोट को प्रशिक्षित करने के लिए एक लोकप्रिय टूलकिट है, का उपयोग करके दो बहुत अलग चुनौतियों पर अपने विचार का परीक्षण किया।

1. कार रेसिंग चुनौती:
रोबोट को बाधाओं से भरे ट्रैक के माध्यम से कार चलानी थी। कठिनाई को इस बात से नियंत्रित किया गया था कि सड़क कितनी घुमावदार है और उस पर कितने अवरोध हैं।

• परिणाम: नई विधि (विशेष रूप से "शांत होने वाले" नियम वाला संस्करण, जिसे Reparam-M कहा जाता है) एक चैंपियन था। इसने 650 का औसत इनाम (मानक विचलन 134 के साथ) प्राप्त किया, जिसने अन्य सभी तरीकों को पीछे छोड़ दिया।
• यह क्यों महत्वपूर्ण था: रोबोट ने केवल रेस पूरी नहीं की; वह बाधाओं से टकराने की घटनाओं को बहुत कम कर दिया। जबकि एक "वैनिला" (Vanilla) रोबोट (जो केवल आसान ट्रैक पर प्रशिक्षित था) औसतन 1.85 बार टकराया, Reparam-M रोबोट केवल 0.60 बार टकराया। इसने सड़क से बाहर घास पर जाने के समय को भी कम किया, जिससे पता चला कि इसने कठिन होने पर भी ट्रैक पर बने रहना सीख लिया है।

2. द्विपद वॉकर (Bipedal Walker) चुनौती:
यह दो पैरों वाला एक रोबोट था जो गड्ढों में गिरने या ढलानों पर फिसलने के बिना आगे बढ़ने की कोशिश कर रहा था।

• परिणाम: दिलचस्प रूप से, "शांत होने वाला" नियम यहाँ उतना आवश्यक नहीं था। वॉकर के लिए रोबोट का मस्तिष्क सरल था (उसे छवियों को प्रोसेस करने की आवश्यकता नहीं थी, केवल शरीर के सेंसरों की आवश्यकता थी)। बिना अतिरिक्त नियम वाले संस्करण (Reparam) ने सर्वश्रेष्ठ प्रदर्शन किया, और 127 का औसत इनाम प्राप्त किया।
• यह क्यों महत्वपूर्ण था: यह रोबोट औसतन 128 कदम चला, जबकि "वैनिला" रोबोट के 110 कदम थे। यह गड्ढों में भी कम गिरा।

उन्होंने क्या सीखा (और क्या नहीं)

शोध पत्र सावधानीपूर्वक उन बातों को रेखांकित करता है जो काम करती हैं और जो नहीं। उन्होंने अपने विचार के कई संस्करणों का परीक्षण किया:

• द्विदिश अपडेट (Bidirectional Updates - Reparam-A): उन्होंने क्रिटिक को स्तर को आसान बनाने की अनुमति देकर देखा, इस उम्मीद में कि वह रोबोट को "लर्निंग ज़ोन" में रखेगा। लेकिन इसने वास्तव में चीजों को धीमा कर दिया। यह पता चला कि एक बार जब रोबोट कठिन स्तर के लिए तैयार हो गया, तो उसे फिर से आसान बनाना केवल समय की बर्बादी थी।
• रिवर्स करिकुलम (Reverse Curriculum - Reparam-R): उन्होंने सबसे कठिन स्तरों से शुरू करके पीछे की ओर काम करने की कोशिश की। यह आसान से कठिन होने की तुलना में उतना प्रभावी नहीं रहा।
• मैन्युअल और रैंडम करिकुलम: जैसा कि अपेक्षित था, पुराने तरीकों को स्मार्ट, स्वचालित प्रणाली द्वारा पीछे छोड़ दिया गया।

लेखक ने पाया कि उनकी विधि सैंपल-एफिशिएंट (sample-efficient) है, जिसका अर्थ है कि यह तेजी से सीखती है और अच्छा करने के लिए कम प्रयासों की आवश्यकता होती है। उन्होंने परिणामों की पुष्टि करने के लिए विभिन्न रैंडम सीड्स के साथ इन प्रयोगों को पांच बार चलाया। परिणाम सुसंगत थे: नई विधि लगातार पुराने तरीकों को मात देती रही।

हालाँकि, शोध पत्र विनम्र भी है। वे नोट करते हैं कि हालांकि यह विधि इन सिम्युलेटेड वीडियो-गेम की दुनिया में शानदार काम करती है, फिर भी यह एक सिमुलेशन है। उन्होंने अभी तक इसे वास्तविक लिविंग रूम में वास्तविक रोबोट पर टेस्ट नहीं किया है। वे सुझाव देते हैं कि भविष्य के कार्यों को यह देखना होगा कि क्या यह "स्मार्ट सिलेबस" वास्तविक दुनिया के और भी जटिल चरों (variables) को संभाल सकता है।

निष्कर्ष

यह शोध पत्र एक नया रोबोट या एक नया गेम बनाने के बारे में नहीं है। यह एक बेहतर शिक्षक बनाने के बारे में है। प्रशिक्षण वातावरण की कठिनाई को ऑन-द-फ्लाई (चलते-चलते) एडजस्ट करने के लिए एक स्मार्ट, गणित-संचालित सिस्टम का उपयोग करके, लेखक ने दिखाया कि रोबोट अधिक मजबूत, अधिक अनुकूलन योग्य और क्रैश होने से बचने के लिए बेहतर तरीके से सीख सकते हैं। चाहे वह एक अराजक ट्रैक पर नेविगेट करने वाली कार हो या पथरीले रास्ते को पार करने वाला वॉकर, सबक स्पष्ट है: रोबोट को सिखाने का सबसे अच्छा तरीका उसे गहरे पानी में झोंकना नहीं है, बल्कि उसे चुनौतियों के एक पूरी तरह से नियंत्रित सफर के माध्यम से मार्गदर्शन करना है, एक समय में एक कदम।