Distributionally Robust and Safe Imitation Learning

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखा रहे हैं, जैसे कि एक जंगल के बीच से ड्रोन उड़ाना या शहर के ट्रैफिक में कार चलाना। आप रोबोट को हर सेकंड क्या करना है, यह बताने के लिए हजारों लाइनों का कोड नहीं लिखना चाहते; इसके बजाय, आप चाहते हैं कि वह एक मानव विशेषज्ञ को देखकर सीखे। यह इमिटेशन लर्निंग (Imitation Learning) की दुनिया है। इसे एक छात्र की तरह समझें जो एक मास्टर शेफ की छाया में रहता है: छात्र देखता है कि मास्टर कैसे सब्जियां काटता है और पैनकेक पलटता है, फिर वह उन हरकतों की नकल करने की कोशिश करता है।

हालाँकि, इसमें एक पेचीदा समस्या है। यदि छात्र शुरुआत में एक छोटी सी गलती करता है—मान लीजिए, गाजर को थोड़ा अधिक मोटा काट दिया—तो वे बाद में भ्रमित हो सकते हैं, जिससे गलतियों का एक सिलसिला शुरू हो सकता है जो पूरे भोजन को खराब कर देता है। रोबोट की दुनिया में, इसे डिस्ट्रीब्यूशन शिफ्ट (distribution shift) कहा जाता है: रोबोट ऐसी स्थितियों में पहुँच जाता है जो विशेषज्ञ ने कभी देखी ही नहीं थीं, और क्योंकि उसने केवल आदर्श स्थितियों में विशेषज्ञ की नकल करना सीखा था, इसलिए वह घबरा जाता है। इसके अलावा, वास्तविक दुनिया अव्यवस्थित होती है। हवा चल सकती है, जमीन फिसलन भरी हो सकती है, या सेंसर में खराबी आ सकती है। ये अनिश्चितताएं (uncertainties) हैं। यदि कोई रोबोट केवल एक शांत, धूप वाले सिमुलेशन में सीखता है, तो हवा के एक झोंके के सामने आते ही वह दुर्घटनाग्रस्त हो सकता है। यही कारण है कि शोधकर्ता ऐसे रोबट बनाने के लिए उत्सुक हैं जो केवल विशेषज्ञों की नकल न करें, बल्कि उन्हें सुरक्षित और मजबूत (robust) तरीके से कॉपी करें, भले ही चीजें गलत हो जाएं।

---

पेपर का बड़ा विचार: "सुपर-स्टूडेंट" ड्रोन

इस पेपर में, अहमद अबौडोनिया और नायरा होवाकिमियन एक नया तरीका प्रस्तावित करते हैं जो रोबोट को सिखाने के लिए एक "सुपर-स्टूडेंट" की तरह काम करता है, जो न केवल नकल करना सीखता है, बल्कि हरकतों के पीछे के क्यों और क्या-होगा-अगर को भी समझता है। वे अपने इस तरीके को डिस्ट्रीब्यूशनली रोबस्ट एंड सेफ इमिटेशन लर्निंग फ्रेमवर्क (Distributionally Robust and Safe Imitation Learning framework) कहते हैं।

यह समझने के लिए कि उन्होंने क्या किया, कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं।

1. मानक सीखना (Behavioral Cloning): आप एक पेशेवर राइडर को देखते हैं और उनके शरीर की सटीक गतिविधियों की नकल करने की कोशिश करते हैं। यदि आप डगमगाते हैं, तो आप गिर सकते हैं क्योंकि आपने डगमगाहट को कैसे ठीक करना है, यह नहीं सीखा।
2. पेपर की पहली ट्रिक (TaSIL): लेखक टेलर सीरीज़ इमिटेशन लर्निंग (TaSIL) नामक तकनीक का उपयोग करते हैं। केवल राइडर की स्थिति की नकल करने के बजाय, रोबोट राइडर के डेरिवेटिव्स (derivatives) की नकल करना सीखता है। सरल शब्दों में, यह न केवल यह सीखता है कि राइडर कहाँ है, बल्कि यह भी कि वह कितनी तेजी से मुड़ रहा है, कितनी तेजी से त्वरित (accelerate) हो रहा है, और वे बदलाव कैसे बदल रहे हैं। यह केवल एक स्नैपशॉट नहीं, बल्कि गति के "प्रवाह" को सीखने जैसा है। यह रोबोट को ट्रैक पर रहने में मदद करता है भले ही वह थोड़ा मार्ग से भटक जाए।
3. पेपर की दूसरी ट्रिक (L1-DRAC): लेकिन क्या होगा अगर अचानक हवा का झोंका आ जाए? रोबोट को एक सुरक्षा जाल की आवश्यकता है। लेखक L1-डिस्ट्रीब्यूशनली रोबस्ट एडेप्टिव कंट्रोल (L1-DRAC) नामक एक परत जोड़ते हैं। इसे एक सुपर-फास्ट, अदृश्य को-पायलट के रूप में सोचें। यदि हवा ड्रोन को धकेलती है, तो यह को-पायलट तुरंत उस सुधार की गणना करता है जो ड्रोन को उसके इच्छित पथ पर रखने के लिए आवश्यक है, प्रभावी रूप से हवा के प्रभाव को ड्रोन के महसूस करने से पहले ही "कैंसिल" कर देता है।

नया मोड़: सुरक्षा जाल के साथ सीखना

इस पेपर का वास्तविक नवाचार यह है कि उन्होंने अनिश्चितता और सुरक्षा को एक साथ संभालने के लिए इन दो विचारों को कैसे जोड़ा।

आमतौर पर, जब एक रोबोट किसी विशेषज्ञ से सीखता है, तो वह विशेषज्ञ के पथ से बिल्कुल मेल खाने की कोशिश करता है। लेकिन क्या होगा यदि विशेषज्ञ का पथ सीधे एक खाई के बगल से जाता है, और हवा चल रही है? एक स्मार्ट रोबोट को अंधे होकर विशेषज्ञ के पीछे खाई में नहीं जाना चाहिए। लेखकों ने महसूस किया कि मानक शिक्षण विधियाँ इस तथ्य को ध्यान में नहीं रखती हैं कि "वास्तविक दुनिया" "प्रशिक्षण की दुनिया" से थोड़ी भिन्न हो सकती है।

उन्होंने रोबोट के लिए एक नया प्रशिक्षण खेल बनाया:

• "वर्स्ट-केस" बॉल: केवल विशेषज्ञ द्वारा लिए गए सटीक पथ से सीखने के बजाय, रोबोट विशेषज्ञ के पथ के आसपास संभावित पथों का एक "बॉल" की कल्पना करता है। यह बॉल उन सभी संभावित तरीकों का प्रतिनिधित्व करती है जिनसे हवा या सेंसर की त्रुटियां रोबोट को पथ से भटका सकती हैं।
• सुरक्षा प्रतिबंध (Safety Constraint): रोबोट को फिर उस बॉल के भीतर सबसे खराब परिदृश्य में भी अच्छा प्रदर्शन करने के लिए प्रशिक्षित किया जाता है। यह एक पायलट के अभ्यास जैसा है जो केवल धूप वाले दिन के लिए नहीं, बल्कि तूफान के लिए अभ्यास कर रहा है।
• सुरक्षा दंड (Safety Penalty): उन्होंने रोबोट के होमवर्क में एक विशेष "सेफ्टी टर्म" जोड़ा। यदि रोबोट की योजना उसे खतरनाक क्षेत्र (जैसे नो-फ्लाई ज़ोन) के बहुत करीब ले जाती है, तो उसे बड़ा दंड मिलता है। यह रोबोट को सिखाता है: "मैं विशेषज्ञ का पालन कर सकता हूँ, लेकिन यदि हवा मुझे खतरे के क्षेत्र की ओर धकेलती है, तो मुझे सुरक्षित रहने के लिए दूर जाना चाहिए।"

उन्होंने क्या पाया (सिमुलेशन)

लेखकों ने अपने विचार का परीक्षण एक अनमैन्ड एरियल व्हीकल (UAV)—मूल रूप से एक ड्रोन—पर किया। उन्होंने एक सिमुलेशन सेट किया जहाँ ड्रोन को एक विशिष्ट "असुरक्षित क्षेत्र" (एक क्षेत्र जिसमें उसे प्रवेश नहीं करना चाहिए) से बचते हुए एक घेरे में उड़ना था। उन्होंने एपिस्टेमिक अनसर्टेन्टी (epistemic uncertainty) (जैसे ड्रोन पर काम करने वाले यादृच्छिक, अप्रत्याशित बल) और एलियटोरिक अनसर्टेन्टी (aleatoric uncertainty) (जैसे सेंसर की खराबी, रैंडम शोर) को पेश किया।

उनके सिमुलेशन में यह हुआ:

• मानक रोबोट: जब उन्होंने एक मानक इमिटेशन लर्निंग रोबोट का उपयोग एक आदर्श दुनिया में किया, तो वह घेरे में पूरी तरह से उड़ा। लेकिन जैसे ही उन्होंने हवा और शोर जोड़ा, रोबोट डगमगाने लगा और अंततः असुरक्षित क्षेत्र में टकरा गया। यह बहुत कठोर था।
• को-पायलट वाला रोबोट (L1-DRAC): जब उन्होंने मानक रोबट में "अदृश्य को-पायलट" जोड़ा, तो उसने हवा को बेहतर ढंग से संभाला और घेरे के करीब रहा। हालाँकि, यह अभी भी यह नहीं जानता था कि यदि हवा उसे वहां धकेल दे तो असुरक्षित क्षेत्र से कैसे बचना है। यह हवा के प्रति मजबूत था, लेकिन सख्त अर्थों में "सुरक्षित" नहीं था।
• "सुपर-स्टूडेंट" (नया फ्रेमवर्क): नए डिस्ट्रीब्यूशनली रोबस्ट एंड सेफ तरीके के साथ प्रशिक्षित रोबोट विजेता था। सिमुलेशन में, इसने घेरे में विशेषज्ञ की तरह ही अच्छी तरह से उड़ान भरी। लेकिन जब हवा ने इसे असुरक्षित क्षेत्र की ओर धकेला, तो यह घबराया नहीं। इसके बजाय, इसने खतरे से बचने के लिए विशेषज्ञ के सटीक पथ से जानबूझकर विचलन किया, और फिर खतरा टल जाने के बाद सुचारू रूप से घेरे पर वापस लौट आया।

यह पेपर दिखाता है कि अनिश्चितता के एक निश्चित दायरे के भीतर सबसे खराब स्थिति की उम्मीद करने के लिए रोबोट को सिखाकर, और सुरक्षा नियम जोड़कर जो इसे खतरे के करीब जाने से रोकता है, आप एक ऐसा सिस्टम बना सकते हैं जो अत्यधिक कुशल और अविश्वसनीय रूप से सुरक्षित दोनों है।

निष्कर्ष

यह पेपर यह दावा नहीं करता है कि इसने रोबोट सीखने की सभी समस्याओं को हमेशा के लिए हल कर दिया है। इसके बजाय, लेखक व्यापक सिमुलेशन के माध्यम से प्रदर्शित करते हैं कि उनका नया फ्रेमवर्क काम करता है। उन्होंने दिखाया कि गति के "प्रवाह" (TaSIL) को सीखने के तरीके को अनिश्चितता से सक्रिय रूप से लड़ने के तरीके (L1-DRAC) के साथ जोड़कर, और एक सुरक्षा नियम जोड़कर जो रोबोट को आगे की सोचने के लिए मजबूर करता है, आप एक ऐसा ड्रोन बना सकते हैं जो दुनिया अव्यवस्थित और अप्रत्याशित होने पर भी आत्मविश्वास से उड़ता है। यह एक ऐसे रोबोट बनाने की दिशा में एक कदम है जो केवल हमारी नकल नहीं करता, बल्कि उतना ही स्मार्ट और सावधान होना सीखता है जितनी हम उनसे उम्मीद करते हैं।