A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

स्वायत्त रेसिंग (autonomous racing) की उच्च-दांव वाली दुनिया में, जीत और आपदा के बीच का अंतर अक्सर मिलीमीटर और मिलीसेकंड में मापा जाता है। एक स्वयं-चालित कार को प्रतिस्पर्धा करने के लिए केवल एक पथ का अनुसरण करना ही पर्याप्त नहीं है; इसे वाहन को उसकी भौतिक क्षमताओं के बिल्कुल किनारे तक ले जाना चाहिए, जहाँ वह दुर्घटना में फिसलने के बिना अधिकतम ग्रिप (पकड़) प्राप्त करने के बीच की अत्यंत बारीक रेखा पर संतुलन बनाए रखे। यह एक ऐसा क्षेत्र है जहाँ पारंपरिक प्रोग्रामिंग संघर्ष करती है, क्योंकि चर (variables) इतनी तेज़ी से बदलते हैं कि एक मानव इंजीनियर हर संभावित परिदृश्य के लिए नियम नहीं लिख सकता। इसके बजाय, शोधकर्ता 'इमिटेशन लर्निंग' (imitation learning) नामक एक पद्धति की ओर मुड़ते हैं, जहाँ एक कंप्यूटर प्रोग्राम एक विशेषज्ञ ड्राइवर को देखकर सीखता है। विचार सरल है: यदि मशीन विशेषज्ञ के कार्यों की बारीकी से नकल कर सकती है, तो वह उतनी ही अच्छी तरह से गाड़ी चलाने में सक्षम होनी चाहिए। हालाँकि, इस दृष्टिकोण में एक गंभीर दोष मौजूद है। यदि विशेषज्ञ कोई गलती करता है, या यदि मशीन किसी स्थिति की गलत व्याख्या करती है और थोड़ा सा भी गलत दिशा में भटक जाती है, तो इसके परिणाम विनाशकारी हो सकते हैं। मशीन तेज़ गाड़ी चलाना तो सीख सकती है, लेकिन सुरक्षा की अंतर्निहित समझ के बिना, वह आसानी से ट्रैक से उतर सकती है।

यही वह चुनौती है जिसे हल करने के लिए शोधकर्ता शेंगफैन काओ, यूनह्येक जोआ और फ्रांसेस्को बोरलीली ने प्रयास किया। उन्होंने पहचाना कि जब कार्य में मशीन की हैंडलिंग की सीमाओं के पास संचालन शामिल हो, तो केवल एक विशेषज्ञ की नकल करना पर्याप्त नहीं है। अपने कार्य में, उन्होंने स्वायत्त वाहनों को सिखाने का एक नया तरीका विकसित किया जो विशेषज्ञ की नकल करने की इच्छा को सुरक्षा की एक सख्त, आंतरिक समझ के साथ जोड़ता है। केवल कंप्यूटर को विशेषज्ञ के स्टीयरिंग व्हील के आंदोलनों की नकल करने के लिए कहने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई जो कार द्वारा क्रिया निष्पादित करने से पहले यह भी पूछती है, "क्या यह क्रिया सुरक्षित है?" इस सुरक्षा जांच को सीधे सीखने की प्रक्रिया में शामिल करके, उन्होंने एक ऐसी नीति (policy) को प्रशिक्षित किया जो न केवल तेज़ गाड़ी चलाना सीखती है, बल्कि उन विशिष्ट प्रकार की त्रुटियों से बचना भी सीखती है जो दुर्घटनाओं का कारण बनती हैं। उनके दृष्टिकोण का परीक्षण एक रेस कार के परिष्कृत कंप्यूटर सिमुलेशन में किया गया था, जहाँ वाहन को दीवारों से टकराए बिना लगातार पचास लैप्स पूरे करने थे। परिणामों ने दिखाया कि जबकि मानक तरीके अक्सर विफल हो जाते हैं या विश्वसनीय बनने के लिए अत्यधिक प्रशिक्षण समय की आवश्यकता होती है, इस नए सुरक्षा-जागरूक (safety-aware) तरीके ने बहुत तेज़ी से लगातार और सुरक्षित रूप से गाड़ी चलाना सीखा, जिससे यह सिद्ध हुआ कि एक मशीन अपनी सुध-बुध खोए बिना सीमा पर रेसिंग करना सीख सकती है।

समस्या का मूल इस बात में निहित है कि ये लर्निंग सिस्टम आमतौर पर कैसे काम करते हैं। एक मानक सेटअप में, कंप्यूटर एक विशेषज्ञ ड्राइवर का वीडियो देखता है और यह अनुमान लगाने की कोशिश करता है कि ड्राइवर किसी भी दी गई स्थिति में क्या करेगा। यदि ड्राइवर पहिया बाईं ओर घुमाता है, तो कंप्यूटर बाईं ओर मुड़ने के लिए सीखता है। यह तब अच्छी तरह काम करता है जब कार ऐसी स्थिति में होती है जिसे कंप्यूटर ने पहले देखा हो। लेकिन रेसिंग अनपेक्षित क्षणों से भरी होती है। यदि कार एक ऐसी स्थिति का सामना करती है जो प्रशिक्षण डेटा से थोड़ी अलग है, तो कंप्यूटर एक छोटी सी त्रुटि कर सकता है। एक सामान्य ड्राइविंग परिदृश्य में, एक छोटी सी त्रुटि का मतलब केवल यह हो सकता है कि कार थोड़ा भटक गई है। एक रेस में, वही छोटी सी त्रुटि कार को दीवार में धकेल सकती है या उसे स्पिन आउट (घूमने) का कारण बन सकती है। शोधकर्ताओं ने पाया कि केवल विशेषज्ञ की अधिक सटीक रूप से नकल करने की कोशिश करना समाधान नहीं था। पूर्ण नकल के साथ भी, सिस्टम में सुरक्षा की सीमाओं को समझने का कोई तरीका नहीं था। वह यह नहीं जानता था कि कुछ क्रियाएं, भले ही वे विशेषज्ञ जैसी दिखती हों, खतरनाक थीं क्योंकि वे कार की भौतिक सीमाओं का उल्लंघन करती थीं।

इसे ठीक करने के लिए, लेखकों ने एक "सेफ्टी फ़िल्टर" (safety filter) पेश किया जो विशेषज्ञ ड्राइवर के साथ एक दूसरे शिक्षक के रूप में कार्य करता है। कल्पना कीजिए कि एक छात्र एक मास्टर इंस्ट्रक्टर के साथ गाड़ी चलाना सीख रहा है जो रेस करना जानता है, लेकिन साथ ही एक सुरक्षा अधिकारी के साथ भी जो सड़क के नियमों और वाहन की सीमाओं को जानता है। छात्र इंस्ट्रक्टर की नकल करने की कोशिश करता है, लेकिन यदि छात्र कुछ ऐसा करने वाला होता जिससे दुर्घटना हो सकती है, तो सुरक्षा अधिकारी हस्तक्षेप करता है। इस नई प्रणाली में, कंप्यूटर एक ही समय में दोनों स्रोतों से सीखता है। वह विशेषज्ञ के प्रदर्शन की नकल करने की कोशिश करता है, लेकिन वह यह भी सीखता है कि कौन सी स्थितियाँ सुरक्षित हैं और कौन सी नहीं। शोधकर्ताओं ने एक चतुर तरीका विकसित किया जिससे कंप्यूटर को यह सिखाया जा सके कि "सुरक्षित" का क्या अर्थ है, बिना कार के भौतिकी के एक सटीक गणितीय मॉडल की आवश्यकता के। उन्होंने एक ऐसी तकनीक का उपयोग किया जहाँ कंप्यूटर कई ड्राइविंग प्रयासों को देखता है, जिनमें से कुछ सफल होते हैं और कुछ विफल होते हैं। सफल प्रयासों का विश्लेषण करके, सिस्टम "सुरक्षित क्षेत्र" (safe zone) का एक मानचित्र बनाता है—उन सभी स्थितियों और गति का संग्रह जहाँ कार दुर्घटना के बिना रेस पूरी कर सकती है। फिर वह किसी भी ऐसी क्रिया से बचने के लिए सीखता है जो कार को इस सुरक्षित क्षेत्र से बाहर धकेल दे।

प्रयोग एक ऐसे सिम्युलेटेड वातावरण में किए गए थे जो एक वास्तविक रेस कार के भौतिकी की नकल करता था, जिसमें कैमरा व्यू और स्पीड सेंसर भी थे, ठीक वैसे ही जैसे एक वास्तविक वाहन में होते हैं। लक्ष्य यह था कि कार ट्रैक की सीमाओं से टकराए बिना लगातार पचास लैप्स पूरे करे। शोधकर्ताओं ने अपने नए सुरक्षा-जागरक तरीके की तुलना एक मानक इमिटेशन लर्निंग दृष्टिकोण के विरुद्ध की जिसमें कोई सुरक्षा फ़िल्टर नहीं था। परिणाम चौंकाने वाले थे। मानक तरीका बिना क्रैश हुए दस लैप्स भी पूरे करने के लिए संघर्ष करता था, जो अक्सर इसलिए विफल होता था क्योंकि उसने छोटी, असुरक्षित विचलन की थी जिन्हें प्रशिक्षण डेटा ने स्पष्ट रूप से दंडित नहीं किया था। इसके विपरीत, नया तरीका सुरक्षित और लगातार गाड़ी चलाना सीख गया। एक परीक्षण में, सुरक्षा-जागरक कार ने अस्सी से कम प्रशिक्षण सत्रों में पूरे पचास लैप्स पूरे किए, जबकि मानक तरीका दस लैप्स से आगे नहीं बढ़ सका। नए सिस्टम ने दीवारों से सुरक्षित दूरी बनाए रखना सीखा और साथ ही तेज़ लैप टाइम भी प्राप्त किया, जिससे पता चला कि इसने न केवल विशेषज्ञ की नकल करना सीखा, बल्कि वातावरण की बाधाओं को भी समझा।

जो इस दृष्टिकोण को विशेष रूप से शक्तिशाली बनाता है वह यह है कि यह तब भी काम करता है जब कार सब कुछ पूरी तरह से नहीं देख पाती है। वास्तविक दुनिया में, एक कार के पास केवल एक कैमरा और कुछ स्पीड सेंसर हो सकते हैं, न कि उसकी स्थिति का एक पूर्ण, सर्वज्ञ दृश्य। शोधकर्ताओं ने इस सीमा के साथ अपने तरीके का परीक्षण किया, कंप्यूटर को केवल कैमरा इमेज और स्पीड डेटा दिया, जैसा कि एक वास्तविक कार अनुभव करेगी। इस आंशिक जानकारी के साथ भी, सुरक्षा-जागरक प्रणाली ने मानक पद्धति को पछाड़ दिया और बहुत तेज़ी से एक सुरक्षित ड्राइविंग पॉलिसी प्राप्त की। मानक पद्धति, सुरक्षा मार्गदर्शन के अभाव में, अस्थिर और विफलता के प्रति संवेदनशील बनी रही। यह सुझाव देता है कि सुरक्षा फ़िल्टर कंप्यूटर को बेहतर ढंग से सामान्यीकरण (generalize) करने में मदद करता है, जिससे यह वास्तविक दुनिया के सेंसरों की अनिश्चितता और शोर को अधिक प्रभावी ढंग से संभाल पाता है। शोधकर्ताओं ने नोट किया कि सिस्टम ने केवल दुर्घटनाओं से बचना ही नहीं सीखा; इसने निरंतर रहना भी सीखा। लैप टाइम अधिक अनुमानित हो गए, और कार का व्यवहार अधिक विश्वसनीय हो गया, जो किसी भी स्वायत्त प्रणाली के लिए आवश्यक है जिसे वास्तविक दुनिया में संचालित होने की आवश्यकता है।

अध्ययन ने इस बारे में भी एक महत्वपूर्ण अंतर्दृष्टि दी कि हम मशीनों को जटिल कार्यों को करने के लिए कैसे सिखाते हैं। केवल उन्हें सही उत्तर दिखाना ही पर्याप्त नहीं है; हमें उन्हें यह भी सिखाना होगा कि गलत उत्तर कैसा दिखता है, विशेष रूप से जब गलत उत्तर आपदा की ओर ले जाता है। सीखने की प्रक्रिया में सुरक्षा दंड (safety penalty) को शामिल करके, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो विशेषज्ञ की हर हरकत की पूर्ण नकल करने के बजाय सुरक्षित क्षेत्र के भीतर रहने को प्राथमिकता देती है। इसका मतलब यह नहीं है कि कार धीरे या सावधानी से चलती है; बल्कि, यह प्रदर्शन की सीमाओं को बिना खतरे की रेखा पार किए धकेलना सीखती है। शोधकर्ताओं ने पाया कि यह दृष्टिकोण पूर्ण नकल प्राप्त करने की तुलना में अधिक कुशल था, क्योंकि इसने कार को काफी कम प्रशिक्षण चरणों में एक सुरक्षित और उच्च-प्रदर्शन वाली नीति सीखने की अनुमति दी।

आगे देखते हुए, शोधकर्ता स्वीकार करते हैं कि हालांकि उनके परिणाम आशाजनक हैं, लेकिन वे सिमुलेशन पर आधारित हैं। वास्तविक दुनिया अधिक जटिल है, जिसमें अप्रत्याशित मौसम, परिवर्तनशील सड़क स्थितियाँ और यांत्रिक खामियाँ शामिल हैं जिन्हें एक कंप्यूटर सिमुलेशन पूरी तरह से कैप्चर नहीं कर सकता। वे अपने तरीके को भौतिक वाहनों पर परीक्षण करने और वास्तविक दुनिया की अनिश्चितताओं को संभालने के लिए सुरक्षा फ़िल्टर को परिष्कृत करने की योजना बना रहे हैं। वे यह भी पता लगाने का इरादा रखते हैं कि इस सुरक्षा-जागरक दृष्टिकोण को रेसिंग से परे अन्य प्रकार के लर्निंग कार्यों में कैसे लागू किया जा सकता है। अंतिम लक्ष्य ऐसे स्वायत्त सिस्टम बनाना है जो न केवल कठिन कार्यों को करने के लिए स्मार्ट हों, बल्कि अपनी सीमाओं को जानने के लिए पर्याप्त समझदार भी हों। स्वायत्त रेसिंग की उच्च-गति वाली दुनिया में, जहाँ एक रिकॉर्ड-तोड़ने वाले लैप और एक दुर्घटना के बीच का अंतर अक्सर इंचों का मामला होता है, इमिटेशन और सुरक्षा का यह मिश्रण केवल एक तकनीकी सुधार नहीं है; यह स्वायत्त वाहनों को वास्तव में विश्वसनीय बनाने की दिशा में एक आवश्यक कदम है।