Adaptive Control in Autonomous Driving via Real-Time Recurrent RL
यह शोध पत्र स्वायत्त ड्राइविंग के लिए एक अनुकूली नियंत्रण ढांचे (adaptive control framework) को प्रस्तुत करता है जो ऑफलाइन बिहेवियरल क्लोनिंग को LrcSSM का उपयोग करके ऑनलाइन रियल-टाइम रिकरेंट रीइन्फोर्समेंट लर्निंग (RTRRL) फाइन-ट्यूनिंग के साथ जोड़ता है, जो कार रेसिंग सिमुलेशन और इवेंट कैमरा से लैस 1:10-स्केल रोबोरेसर प्लेटफॉर्म पर वास्तविक दुनिया के प्रयोगों, दोनों में वितरण बदलावों (distribution shifts) के प्रति बेहतर नीति अनुकूलन को सफलतापूर्वक प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक रोबोट कार को मानव चालक के हजारों घंटों के वीडियो दिखाकर गाड़ी चलाना सिखाया है। आपने यह एक सिम्युलेटर में और फिर एक छोटे वास्तविक ट्रैक पर किया है। अब रोबोट "प्री-ट्रेन्ड" (पूर्व-प्रशिक्षित) है। वह ठीक से गाड़ी चलाना जानता है... उन सटीक परिस्थितियों में जिनमें उसे सिखाया गया था।
लेकिन यहाँ एक समस्या है: वास्तविक दुनिया अव्यवस्थित होती है। सूरज की रोशनी कैमरे में चमक सकती है, सड़क थोड़ी अलग हो सकती है, या स्टीयरिंग व्हील थोड़ा बाईं ओर अटक सकता है। अतीत में, यदि रोबोट को ऐसी स्थितियों का सामना करना पड़ता था, तो वह घबरा जाता था और दुर्घटनाग्रस्त हो जाता था क्योंकि वह अनुकूलित नहीं हो पाता था। यह एक ऐसे छात्र की तरह था जिसने एक विशिष्ट परीक्षा के उत्तर रट लिए हों, लेकिन यदि शिक्षक प्रश्न में एक शब्द भी बदल दे, तो वह तुरंत असफल हो जाता है।
यह शोध पत्र रोबोट को सिखाने का एक नया तरीका पेश करता है: रियल-टाइम रिकरेंट रीइन्फोर्समेंट लर्निंग (RTRRL)।
मुख्य विचार: ड्राइविंग करते हुए सीखना
पारंपरिक प्रशिक्षण को एक फाइनल परीक्षा के लिए पढ़ाई करने की तरह समझें। आप किताब पढ़ते हैं, नोट्स लेते हैं, और फिर परीक्षा देते हैं। यदि आपसे कोई प्रश्न गलत हो जाता है, तो आपको वापस लाइब्रेरी जाना पड़ता है, पूरा अध्याय फिर से पढ़ना पड़ता है, और फिर से परीक्षा देनी पड़ती है। यह धीमा है और इसमें बहुत अधिक मेमोरी की आवश्यकता होती है।
RTRRL अलग है। यह उस छात्र की तरह है जो परीक्षा देते समय ही सीखता है।
- "रिवाइंड" बटन नहीं: आमतौर पर, अपनी गलती से सीखने के लिए, एक कंप्यूटर को यह देखने के लिए समय को "पीछे" (rewind) ले जाना पड़ता है कि उसने वास्तव में क्या गलत किया था (एक प्रक्रिया जिसे बैकप्रोपैगेशन थ्रू टाइम कहा जाता है)। यह भारी और धीमा है।
- "फॉरवर्ड-ओनली" दृष्टिकोण: यह नया तरीका उस ड्राइवर की तरह है जो कार के भटकने को महसूस करते ही तुरंत सुधार करता है, बिना पिछले एक मिनट की ड्राइविंग को अपने दिमाग में दोबारा चलाने की आवश्यकता के। यह हर एक क्षण में, हर एक कदम पर अपने "मस्तिष्क" (पॉलिसी) को अपडेट करता है।
नया "मस्तिष्क" मॉडल: LrcSSM
शोधकर्ताओं ने न केवल नए सीखने के तरीके का उपयोग किया; उन्होंने रोबोट के "मस्तिष्क" आर्किटेक्चर को भी अपग्रेड किया।
- पुराना मस्तिष्क (LRU): कल्पना करें कि एक मस्तिष्क जो केवल सीधी रेखाओं में सोचता है। यह तेज़ और कुशल है, लेकिन यदि सड़क तेजी से मुड़ती है या रोशनी अचानक बदल जाती है, तो एक सीधी-रेखा सोचने वाला भ्रमित हो जाता है।
- नया मस्तिष्क (LrcSSM): यह एक "बायो-इंस्पायर्ड" (जैविक रूप से प्रेरित) मस्तिष्क है। यह एक जीवित जीव की तरह है जो देखे गए दृश्यों के आधार पर अपने आंतरिक तर्क को मोड़ और अनुकूलित कर सकता है। यह पुराने मस्तिष्क की गति बनाए रखता है लेकिन जटिल, गैर-रेखीय स्थितियों (जैसे प्रकाश में अचानक परिवर्तन या स्टीयरिंग) को संभालने की क्षमता भी जोड़ता है।
प्रयोग: दो ट्रैक
टीम ने इसका परीक्षण दो बहुत अलग ट्रैक्स पर किया:
- वीडियो गेम ट्रैक (CarRacing): उन्होंने सामान्य कैमरा इमेज के साथ एक मानक सिम्युलेटर का उपयोग किया। उन्होंने रोबोट को गाड़ी चलाना सिखाया, फिर उसे अपने आप चलाने दिया। जब उन्होंने एक "ग्लिच" (जैसे स्टीयरिंग संवेदनशीलता बदलना) पेश किया, तो नए तरीके का उपयोग करने वाले रोबोट ने तेजी से इसकी भरपाई करना सीख लिया और सुचारू रूप से गाड़ी चलाता रहा। पुराने तरीके संघर्ष करते रहे या विफल रहे।
- वास्तविक दुनिया का ट्रैक (RoboRacer): यह सबसे बड़ा परीक्षण है। उन्होंने रोबोट को एक लैब में 1:10 स्केल की रेसकार पर रखा। एक सामान्य कैमरे के बजाय, उन्होंने एक इवेंट कैमरा (Event Camera) का उपयोग किया।
- उपमा: एक सामान्य कैमरा एक सेकंड में 60 बार फोटो लेता है, भले ही कुछ भी हिल न रहा हो। एक इवेंट कैमरा एक तंत्रिका तंत्र की तरह है; यह केवल तभी "फायर" करता है जब कुछ बदलता है (जैसे किसी पिक्सेल का चमकीला या गहरा होना)। यह अविश्वसनीय रूप से तेज़ है और गति को पहचानने में सक्षम है।
- रोबोट को केवल इन "इवेंट्स" का उपयोग करके फर्श पर बनी रेखा का पीछा करना था। जब शोधकर्ताओं ने स्टीयरिंग के साथ छेड़छाड़ की या तेज रोशनी चमकाई (सूरज की रोशनी का अनुकरण करने के लिए), तो रोबोट का प्रदर्शन गिरा, लेकिन फिर वह वास्तविक समय में अनुकूलित हुआ और ग्लिच से पहले की तुलना में बेहतर ड्राइविंग करने लगा।
बड़ी सीख
यह पेपर सिद्ध करता है कि आपको अपनी गलतियों को ठीक करने के लिए रोबोट को रोकने, उसे शून्य से फिर से प्रशिक्षित करने, या उसे विशाल नए डेटासेट खिलाने की आवश्यकता नहीं है।
बिहेवियरल क्लोनिंग (पहले मानव डेमो से सीखना) को रियल-टाइम ऑनलाइन लर्निंग (ड्राइविंग करते समय तुरंत तालमेल बिठाना) के साथ जोड़कर, रोबोट अप्रत्याशित स्थितियों को संभाल सकता है। यह एक ऐसे रोबोट के बीच का अंतर है जो एक कठोर, रटी-रटाई स्क्रिप्ट है और एक लचीले, अनुकूलनशील ड्राइवर के बीच का अंतर है जो सड़क के हर झटके से तुरंत सीखता है।
पेपर के मुख्य दावे:
- यह पहली बार है जब इस विशिष्ट "ऑनलाइन लर्निंग" पद्धति को इवेंट कैमरों का उपयोग करके वास्तविक दुनिया के रोबोट पर सफलतापूर्वक प्रदर्शित किया गया है।
- नए "LrcSSM" मस्तिष्क मॉडल ने सबसे अच्छा काम किया, इसने पुराने मॉडलों की तुलना में तेजी से और अधिक निरंतर रूप से अनुकूलन किया।
- यह सिस्टम मानक कंप्यूटर हार्डवेयर पर काम करता है (विशेषज्ञ, महंगे सुपर-कंप्यूटर नहीं), जिससे यह वास्तविक कारों और रोबोटों के लिए व्यवहार्य हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।