CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving
CoIRL-AD एक सहयोगात्मक-प्रतिस्पर्धी ढांचा है जो एंड-टू-एंड स्वायत्त ड्राइविंग की मजबूती और सामान्यीकरण को बढ़ाने के लिए, विशेष रूप से लॉन्ग-टेल परिदृश्यों और क्रॉस-सिटी सेटिंग्स में, लेटेंट वर्ल्ड मॉडल्स के भीतर इमिटेशन और रीइन्फोर्समेंट लर्निंग को एकीकृत करता है, जो उद्देश्यों को अलग करने और ऑफलाइन प्रशिक्षण के लिए इमेजिन्ड रोलआउट्स का लाभ उठाने के माध्यम से किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को सिखा रहे हैं। पारंपरिक रूप से, हमने इसे विशेषज्ञ ड्राइवरों के वीडियो फुटेज के हजारों घंटों को दिखाकर ऐसा किया है और कहा है, "बिल्कुल वैसा ही करो जैसा वे करते हैं।" इसे इमिटेशन लर्निंग (IL) कहा जाता है। यह परिचित सड़कों पर बहुत अच्छा काम करता है, लेकिन यदि कार किसी अजीब या दुर्लभ स्थिति का सामना करती है (जैसे कि किसी ऐसे शहर में हिरण का अचानक सामने आ जाना जिसे उसने पहले कभी नहीं देखा), तो वह अक्सर घबरा जाती है या दुर्घटनाग्रस्त हो जाती है क्योंकि उसने अपने प्रशिक्षण वीडियो में उस विशिष्ट परिदृश्य को कभी नहीं देखा होता।
इसे ठीक करने के लिए, शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (RL) को जोड़ने का प्रयास किया। RL को एक वीडियो गेम की तरह समझें जहाँ कार को सुरक्षित रूप से चलाने के लिए अंक मिलते हैं और टकराने पर अंक कट जाते हैं। कार चीजों को आजमाकर और यह देखकर सीखती है कि क्या होता है।
समस्या:
पेपर एक बड़ी बाधा की ओर इशारा करता है: आप वास्तविक सड़कों पर वास्तविक सेल्फ-ड्राइविंग कारों के साथ आसानी से "वीडियो गेम" नहीं खेल सकते। आप सीखने के लिए उन्हें हजारों बार दुर्घटनाग्रस्त होने के लिए नहीं छोड़ सकते। इसलिए, हमें केवल मौजूदा वीडियो डेटा का उपयोग करके "ऑफलाइन" प्रशिक्षण देना होगा। लेकिन यहाँ एक पेंच है: मौजूदा डेटा लगभग पूरी तरह से परफेक्ट एक्सपर्ट ड्राइविंग से बना है। इसमें "खराब" ड्राइविंग के कोई उदाहरण नहीं हैं जिससे कार सीख सके, और कार नए विकल्पों को आज़माने के लिए भी नहीं जानती क्योंकि उसने कभी उन्हें देखा ही नहीं है। यदि आप बस कार को इस सीमित डेटा पर "रिवॉर्ड सिस्टम" को गेम करने देने देंगे, तो वह अक्सर भ्रमित हो जाती है, अपने कौशल का अतिरंजित अनुमान लगा लेती है और खतरनाक तरीके से चलती है।
समाधान: CoIRL-AD
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे CoIRL-AD कहा जाता है। वे एक चतुर "डुअल-पॉलिसी" दृष्टिकोण का उपयोग करते हैं, जो एक वर्चुअल सिमुलेशन में एक साथ प्रशिक्षित होने वाले दो अलग-अलग ड्राइवरों को काम पर रखने जैसा है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. दो ड्राइवर (डुअल पॉलिसियाँ)
एक दिमाग को सब कुछ करने के बजाय, वे काम को विभाजित करते हैं:
- "स्टूडेंट" ड्राइवर (इमिटेशन): इस ड्राइवर का एकमात्र काम विशेषज्ञ वीडियो की हुबहू नकल करना है। यह सुरक्षित रहता है और नियमों का पालन करता है।
- "एक्सप्लोरर" ड्राइवर (रीइन्फोर्समेंट): इस ड्राइवर को नई चीजें आज़माने की अनुमति है। यह अलग-अलग रास्ते बनाने की कल्पना करता है और केवल नकल करने के बजाय बेहतर तरीके से गाड़ी चलाने के रास्ते खोजने की कोशिश करता है।
2. क्रिस्टल बॉल (लेटेंट वर्ल्ड मॉडल)
चूंकि वे वास्तविक सड़कों पर परीक्षण नहीं कर सकते, इसलिए उन्हें एक सिम्युलेटर की आवश्यकता है। लेकिन एक परफेक्ट 3D सिम्युलेटर बनाना कठिन है। इसके बजाय, उन्होंने एक "क्रिस्टल बॉल" (लेटेंट वर्ल्ड मॉडल) बनाया।
- जब एक्सप्लोरर ड्राइवर सोचता है, "अगर मैं यहाँ बाईं ओर मुड़ूँ, तो क्या होगा?", तो क्रिस्टल बॉल तुरंत भविष्यवाणी करता है कि कुछ सेकंड बाद सड़क कैसी दिखेगी।
- यह एक्सप्लोरर को भविष्य के परिदृश्यों की "कल्पना" करने और यह देखने की अनुमति देता है कि क्या वह दुर्घटनाग्रस्त होगा या सफल होगा, यह सब कंप्यूटर के दिमाग के अंदर, बिना असली कार को छुए।
3. पीछे की ओर सोचना (इनवर्स कॉज़ैलिटी)
आमतौर पर, प्लानिंग स्टेप-बाय-स्टेप की जाती है: "मैं यहाँ जाऊँगा, फिर वहाँ, फिर वहाँ।"
पेपर एक स्मार्ट तरीका सुझाता है: पीछे की ओर सोचें।
कल्पना कीजिए कि आप गाड़ी चला रहे हैं और आप एक गंतव्य देखते हैं। आप तय करते हैं कि आप 3 सेकंड में कहाँ होना चाहते हैं, और फिर आप वहां पहुँचने के लिए पहला कदम तय करते हैं। पेपर ने पाया कि यह "गोल-फर्स्ट" (लक्ष्य-प्रथम) सोच, स्टेप-बाय-स्टेप पद्धति की तुलना में एक्सप्लोरर ड्राइवर को बेहतर और सुचारू रास्ते खोजने में मदद करती है।
4. मैत्रीपूर्ण प्रतिस्पर्धा
यही असली सफलता का मंत्र है। स्टूडेंट और एक्सप्लोरर लगातार एक-दूसरे के खिलाफ प्रतिस्पर्धा करते हैं।
- वे एक-दूसरे के विरुद्ध दौड़ लगाते हैं।
- यदि एक्सप्लोरर ड्राइविंग का एक बेहतर और सुरक्षित तरीका खोज लेता है, तो स्टूडेंट उससे सीखता है।
- यदि एक्सप्लोरर बहुत ज्यादा पागल हो जाता है और खतरनाक तरीके से गाड़ी चलाने लगता है (क्योंकि वह रिवॉर्ड को लेकर भ्रमित है), तो स्टूडेंट एक एंकर की तरह काम करता है, जो एक्सप्लोरर को वापस सुरक्षित, एक्सपर्ट-जैसी व्यवहार की ओर खींच लाता है।
- वे लगातार ज्ञान का आदान-प्रदान करते हैं, लेकिन एक्सप्लोरर को इतना भी भटकने की अनुमति नहीं दी जाती कि वह सुरक्षित रूप से गाड़ी चलाना ही भूल जाए।
परिणाम
जब उन्होंने nuScenes डेटासेट (वास्तविक दुनिया के ड्राइविंग डेटा का एक विशाल संग्रह) पर इसका परीक्षण किया:
- बेहतर सुरक्षा: पिछली विधियों की तुलना में कार में दुर्घटनाएं कम हुईं।
- नए शहर: जब उन्होंने कार को सिंगापुर में प्रशिक्षित किया और बॉस्टन (एक पूरी तरह से अलग शहर) में टेस्ट किया, तो इसने केवल विशेषज्ञों की नकल करने वाले कारों की तुलना में नए वातावरण को बहुत बेहतर तरीके से संभाला।
- दुर्लभ घटनाएँ: "लॉन्ग-टेल" परिदृश्यों (अजीब, दुर्लभ दुर्घटनाओं या बाधाओं) में, कार बहुत अधिक मजबूत (robust) रही।
संक्षेप में:
पेपर कहता है कि एक "सेफ कोपीयर" और एक "रिस्की एक्सप्लोरर" को एक "क्रिस्टल बॉल" सिम्युलेटर के भीतर एक-दूसरे से प्रतिस्पर्धा करने और एक-दूसरे से सीखने के लिए देकर, हम सेल्फ-ड्राइविंग कारों को सुरक्षित और अधिक अनुकूलन योग्य बना सकते हैं, भले ही हमारे पास सीखने के लिए वास्तविक दुनिया के डेटा की सीमित मात्रा ही क्यों न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।