CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving
CLEAR एक विषम सिमुलेशन पाइपलाइन का उपयोग करके प्रीट्रेन्ड विजन-लैंग्वेज-एक्शन मॉडल्स पर एक रेसिडुअल वेपॉइंट पॉलिसी को प्रशिक्षित करने वाले एंड-टू-एंड ऑटोनॉमस ड्राइविंग के लिए एक स्केलेबल क्लोज्ड-लूप रीइन्फोर्समेंट लर्निंग फ्रेमवर्क पेश करता है, जो पारंपरिक इमिटेशन लर्निंग की डिस्ट्रीब्यूशन शिफ्ट सीमाओं को पार करके चुनौतीपूर्ण बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को सिखा रहे हैं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका इमिटेशन लर्निंग (Imitation Learning) था। इसे ऐसे समझें जैसे एक छात्र ड्राइवर एक आदर्श विशेषज्ञ द्वारा चलाई जा रही कार की पिछली सीट पर बैठा हो। छात्र बस वही करता है जो विशेषज्ञ करता है। यदि विशेषज्ञ बाएं मुड़ता है, तो छात्र भी बाएं मुड़ता है।
समस्या क्या है? यह केवल एक "क्लोज्ड बुक" टेस्ट की तरह काम करता है। यदि छात्र ऐसी स्थिति देखता है जो विशेषज्ञ ने उसे कभी नहीं दिखाई, या यदि छात्र कोई छोटी सी गलती करता है, तो वह भ्रमित हो जाता है। वास्तविक दुनिया में (या एक जटिल सिमुलेशन में), एक छोटी सी गलती दुर्घटना का कारण बन सकती है, और छात्र को यह नहीं पता होता कि कैसे सुधार करना है क्योंकि उसे केवल नकल करने के लिए सिखाया गया था, न कि सोचने या अनुकूलन करने के लिए।
हाल ही में, शोधकर्ताओं ने विज़न-लैंग्वेज-एक्शन (VLA) मॉडल का उपयोग करना शुरू किया है। ये सुपर-स्मार्ट ड्राइविंग इंस्ट्रक्टर्स की तरह हैं जो एक साथ सड़क को "देख" सकते हैं, ट्रैफिक संकेतों को "पढ़" सकते हैं, और ड्राइविंग कमांड्स को "बोल" सकते हैं। लेकिन ये स्मार्ट इंस्ट्रक्टर्स भी ज्यादातर "विशेषज्ञ की नकल करने" वाले तरीके से प्रशिक्षित किए गए थे, जिससे वे चीजें बिगड़ने पर असुरक्षित हो जाते हैं।
पेश है CLEAR।
बड़ा विचार: "रेसिड्यूअल" कोच (The "Residual" Coach)
इस पेपर के लेखकों ने इस समस्या को ठीक करने के लिए CLEAR नामक एक सिस्टम बनाया है। केवल नकल करने के बजाय, उन्होंने AI को एक कोच बनने के लिए सिखाया जो एक ट्रेनी (प्रशिक्षु) को सही करता है।
- प्रीट्रेनड "ट्रेनी" (The Pretrained "Trainee"): सबसे पहले, वे एक बहुत ही स्मार्ट VLA मॉडल (ट्रेनी) लेते हैं और उसे विशेषज्ञ ड्राइविंग डेटा के एक विशाल पुस्तकालय का उपयोग करके बुनियादी बातें सिखाते हैं। यह ट्रेनी एक सामान्य पथ की भविष्यवाणी करने में अच्छा है, जैसे कि एक GPS कहता है, "500 फीट में बाएं मुड़ें।"
- "कोच" (RL): फिर, वे रीइन्फोर्समेंट लर्निंग (RL) पेश करते हैं। कल्पना कीजिए कि एक कोच ट्रेनी के बगल में खड़ा है। ट्रेनी एक भविष्यवाणी (आधार पथ/base path) करता है, और कोच कहता है, "वास्तव में, उस गड्ढे से बचने के लिए थोड़ा और बाईं ओर मुड़ें।"
- AI शून्य से ड्राइविंग सीखना नहीं सीखता है (क्योंकि इसमें बहुत अधिक कंप्यूटर पावर लगेगी)।
- इसके बजाय, यह एक रेसिड्यूअल पॉलिसी (residual policy) सीखता है। यह एक अच्छे प्लान और एक परफेक्ट प्लान के बीच के अंतर को सीखने जैसा है। यह केवल उन छोटे "सुधारों" को सीखता है जिनकी आवश्यकता ट्रेनी की गलतियों को ठीक करने के लिए होती है।
"हेटरोजीनियस पाइपलाइन": ट्रैफिक जाम को सुलझाना
इन AI कोचों को प्रशिक्षित करने के लिए अविश्वसनीय रूप से डेटा की आवश्यकता होती है। उन्हें सिखाने के लिए आपको लाखों ड्राइविंग सिमुलेशन चलाने होंगे।
यहाँ बाधा (bottleneck) है:
- सिमुलेटर (सड़क): एक यथार्थवादी ड्राइविंग सिमुलेटर (जैसे CARLA) चलाना कंप्यूटर ग्राफिक्स पर भारी होता है। यह एक हाई-एंड वीडियो गेम चलाने जैसा है।
- लर्नर (मस्तिष्क): AI मॉडल भी बहुत बड़ा होता है और सोचने के लिए शक्तिशाली ग्राफिक्स कार्ड (GPUs) की आवश्यकता होती है।
यदि आप सिमुलेटर और मस्तिष्क को एक ही कंप्यूटर पर चलाने की कोशिश करते हैं, तो वे ग्राफिक्स कार्ड के लिए आपस में लड़ते हैं। यह एक ही छोटे जिम में एक साथ मैराथन दौड़ने और भारी वेटलिफ्टिंग प्रतियोगिता चलाने की कोशिश करने जैसा है; सब कुछ धीमा हो जाता है या क्रैश हो जाता है।
CLEAR का समाधान: उन्होंने एक हेटरोजीनियस पाइपलाइन (heterogeneous pipeline) बनाई।
- उन्होंने सिमुलेटर्स (सड़कें) को पुराने, सस्ते कंप्यूटरों के एक सेट पर रखा।
- उन्होंने AI ब्रेन (लर्नर) को कंप्यूटरों के एक अलग, सुपर-पावरफुल क्लस्टर पर रखा।
- उन्होंने उन्हें एक डिजिटल टनल (SSH) के साथ जोड़ा।
यह रिमोट रेस ट्रैक्स (सिमुलेटर्स) के एक बेड़े के समान है जो एक केंद्रीय मुख्यालय (ब्रेन) को डेटा भेज रहे हैं। ट्रैक्स को फैंसी होने की आवश्यकता नहीं है; उन्हें बस चलना चाहिए। ब्रेन को बिना किसी रुकावट के सारा डेटा मिल जाता है क्योंकि उसे ग्राफिक्स रेंडरिंग के लिए संघर्ष नहीं करना पड़ता। इसने उन्हें एक साथ 64 सिमुलेशन चलाने और 100 मिलियन सैंपल पर प्रशिक्षण लेने की अनुमति दी।
परिणाम: "विफलता" से "जीत" तक
इस पेपर ने कुछ बहुत कठिन ड्राइविंग चुनौतियों (जैसे "longest6" और "Bench2Drive" बेंचमार्क) पर इस सिस्टम का परीक्षण किया।
- CLEAR से पहले: पिछले तरीके, यहाँ तक कि स्मार्ट वाले भी, इन कठिन मार्गों पर लगभग 100% बार विफल हो जाते थे। वे क्रैश हो जाते थे या फंस जाते थे क्योंकि वे छोटी गलतियों से उबर नहीं पाते थे।
- CLEAR के साथ: सिस्टम ने अपनी गलतियों को सुधारना सीख लिया। इसने केवल एक स्क्रिप्ट का पालन नहीं किया; इसने बाधाओं के चारों ओर नेविगेट करना और जटिल ट्रैफिक को संभालना सीखा।
- एक बेंचमार्क पर, सफलता दर 0% (कुल विफलता) से बढ़कर 25% हो गई।
- दूसरे पर, इसने ड्राइविंग दक्षता और सुरक्षा में सभी पिछले तरीकों को पीछे छोड़ते हुए अब तक के उच्चतम स्कोर हासिल किए।
सारांश
CLEAR को एक स्मार्ट लेकिन कठोर छात्र ड्राइवर को देने, उसे एक सुपर-स्मार्ट कोच देने के लिए समझें जो उसे तब सही दिशा में धकेलता है जब वह भटकने लगता है, और एक विशाल, वितरित प्रशिक्षण सुविधा बनाने के लिए समझें ताकि वह कंप्यूटर क्रैश हुए बिना लाखों मील का अभ्यास कर सके। परिणाम एक ऐसा सेल्फ-ड्राइविंग सिस्टम है जो सड़क की अव्यवस्थित और अप्रत्याशित वास्तविकता को संभालने में काफी बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।