Depth-Wise Probing and Pruning of the Planning Token in a Driving Vision-Language-Action Model
यह शोध पत्र प्रदर्शित करता है कि विजन-लैंग्वेज-एक्शन मॉडल में सिमेंटिक ड्राइविंग इंटेंट (semantic driving intent) को शुरुआती डिकोडर परतों से रैखिक रूप से डिकोड किया जा सकता है, जिससे केवल मामूली प्रक्षेपवक्र त्रुटि (trajectory error) के साथ 1.33 की गति वृद्धि प्राप्त करने के लिए 32 में से 8 परतों को छाँटना (pruning) संभव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। केवल सड़क को देखने और पेडल दबाने के बजाय, यह रोबोट एक विशाल "मस्तिष्क" का उपयोग करता है जो एक विशाल भाषा मॉडल (language model) से बना है—उसी तरह की तकनीक जिसका उपयोग कविताएँ लिखने या सामान्य ज्ञान के प्रश्नों के उत्तर देने के लिए किया जाता है। यह मस्तिष्क सड़क के कैमरा दृश्यों को लेता है, उनके बारे में वैसे ही सोचता है जैसे एक इंसान सोचता है, और फिर एक छोटे, विशिष्ट "प्लानर" (planner) को एक गुप्त निर्देश फुसफुसाता है जो वास्तव में कार को स्टीयर करता है। इस सेटअप को विजन-लैंग्वेज-एक्शन (VLA) मॉडल कहा जाता है। यह अविश्वसनीय रूप से स्मार्ट है, लेकिन इसमें एक पेंच है: ये विशाल मस्तिष्क धीमे होते हैं। इनमें सोचने की दर्जनों परतें (layers) होती हैं, जैसे कि एक लंबी असेंबली लाइन जहाँ एक पैकेज को एक कार्यकर्ता से दूसरे तक पहुँचाया जाता है। तेज़ गति से चलती कार के लिए, सभी 32 कार्यकर्ताओं के अपना काम पूरा करने का इंतज़ार करना बहुत धीमा है; कार को तुरंत प्रतिक्रिया देने की आवश्यकता होती है। बड़ा सवाल वैज्ञानिकों के लिए यह है: क्या हमें वास्तव में सभी 32 कार्यकर्ताओं की आवश्यकता है? या क्या पैकेज कुछ ही स्टॉप के बाद भेजने के लिए तैयार हो जाता है, और बाकी की लाइन केवल अनावश्यक व्यस्तता है?
यह शोध पत्र ठीक उसी प्रश्न की जांच करता है जिसका उपयोग ORION नामक एक विशिष्ट ड्राइविंग मॉडल के माध्यम से किया गया है। शोधकर्ताओं ने रोबोट के "मस्तिष्क" के साथ एक जासूसी कहानी की तरह व्यवहार किया। वे डेटा के एक विशेष, जादुई टुकड़े पर ध्यान केंद्रित कर रहे थे जिसे "प्निंग टोकन" (planning token) कहा जाता है। इस टोकन के बारे में सोचें जो एक छोटा, अदृश्य नोट है जिसे रोबोट स्टीयरिंग व्हील को यह बताने के लिए लिखता है कि उसे कहाँ मुड़ना है। रोबोट का बड़ा मस्तिष्क इस नोट को 32 परतों के माध्यम से संसाधित करता है, हर कदम पर इसे परिष्कृत करता है। शोधकर्ता दो बातें जानना चाहते थे। पहला, क्या नोट में यह विचार मौजूद है कि कहाँ जाना है (जैसे "बाएँ मुड़ें")? दूसरा, क्या नोट में वे सटीक, सटीक निर्देश हैं जिनकी स्टीयरिंग व्हील को सुचारू रूप से चलाने के लिए आवश्यकता है?
उन्होंने एक दिलचस्प विभाजन पाया। कमांड का "विचार" लगभग तुरंत तैयार हो जाता है। मस्तिष्क की पहली परत के बाद ही, रोबोट का आंतरिक नोट कमांड के बारे में 97.7% स्पष्ट है (जैसे "मर्ज करें" या "रुकें")। ऐसा लगता है जैसे रोबोट अपना पहला विचार पूरा करने से पहले ही जानता है कि वह क्या करना चाहता है। हालाँकि, निर्देशों की सटीकता (precision) में बहुत अधिक समय लगता है। यदि आप पहली परत के नोट का उपयोग वास्तव में कार चलाने के लिए करते, तो यह एक आपदा होती, क्योंकि यह लक्ष्य से बहुत दूर निकल जाता। नोट केवल तभी पर्याप्त सटीक होता है जब वह सभी 32 परतों से गुजर चुका हो, और अंत में अपनी सर्वोत्तम सटीकता तक पहुँचता है।
लेकिन यहाँ चतुराई वाला हिस्सा है: शोधकर्ताओं ने महसूस किया कि केवल इसलिए कि शुरुआती परतों में नोट अव्यवस्थित दिखता है, इसका मतलब यह नहीं है कि जानकारी वहाँ मौजूद नहीं है। इसका मतलब केवल यह है कि नोट एक ऐसे "कोड" में लिखा गया है जिसे स्टीयरिंग व्हील अभी तक समझ नहीं पा रहा है। जब उन्होंने एक विशेष डिकोडर का उपयोग करके शुरुआती नोट्स का अनुवाद करने की कोशिश की, तो उन्होंने पाया कि जानकारी वास्तव में मौजूद थी, बस सही प्रारूप में नहीं थी।
तो, क्या हम कार को तेज़ बनाने के लिए बीच के कार्यकर्ताओं को हटा सकते हैं? टीम ने मस्तिष्क की असेंबली लाइन से परतों को हटाकर इसका परीक्षण किया। उन्होंने पाया कि सभी परतें समान रूप से महत्वपूर्ण नहीं हैं। कुछ परतें नोट को बिल्कुल नहीं बदलतीं; वे बस उसे थोड़ा घुमा देती हैं बिना कोई नया अर्थ जोड़े। उन 8 परतों की पहचान करके और उन्हें हटाकर जो सबसे कम "घुमाव" (spinning) करती थीं, वे मस्तिष्क को 32 परतों से घटाकर 24 परतें कर सके। इससे कार पूरी तरह से खराब तो नहीं हुई, लेकिन इसने ड्राइविंग त्रुटि को केवल लगभग 5% तक बढ़ाया। परिणाम? मस्तिष्क 1.33 गुना तेज़ हो गया।
शोध पत्र निष्कर्ष निकालता है कि हालांकि हम दुर्घटना होने के बिना मस्तिष्क के आधे हिस्से को नहीं काट सकते, लेकिन हम अनावश्यक भाग को निश्चित रूप से कम कर सकते हैं। यह समझकर कि "विचार" जल्दी आता है लेकिन "सटीकता" देर से आती है, और बीच के अनावश्यक चरणों को हटाकर, हम इन स्मार्ट ड्राइविंग रोबोटों को उनकी सुरक्षा खोए बिना तेज़ बना सकते हैं। यह इस प्रकार के रोबोट मस्तिष्क के लिए एक मापा गया, विशिष्ट निष्कर्ष है, जो सुझाव देता है कि सही छंटनी (pruning) के साथ, हमारे पास जल्द ही ऐसे AI ड्राइवर हो सकते हैं जो बुद्धिमान और तेज़ दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।