On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning
यह शोध पत्र प्रदर्शित करता है कि ऑन-पॉलिसी जनरलाइज्ड नॉलेज डिस्टिलेशन (on-policy generalized knowledge distillation), एक बड़े लैंग्वेज मॉडल टीचर से काफी छोटे स्टूडेंट मॉडल तक मोशन प्लानिंग क्षमताओं को प्रभावी ढंग से स्थानांतरित करता है, जो सुदृढीकरण शिक्षण (reinforcement learning) बेसलाइन्स से बेहतर प्रदर्शन करता है और स्वायत्त वाहन परिनियोजन के लिए nuScenes बेंचमार्क पर टीचर के निकटतम प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक युवा, उत्साही प्रशिक्षु (छात्र) को एक सेल्फ-ड्राइविंग कार चलाना सिखा रहे हैं। आपके पास एक विश्व स्तरीय, जीनियस प्रशिक्षक (शिक्षक) है जो सड़क के हर नियम को जानता है, सटीक रूप से अनुमान लगा सकता है कि पैदल यात्री कहाँ कदम रखेंगे, और किसी भी बाधा के चारों ओर एक आदर्श, सुगम रास्ता बना सकता है।
समस्या क्या है? वह जीनियस प्रशिक्षक एक विशाल, भारी सुपरकंप्यूटर है। वह इतना बड़ा और महंगा है कि एक वास्तविक कार में फिट नहीं हो सकता। हालाँकि, प्रशिक्षु छोटा, तेज़ और इतना सस्ता है कि कार के डैशबोर्ड में फिट हो सके।
लक्ष्य यह पता लगाना है कि जीनियस प्रशिक्षक के ड्राइविंग कौशल को छोटे प्रशिक्षु में सबसे अच्छे तरीके से कैसे स्थानांतरित किया जाए ताकि कार अपने आप सुरक्षित रूप से चल सके।
दो शिक्षण विधियाँ
शोधकर्ताओं ने प्रशिक्षु को सिखाने के दो अलग-अलग तरीकों का परीक्षण किया।
1. "अनुमान और जाँच" विधि (Reinforcement Learning / RL)
कल्पना कीजिए कि प्रशिक्षु एक मार्ग पर गाड़ी चलाने की कोशिश करता है। उनके पूरा होने के बाद, जीनियस प्रशिक्षक उनके रास्ते को देखता है और कहता है, "आपने दूसरे मोड़ पर गलती की। आपको थोड़ा और बाईं ओर मुड़ना चाहिए था।"
- यह कैसे काम करता है: प्रशिक्षक केवल उन विशिष्ट मोड़ों पर फीडबैक देता है जो प्रशिक्षु ने वास्तव में लिए थे। यह एक शिक्षक की तरह है जो एक परीक्षा को केवल उन उत्तरों को देखकर ग्रेड करता है जो छात्र ने लिखे हैं, बिना उन्हें उन सवालों के सही जवाब दिखाए जिन्हें उन्होंने गलत किया है।
- दोष: यदि प्रशिक्षु शुरुआत में एक छोटी सी गलती करता है (जैसे, थोड़ा ज्यादा चौड़ा मुड़ना), तो अगला मोड़ आंकना कठिन हो जाता है। क्योंकि प्रशिक्षक केवल उस विशिष्ट गलती के अंतिम परिणाम को देखता है, प्रशिक्षु गलतियों को जोड़ता जाता है। यह केवल तब सुधार पाने की कोशिश करने जैसा है जब आप पहले ही गिर चुके हों।
2. "परछाईं" विधि (On-Policy Distillation / GKD)
यही वह विधि है जिसका यह पेपर समर्थन करता है। कल्पना कीजिए कि प्रशिक्षु कार चला रहा है, लेकिन जीनियस प्रशिक्षक उनके ठीक बगल में बैठा है, हर एक सेकंड उनके कान में फुसफुसा रहा है।
- यह कैसे काम करता है: जैसे ही प्रशिक्षु पहिया घुमाने का निर्णय लेता है, प्रशिक्षक केवल यह नहीं कहता कि "अच्छा" या "बुरा"। इसके बजाय, प्रशिक्षक कहता है, "यदि आप बाईं ओर मुड़ते हैं, तो 90% संभावना है कि वह एकदम सही होगा। यदि आप दाईं ओर मुड़ते हैं, तो 10% संभावना है कि वह ठीक है, लेकिन यदि आप सीधे जाते हैं, तो इसकी 0% संभावना है।"
- जादू: प्रशिक्षु न केवल यह सीखता है कि क्या करना है, बल्कि हर संभावित चाल की संभावना भी सीखता है। वे सही रास्ते के "आकार" को समझते हैं। भले ही प्रशिक्षु एक छोटी सी गलती करे, प्रशिक्षक का "क्या हो सकता था" का विस्तृत मानचित्र उन्हें तुरंत रास्ता सुधारने में मदद करता है, न कि नियंत्रण से बाहर होने देता है।
प्रयोग: दौड़
शोधकर्ताओं ने एक प्रसिद्ध ड्राइविंग डेटासेट (nuScenes) पर एक विशाल "शिक्षक" मॉडल (8 बिलियन मस्तिष्क कोशिकाएं) और एक छोटे "छात्र" मॉडल (1.7 बिलियन मस्तिष्क कोशिकाएं) का उपयोग करके एक दौड़ आयोजित की।
- शिक्षक: लगभग शून्य त्रुटि के साथ लक्ष्य पथ पर चलते हुए बिल्कुल सही ड्राइविंग की।
- RL छात्र (अनुमान और जाँच): ठीक-ठाक चला, लेकिन बड़ी गलतियाँ कीं। यह शिक्षक की तुलना में लगभग 50% खराब था। यह रास्ते से भटकने लगा, विशेष रूप से लंबी यात्राओं पर, क्योंकि इसकी शुरुआती गलतियाँ बढ़ती गईं।
- GKD छात्र (परछाईं): लगभग बिल्कुल शिक्षक की तरह चला। भले ही यह 5 गुना छोटा था, यह विशाल शिक्षक की तुलना में केवल 5% कम सटीक था। यह सुरक्षित रहा, टक्करों से बचा और सड़क पर सुचारू रूप से चलता रहा।
"परछाईं" विधि क्यों जीती?
ड्राइविंग निर्देशांकों (जैसे "3.5 मीटर बाईं ओर मुड़ें") को संख्याओं के एक क्रम के रूप में सोचें।
- RL विधि एक ऐसे शिक्षक की तरह है जो आपको केवल बताता है, "संख्या 3 अच्छी है।" यह आपको यह नहीं बताता कि 3.1 या 3.2 भी अच्छी हैं, या 9 बहुत खराब है।
- GKD विधि एक ऐसे शिक्षक की तरह है जो आपको पूरा स्पेक्ट्रम दिखाता है: "3 महान है, 3.1 महान है, 3.2 ठीक है, लेकिन 9 असंभव है।"
क्योंकि ड्राइविंग के लिए सटीक, निरंतर संख्याओं की आवश्यकता होती है, इसलिए जो संभव है उसके पूरे चित्र को देखना प्रशिक्षु को कार के भौतिक विज्ञान को बहुत बेहतर तरीके से समझने में मदद करता है, बजाय केवल एक एकल "अच्छे" उत्तर को देखने के।
मुख्य निष्कर्ष
यह पेपर साबित करता है कि आपको कार चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। आप एक बहुत बुद्धिमान AI ले सकते हैं, उसे कार के डैशबोर्ड में फिट होने के लिए सिकोड़ सकते हैं, और उसे विशाल संस्करण जितना ही अच्छा चलाने के लिए सिखा सकते हैं—लेकिन केवल तभी जब आप उसे सही तरीके से सिखाएं।
"परछाईं" विधि (On-Policy Distillation) का उपयोग करके, छोटा छात्र सड़क को उसी तरह देखना सीखता है जैसे विशेषज्ञ देखता है, जिससे यह सेल्फ-ड्राइविंग कारों के भविष्य के लिए एक सुरक्षित, व्यावहारिक और किफायती समाधान बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।