Driving Intents Amplify Planning-Oriented Reinforcement Learning
यह शोध पत्र DIAL को प्रस्तुत करता है, जो एक दो-चरणीय ढांचा (framework) है जो निरंतर-एक्शन ड्राइविंग नीतियों में मोड कोलैप्स (mode collapse) को दूर करने के लिए इंटेंट-कंडीशन्ड फ्लो मैचिंग को मल्टी-इंटेंट प्रेफरेंस RL के साथ जोड़ता है, जिससे वे प्रदर्शन में पूर्ववर्ती स्टेट-ऑफ-द-आर्ट मॉडल्स और मानव-संचालित प्रदर्शनों (human-driven demonstrations) दोनों को पछाड़ने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को एक व्यस्त सड़क पर मानव चालक द्वारा गाड़ी चलाने का वीडियो दिखाकर उसे सिखा रहे हैं। इस दृष्टिकोण के साथ समस्या यह है कि वीडियो केवल एक तरीका दिखाता है जो इंसान ने चुना था। हो सकता है कि उन्होंने जल्दी ब्रेक लगाया हो, शायद लेन बदली हो, या शायद थोड़ा तेज गति से गाड़ी चलाई हो। लेकिन वीडियो उन अन्य वैध विकल्पों को नहीं दिखाता जो उस समय संभव भी थे।
यदि आप कंप्यूटर को केवल उस एक वीडियो की नकल करने के लिए प्रशिक्षित करते हैं, तो वह एक ही ढर्रे में "फँस" जाता है। वह केवल वही करना सीख जाता है जो उसने देखा, और उन सभी अन्य सुरक्षित और समझदारी भरी स्थितियों को छोड़ देता है जो संभव थीं। लेखक इसे "मोड कोलैप्स" (mode collapse) कहते हैं। यह एक ऐसे छात्र की तरह है जिसने गणित के एक सवाल का एक विशिष्ट उत्तर रट लिया है, लेकिन जब संख्याएँ थोड़ी बदल जाती हैं, तो वह विफल हो जाता है क्योंकि उसने कभी अंतर्निहित तर्क या अन्य संभावित समाधानों को नहीं सीखा।
यहाँ बताया गया है कि कैसे इस पेपर की नई विधि, जिसे DIAL कहा जाता है, इन दो चतुर चरणों का उपयोग करके इस समस्या को ठीक करती है:
समस्या: "एक ही दिशा में सोचने वाली मानसिकता" (The "One-Track Mind")
पुराने तरीके (सुपरवाइज्ड फाइन-ट्यूनिंग या SFT) में, AI एक दृश्य को देखता है और पथ का अनुमान लगाने की कोशिश करता है। क्योंकि उसने प्रशिक्षण डेटा में केवल एक ही पथ देखा था, इसलिए उसके सभी अनुमान उस एकल रेखा के इर्द-गिर्द बहुत करीब से क्लस्टर (समूहित) हो जाते हैं।
- उपमा: कल्पना कीजिए कि आप एक शेफ को एक विशिष्ट रेसिपी दिखाने के बाद उसे कोई व्यंजन पकाने के लिए कहते हैं। यदि आप उससे "100 विविधताओं" के लिए पूछते हैं, तो वह आपको उसी एक ही व्यंजन के 100 थोड़े अलग संस्करण ही देगा। वे कभी भी पूरी तरह से अलग स्वाद (जैसे पास्ता से सूप में बदलना) आज़माने के बारे में नहीं सोचेंगे क्योंकि उन्हें कभी बताया ही नहीं गया कि वे विकल्प मौजूद थे।
- परिणाम: भले ही आप 128 अनुमानों में से "सर्वश्रेष्ठ" को चुनें, उनमें से कोई भी मूल मानव चालक के वीडियो से बेहतर नहीं होता। AI एक जाल में फँसा हुआ है।
समाधान: DIAL (ड्राइविंग-इंटेंट-एम्प्लीफाइड लर्निंग)
लेखक इस जाल को तोड़ने के लिए दो-चरणीय प्रशिक्षण प्रक्रिया पेश करते हैं।
चरण 1: "इरादों का मेनू" (The "Menu of Intentions")
केवल AI से यह पूछने के बजाय कि "मुझे कौन सा रास्ता लेना चाहिए?", वे पहले उससे 8 विशिष्ट विकल्पों के मेनू में से एक ड्राइविंग इंटेंट (इरादा/ड्राइविंग का उद्देश्य) चुनने के लिए कहते हैं: क्रूज (Cruise), लेफ्ट लेन बदलना, राइट लेन बदलना, लेफ्ट टर्न, राइट टर्न, यू-टर्न, एक्सीलरेट (गति बढ़ाना), या डिकेलरेट (गति कम करना)।
- उपमा: इसे शेफ को खाना बनाना शुरू करने से पहले अलग-अलग शैलियों का एक मेनू देने के रूप में सोचें। "आज, हम एक तीखा स्टिर-फ्राई बना रहे हैं," या "आज, हम एक क्रीमी सूप बना रहे हैं।"
- यह कैसे काम करता है: AI को उस विशिष्ट इरादे के आधार पर एक पथ उत्पन्न करने के लिए प्रशिक्षित किया जाता है। यदि इरादा "लेफ्ट टर्न" है, तो वह बाएँ मुड़ने वाला पथ बनाता है। यदि यह "एक्सीलरेट" है, तो वह तेज़ गति वाला पथ बनाता है।
- जादू: इन अलग-अलग श्रेणियों में सोचने के लिए मजबूर करके, यह AI को एक ही रेखा के इर्द-गिर्द क्लस्टर होने से रोकता है। यह व्यवहार के विभिन्न "बेसिनों" (basins) को एक्सप्लोर करना सीखता है। अचानक, जब आप 128 विविधताएं मांगते हैं, तो आपको एक ही चीज़ के 128 कॉपी नहीं, बल्कि 128 अलग-अलग प्रकार के ड्राइविंग पैंतरे मिलते हैं।
- परिणाम: केवल ऐसा करने से ही, AI का सबसे अच्छा अनुमान मूल मानव वीडियो से बेहतर हो जाता है, क्योंकि इसने अंततः उन विकल्पों को खोज लिया जिन्हें मानव वीडियो ने नहीं दिखाया था।
चरण 2: "स्वाद परीक्षण" (The "Taste Test" - Reinforcement Learning)
अब जब AI के पास विविध विकल्पों का मेनू है, तो उन्हें यह सिखाने की आवश्यकता है कि वास्तव में कौन सा सर्वश्रेष्ठ है। वे Multi-Intent GRPO नामक प्रणाली का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि एक फूड क्रिटिक (रेट करने वाला) शेफ द्वारा बनाए गए सभी 16 व्यंजनों (8 शैलियों में से प्रत्येक के 2) का स्वाद ले रहा है। क्रिटिक केवल यह नहीं चुनता कि कौन सा मूल रेसिपी जैसा दिखता है; वह उसे चुनता है जिसका स्वाद सबसे अच्छा होता है।
- बचाया गया जाल: यदि शेफ ने केवल 16 "स्पाइसी स्टिर-फ्राई" के संस्करण ही बनाए, तो क्रिटिक यह नहीं बता पाएगा कि "स्पाइसी स्टिर-फ्राई" वास्तव में "क्रीमी सूप" से बेहतर है या नहीं। तुलना अनुचित है।
- समाधान: DIAL शेफ को हर एक सीन के लिए हर शैली के 2 संस्करण बनाने के लिए मजबूर करता है (लेफ्ट टर्न, राइट टर्न, एक्सीलरेट, आदि)। इसके बाद क्रिटिक उन सभी की तुलना करता है। यह AI को सिखाता है: "ओह, इस विशिष्ट ट्रैफिक जाम में, 'डिकेलरेट' शैली को सबसे अधिक रेटिंग दी गई थी, न कि 'एक्सीलरेट' शैली को।"
- परिणाम: AI यह चुनना सीख जाता है कि स्थिति के लिए सही इंटेंट (इरादा) क्या है, न कि केवल एक पथ की नकल करना। यह उस विविधता को बनाए रखता है जो उसने चरण 1 में सीखी थी, बजाय इसके कि वह वापस एक ही आदत में सिमट जाए।
अंतिम स्कोर
इस पेपर का परीक्षण एक वास्तविक दुनिया के ड्राइविंग डेटासेट (Waymo) पर किया गया।
- पुराने तरीके: 128 अनुमानों के साथ भी, वे जो भी सर्वश्रेष्ठ कर सकते थे, वह मूल मानव ड्राइवर के वीडियो से थोड़ा ही बेहतर था।
- DIAL: "इंटेंट मेनू" और "फेयर टेस्ट टेस्ट" का उपयोग करके, AI का सबसे अच्छा अनुमान मानव ड्राइवर के वीडियो से अधिक स्कोर करता है। यह 9.14 के स्कोर तक पहुँच गया (एक ऐसे स्केल पर जहाँ मानव 8.13 था), जो यह साबित करता है कि AI ने उन बेहतर तरीकों को खोज लिया जो मूल रूप से रिकॉर्ड किए गए मानव से भी बेहतर थे।
सारांश
यह पेपर तर्क देता है कि सेल्फ-ड्राइविंग कारों को सिखाने में बाधा केवल AI को नकल करने में स्मार्ट बनाने के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में है कि AI यह सोचने में फँस न जाए कि गाड़ी चलाने का केवल एक ही तरीका है। विभिन्न "मोड्स" (इरादों) में सोचने के लिए AI को स्पष्ट रूप से सिखाकर और फिर उसे सबसे अच्छा मोड चुनने के लिए पुरस्कृत करके, उन्होंने एक ऐसे प्रदर्शन के स्तर को अनलॉक किया जिसे पिछले तरीके हासिल नहीं कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।