Knowledge-Data-Dual-Driven Reinforcement Learning for Autonomous Vehicle Control in Mixed Traffic
यह शोध पत्र नॉलेज-डेटा ड्यूल-ड्रिवन रीइन्फोर्समेंट लर्निंग (KDDRL) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो इरादा-जागरूक प्रक्षेप पथों (intention-aware trajectories) को संश्लेषित करता है और भौतिक बाधाओं के साथ संभाव्य डेटा को संलयित करता है ताकि एसिंक्रोनस मल्टी-टाइमस्केल अनुकूलन को सक्षम किया जा सके, जिससे मिश्रित यातायात में स्वायत्त वाहन नियंत्रण की सुरक्षा, दक्षता और आराम को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को व्यस्त शहर में कार चलाने के लिए सिखाने की कोशिश कर रहे हैं। यह केवल एक नक्शे का पालन करने के बारे में नहीं है; यह शतरंज का एक तेज़ गति वाला खेल खेलने जैसा है जहाँ अन्य मोहरे वे असली लोग हैं जो अचानक मुड़ सकते हैं, ब्रेक लगा सकते हैं, या अपना इरादा बदल सकते हैं। यह स्वायत्त वाहनों (Autonomous Vehicles - AVs) की दुनिया है, एक ऐसा क्षेत्र जहाँ कंप्यूटर वैज्ञानिक ऐसी कारें बनाने की कोशिश करते हैं जो अपने आप सोच और प्रतिक्रिया दे सकें। इसे करने के लिए, वे अक्सर सुदृढीकरण लर्निंग (Reinforcement Learning - RL) नामक तकनीक का उपयोग करते हैं। RL को एक कुत्ते को प्रशिक्षित करने की तरह समझें: कंप्यूटर "कुत्ता" अलग-अलग क्रियाएं करता है, अच्छे व्यवहार जैसे लेन में बने रहने के लिए उसे एक "इनाम" (पुरस्कार) मिलता है, और बुरे व्यवहार जैसे टकराने के लिए एक "डांट" (दंड) मिलती है। समय के साथ, कुत्ता अधिक इनाम पाने के लिए सबसे अच्छे करतब सीख जाता है। हालाँकि, इसमें एक पेंच है: वास्तविक चालक अव्यवस्थित और अप्रत्याशित होते हैं। वे हमेशा नियमों का पालन नहीं करते हैं, और उनके इरादे छिपे होते हैं। यदि रोबोट कार केवल इस पर ध्यान देती है कि अभी क्या हो रहा है, तो जब कोई मानव चालक अचानक उसके सामने आ जाए, तो वह प्रतिक्रिया देने में बहुत धीमी हो सकती है। यह शोध पत्र इन रोबोट कारों को इंसानों के साथ सड़क साझा करते समय अधिक स्मार्ट, सुरक्षित और आरामदायक ड्राइवर बनने के बारे में सिखाने की समस्या पर काम करता है।
इस अध्ययन के पीछे के शोधकर्ताओं, जी फेंग (Jie Fang) और उनकी टीम ने महसूस किया कि वर्तमान रोबोट ड्राइवरों को तीन बड़ी समस्याओं का सामना करना पड़ता है। पहला, वे अक्सर बहुत निष्क्रिय होते हैं; वे जो देखते हैं उस पर प्रतिक्रिया तो देते हैं लेकिन यह अनुमान नहीं लगा पाते कि एक मानव ड्राइवर का अगला इरादा क्या होगा। दूसरा, उन्हें "लॉन्ग-टेल" (long-tail) घटनाओं के साथ संघर्ष करना पड़ता—वे दुर्लभ, डरावने क्षण जैसे कि अचानक किसी का गाड़ी बीच में ले आना, जो इतना कम होता है कि रोबोट कभी सीख ही नहीं पाता कि उन्हें कैसे संभालना है। तीसरा, ड्राइविंग में दो बहुत अलग प्रकार की क्रियाएं शामिल हैं जो अलग-अलग गति से होती हैं: स्टीयरिंग और लेन बदलना (जो दुर्लभ है और एक बड़ा निर्णय है) बनाम गति बढ़ाना या धीमा करना (जो लगातार होता है और जिसे सुचारू होना चाहिए)। एक रोबोट को एक ही समय में दोनों चीजें करने के लिए सिखाने की कोशिश अक्सर सीखने की प्रक्रिया को भ्रमित कर देती है।
इस समस्या को हल करने के लिए, टीम ने नॉलेज-डेटा ड्यूल-ड्रिवन रिइन्फोर्समेंट लर्निंग (Knowledge-Data Dual-driven Reinforcement Learning - KDDRL) नामक एक नया सिस्टम बनाया। आप KDDRL को रोबोट कार को एक साथ "क्रिस्टल बॉल" (भवि счет बताने वाला गोला) और एक "नियम पुस्तिका" देने के रूप में देख सकते हैं। केवल अपने सामने वाली कार को देखने के बजाय, रोबोट एक विशेष AI टूल (एक प्रकार का जनरेटिव मॉडल) का उपयोग करके कई संभावित भविष्य की कल्पना करता है। वह पूछता है, "यदि वह कार सीधी चलती रही, तो वह कहाँ होगी? क्या होगा यदि वह डर जाए और अचानक मुड़ जाए?" यह रोबोट को एक निष्क्रिय पर्यवेक्षक से एक सक्रिय भविष्यवक्ता में बदल देता है।
अनुमान लगाना ही काफी नहीं है; रोबोट को सुरक्षित भी होना चाहिए। इसलिए, यह सिस्टम उनके अनुमानों को कठोर भौतिक नियमों (जैसे "सामने वाली कार से न टकराएं") और वास्तविक दुनिया के डेटा के साथ मिलाता है कि इंसान वास्तव में कैसे गाड़ी चलाते हैं। यह एक बुद्धिमान ड्राइविंग इंस्ट्रक्टर (भौतिक नियम) के साथ एक ऐसे छात्र की तरह है जिसने लाखों ड्राइविंग कहानियाँ पढ़ी हैं (डेटा)। इंस्ट्रक्टर यह सुनिश्चित करता है कि छात्र कुछ भी खतरनाक न करे, जबकि कहानियाँ छात्र को यह समझने में मदद करती हैं कि कभी-कभी लोग अजीब व्यवहार करते हैं।
शोध पत्र इस "दो-गति" वाली समस्या को भी ठीक करता है। रोबोट दो अलग-अलग दिमागों का उपयोग करता है जो एक साथ काम करते हैं। एक दिमाग, जो बहुत तेज़ चलता है (प्रत्येक 0.1 सेकंड में), कारों का पीछा करने के लिए सुचारू गैस और ब्रेक हैंडल करता है। दूसरा दिमाग, जो धीरे चलता है (प्रत्येक 2 सेकंड में), लेन बदलने जैसे बड़े निर्णयों को संभालता है। ये दोनों दिमाग एक-दूसरे से बात करते हैं और जो हो रहा है उसके बारे में एक "साझा भाषा" साझा करते हैं, ताकि कार भ्रमित न हो।
शोधकर्ताओं ने इस प्रणाली का परीक्षण एक कंप्यूटर सिमुलेशन में किया जिसमें जर्मन राजमार्गों के वास्तविक ड्राइविंग डेटा का उपयोग किया गया था ताकि ट्रैफ़िक को वास्तविक बनाया जा सके। उन्होंने पाया कि उनके नए तरीके, KDDRL, ने पुराने तरीकों की तुलना में रोबोट कार को तेजी से सीखने और अधिक सुरक्षित रूप से चलाने में मदद की। इन सिमुलेशन में, रोबोट अन्य ड्राइवरों के व्यवहार का अनुमान लगाने में बेहतर था, दुर्लभ डरावनी स्थितियों को अधिक प्रभावी ढंग से संभालता था, और सवारी को सुचारू और आरामदायक रखता था। लेखक सुझाव देते हैं कि मानव इरादों की भविष्यवाणी करने की क्षमता को सख्त सुरक्षा नियमों के साथ जोड़कर, हम ऐसी स्वायत्त कारें बना सकते हैं जो मिश्रित ट्रैफ़िक की अव्यवस्थित और अप्रत्याशित वास्तविकता के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।