Towards Collaborative Joint Perception and Prediction: Framework, Baseline Evaluation, and Deployment Perspectives

कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जो अपने आप सोच सकती है। यह स्वायत्त ड्राइविंग (Autonomous Driving) की दुनिया है, जहाँ कंप्यूटर हमें सुरक्षित रखने और यातायात को सुचारू रूप से चलाने के लिए स्टीयरिंग संभालते हैं। लेकिन सबसे स्मार्ट कार की भी एक 'ब्लाइंड स्पॉट' (अंधा क्षेत्र) होती है। यदि कोई बड़ा ट्रक आपका दृश्य बाधित करता है, या कोई इमारत किसी कोने से मुड़ते हुए पैदल यात्री को छिपा लेती है, तो आपकी कार की "आंखें" (इसके कैमरे और लेजर) यह नहीं देख पातीं कि आगे क्या आ रहा है। यह आंखों पर पट्टी बांधकर फुटबॉल खेलने जैसा है; आप नियम तो जानते हैं, लेकिन आप गेंद को देख नहीं सकते।

इसे ठीक करने के लिए, वैज्ञानिक कारों को एक-दूसरे से और स्मार्ट स्ट्रीटलाइट्स से बात करना सिखा रहे हैं। इसे व्हीकल-टू-एवरीथिंग (V2X) कम्युनिकेशन कहा जाता है। केवल अपने विंडशील्ड से बाहर देखने के बजाय, कारें जो वे देखती हैं, उसे साझा कर सकती हैं। यदि सड़क पर दूर कोई कार किसी पैदल यात्री को देखती है, तो वह उस कार को "हे, देखो!" चिल्लाकर बता सकती है जो उसे देख नहीं पा रही है। इस टीम वर्क को कोलैबोरेटिव परसेप्शन (Collaborative Perception) कहा जाता है। लेकिन एक पेंच है: केवल यह जानना कि अभी कोई चीज़ कहाँ है, पर्याप्त नहीं है। कार को यह भी अनुमान लगाना होगा कि अगले कुछ सेकंड में वह पैदल यात्री कहाँ होगा। यही "प्रेडिक्शन" (भविष्यवाणी) का पेचीदा हिस्सा है। यदि कारें मिलकर भविष्य का अनुमान लगाती हैं, तो वे अकेले एक कार की तुलना में बेहतर अनुमान लगा सकती हैं। हालाँकि, उस डेटा को साझा करने के लिए बहुत अधिक इंटरनेट बैंडविड्थ की आवश्यकता होती है, और यदि वे गलत प्रकार की जानकारी साझा करते हैं, तो वे वास्तव में भ्रमित हो सकते हैं। यह वह पहेली है जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं: कारें नेटवर्क को जाम किए बिना, सुरक्षित रूप से भविष्य की भविष्यवाणी करने के लिए सही समय पर सही जानकारी कैसे साझा करें?

---

कल की टीमवर्क: कारों के भविष्य को "देखने" का एक नया तरीका

यह शोध पत्र एक नए विचार को पेश करता है जिसे कोलेबोरेटिव जॉइंट परसेप्शन एंड प्रेडिक्शन (Co-P&P) कहा जाता है। इसे सेल्फ-ड्राइविंग कारों के लिए एक सुपर-टीम रणनीति के रूप में समझें। लेखक, जो XITASO और कार्लज़ूए इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ता हैं, एक ऐसा सिस्टम प्रस्तावित करते हैं जहाँ कारें केवल "मैंने यह देखा" की सूची साझा नहीं करती हैं, बल्कि वे भविष्य का अनुमान लगाने से पहले दुनिया की एक पूर्ण, 3D तस्वीर बनाने के लिए मिलकर काम करती हैं।

यह पेपर दो बड़ी समस्याओं से निपटता है जो सेल्फ-ड्राइविंग को कठिन बनाती हैं:

1. ब्लाइंड स्पॉट्स (अंधे क्षेत्र): पेड़ों या अन्य कारों के पीछे छिपी हुई चीजें।
2. "व्हैक-ए-मोल" (Whack-a-Mole) त्रुटि: पारंपरिक प्रणालियों में, एक कार पहले एक वस्तु को ढूंढती है, फिर उसे ट्रैक करती है, और फिर अनुमान लगाती है कि वह कहाँ जा रही है। यदि वह पहले चरण (वस्तु को खोजने) में एक छोटी सी गलती करती है, तो भविष्य का अनुमान लगाने तक वह गलती बढ़ती जाती है। यह पहले से ही थोड़े गलत रेखाचित्र के आधार पर शहर का नक्शा बनाने जैसा है; अंतिम नक्शा विनाशकारी होगा।

लेखक एक चतुर समाधान सुझाते हैं: कारों को पहले गायब तस्वीर के खाली स्थानों को भरने के लिए सहयोग करने दें, और फिर उस सटीक तस्वीर का उपयोग भविष्य की भविष्यवाणी करने के लिए करें।

"मैजिक मिरर" और "क्रिस्टल बॉल"

इसे समझाने के लिए, कल्पना करें कि कारें एक कमरे में हैं जिसमें एक विशाल, टूटा हुआ दर्पण है। प्रत्येक कार के पास दर्पण का एक टुकड़ा है।

• पुराना तरीका (मॉड्यूलर पाइपलाइन): कार A अपने दर्पण के टुकड़े को देखती है, एक व्यक्ति का रेखाचित्र बनाती है, फिर कार B अपने टुकड़े को देखती है, एक रेखाचित्र बनाती है, और फिर वे अनुमान लगाने की कोशिश करती हैं कि वह व्यक्ति कहाँ चलेगा। यदि कार A का रेखाचित्र धुंधला है, तो अनुमान गलत होगा।
• नया तरीका (Co-P&P): कारें पहले पूरे कमरे की एक विशाल, पूर्ण, क्रिस्टल-क्लियर छवि बनाने के लिए अपने दर्पण के टुकड़ों को साझा करती हैं (इसे कोलैबोरेटिव सीन कंप्लीशन कहा जाता है)। एक बार जब उनके पास पूर्ण छवि होती है, तो वे फिर एक "क्रिस्टल बॉल" (जॉइंट परसेप्शन एंड प्रेडिक्शन मॉड्यूल) का उपयोग यह अनुमान लगाने के लिए करती हैं कि व्यक्ति कहाँ जाएगा। क्योंकि छवि पूर्ण है, इसलिए अनुमान बहुत बेहतर होता है।

बड़ी खोज: अंत तक प्रतीक्षा न करें!

इस पेपर की सबसे महत्वपूर्ण खोज यह है कि कारों को अपनी जानकारी कब साझा करनी चाहिए। शोधकर्ताओं ने डेटा साझा करने के तीन अलग-अलग समयों का परीक्षण किया:

1. शुरुआत में (डिटेक्शन लेवल): कच्चा "मैं यहाँ एक कार देखता हूँ" डेटा साझा करना।
2. बीच में (ट्रैकिंग लेवल): "यह कार इस दिशा में जा रही है" डेटा साझा करना।
3. अंत में (प्रेडिक्शन लेवल): "कार 3 सेकंड में यहाँ होगी" डेटा साझा करना।

पेपर स्पष्ट रूप से अंत में साझा करने के विचार को खारिज करता है। उन्होंने पाया कि यदि कारें पहले से ही अपने अनुमान लगा लेती हैं और फिर उन्हें साझा करती हैं, तो यह वास्तव में चीजों को बदतर बना देता है। यह दो लोगों द्वारा दौड़ के विजेता का अनुमान लगाने जैसा है, लेकिन वे दौड़ खत्म होने के बाद ही अपने अंतिम अनुमान साझा करते हैं। तब तक, यदि किसी ने अपने तर्क में गलती की थी, तो गलत उत्तर साझा करने से मदद नहीं मिलती; यह केवल त्रुटि को फैला देता है। पेपर दिखाता है कि प्रेडिक्शन-लेवल फ्यूजन समग्र सिस्टम के प्रदर्शन में गिरावट लाता है।

इसके बजाय, सबसे अच्छे परिणाम जल्दी साझा करने (डिटेक्शन या ट्रैकिंग लेवल पर) से मिलते हैं। यह कारों को भविष्य की भविष्यवाणी करने से पहले एक-दूसरे की गलतियों को सुधारने की अनुमति देता है। डेटा से पता चला कि शुरुआती साझाकरण ने छिपी हुई वस्तुओं (जैसे पेड़ के पीछे पैदल यात्री) को पहचानने की क्षमता में काफी सुधार किया, जबकि देर से की गई भविष्यवाणियों ने मदद नहीं की और बहुत अधिक इंटरनेट डेटा का उपयोग किया।

"कंप्रेशन" (संपीड़न) का तरीका

एक और दिलचस्प खोज है। उस सारे 3D लेजर डेटा (जिसे पॉइंट क्लाउड्स कहा जाता है) को साझा करने के लिए आमतौर पर बहुत अधिक इंटरनेट स्थान की आवश्यकता होती है। लेखकों ने एक प्रोटोटाइप बनाया है जो एक विशेष "न्यूरल कोडेक" (एक स्मार्ट कंप्रेसर) का उपयोग करता है जिसे RENO कहा जाता है। उन्होंने पाया कि वे भविष्य की भविष्यवाणी करने की क्षमता को खोए बिना साझा किए गए डेटा को लगभग 34 गुना (एक विशाल फ़ाइल से एक छोटी फ़ाइल तक) कंप्रेस कर सकते हैं।

कल्पना कीजिए कि आप अपने दोस्त को एक फुल एचडी मूवी भेज रहे हैं, लेकिन पूरी फ़ाइल भेजने के बजाय, आप एक छोटा सा टेक्स्ट मैसेज भेजते हैं जो उनके कंप्यूटर को उस मूवी को बिल्कुल वैसे ही फिर से बनाने के लिए बताता है। यह कंप्रेशन वही करता है। पेपर दिखाता है कि इस भारी कंप्रेशन के बावजूद, कारें आपस में बात न करने की तुलना में भविष्य की बेहतर भविष्यवाणी करती हैं।

उन्होंने क्या परीक्षण किया और उन्हें क्या मिला

शोधकर्ताओं ने चीन के एक वास्तविक डेटासेट DAIR-V2X-Seq का उपयोग करके अपने विचारों का परीक्षण किया, जिसमें कारें और सड़क के सेंसर शामिल हैं।

• परिणाम: जब उन्होंने डेटा को जल्दी (डिटेक्शन लेवल पर) संयोजित किया, तो सिस्टम मुख्य कार के दृश्य से छिपी हुई कारों, साइकिल चालकों और पैदल यात्रियों को पहचानने में बहुत बेहतर हो गया।
• चेतावनी: उन्होंने यह भी पाया कि वर्तमान प्रणालियाँ अभी भी बड़ी कारों की तुलना में पैदल यात्रियों और साइकिल चालकों जैसी छोटी वस्तुओं के साथ थोड़ा संघर्ष करती हैं।
• विश्वास: पेपर इन विचारों को मापे गए प्रयोगात्मक परिणामों के रूप में प्रस्तुत करता है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने गणना की। उन्होंने दिखाया कि जबकि "अर्ली शेयरिंग" (जल्दी साझा करने की) रणनीति काम करती है, "लेट शेयरिंग" (देर से साझा करने की) रणनीति हानिकारक है। उन्होंने यह भी नोट किया कि उनका एंड-टू-एंड प्रोटोटाइप (जो सब कुछ एक साथ करता है) पुराने चरण-दर-चरण तरीके की तुलना में भविष्य की भविष्यवाणी करने में बहुत बेहतर था, जिससे सिद्ध होता है कि पुराने तरीके से त्रुटियाँ बढ़ती जाती हैं।

यह क्यों मायने रखता है

यह पेपर हमें एक स्पष्ट रोडमैप देता है कि स्वायत्त कारों को एक-दूसरे से कैसे बात करनी चाहिए। यह कहता है: "अपना अनुमान लगाने के बाद मदद माँगने का इंतज़ार न करें। मदद माँगते समय ही देखें।" यह यह भी दिखाता है कि हम इस टीमवर्क को इतना कुशल बना सकते हैं कि यह इंटरनेट कनेक्शन पर बिना धीमा किए काम कर सके।

हालाँकि लेखक स्वीकार करते हैं कि हर स्थिति (जैसे छोटे पैदल यात्री) के लिए एक पूर्ण प्रणाली बनाना अभी भी एक प्रगति पर काम है, और उन्हें इन प्रणालियों को पूरी तरह से प्रशिक्षित करने के लिए अधिक डेटा की आवश्यकता है, उनके निष्कर्षों से एक स्पष्ट मार्ग मिलता है। कारों को भविष्य का अनुमान लगाने से पहले एक पूर्ण तस्वीर बनाने के लिए सहयोग करने देकर, और डेटा को हल्का रखने के लिए स्मार्ट कंप्रेशन का उपयोग करके, हम स्वायत्त कारों को सुरक्षित और उनके आसपास की दुनिया के प्रति अधिक जागरूक बना सकते हैं।