Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं। इसे सुरक्षित रूप से करने के लिए, रोबोट को दो सुपरपावर की आवश्यकता है: उसे पहले अपने आस-पास की हर चीज़ को देखना होगा (एक कार, एक पैदल यात्री, एक साइकिल) और फिर उसे यह अनुमान लगाना होगा कि अगले कुछ सेकंड में वे चीज़ें कहाँ होंगी। यह "ऑटोनॉमस ड्राइविंग" (स्वायत्त ड्राइविंग) की दुनिया है, जहाँ कंप्यूटर वाहन के आँखों और मस्तिष्क के रूप में कार्य करते हैं। लंबे समय तक, इंजीनियर इन प्रणालियों को एक रिले रेस (साँप-दौड़) की तरह बनाते थे: एक टीम वस्तुओं का पता लगाती है, दूसरी टीम को बैटन (बैटन) सौंपती है, और तीसरी टीम उनके भविष्य के पथ की भविष्यवाणी करती है। लेकिन ठीक एक वास्तविक रिले रेस की तरह, यदि पहला धावक बैटन गिरा देता है या लड़खड़ा जाता है, तो पूरी टीम विफल हो जाती है। त्रुटियाँ जमा होती रहती हैं, और रोबोट भ्रमित हो जाता है।

इसे ठीक करने के लिए, वैज्ञानिक अब "एंड-टू-एंड" (अंत-से-अंत) प्रणालियाँ बनाने की कोशिश कर रहे हैं। इसे एक एकल, सुपर-स्मार्ट मस्तिष्क के रूप में सोचें जो कच्चा कैमरा फुटेज देखने से लेकर यह तय करने तक कि एक पैदल यात्री कहाँ कदम रखेगा, सब कुछ एक साथ करता है। ये प्रणालियाँ अक्सर "क्वेरीज़" (queries) का उपयोग करती हैं, जो डिजिटल स्टिकी नोट्स की तरह हैं जिन्हें कंप्यूटर यह पूछने के लिए लिखता है, "क्या यहाँ एक कार है?" और "यह कहाँ जा रही है?" बड़ी चुनौती यह है कि इन रोबोटों के पास आमतौर पर दो प्रकार की आँखें होती हैं: कैमरे (जो हमारी तरह रंग और आकार देखते हैं) और LiDAR (जो सटीक दूरी मापने के लिए अदृश्य लेजर बीम छोड़ते हैं)। कैमरे यह पहचानने में महान हैं कि कोई चीज़ क्या है, लेकिन वे छाया या खराब मौसम से धोखा खा सकते हैं। LiDAR यह मापने में महान है कि चीज़ें कहाँ हैं, भले ही अंधेरा हो, लेकिन यह आसानी से नहीं बता सकता कि एक लाल ट्रक नीले ट्रक से अलग कैसे है। बड़ा सवाल यह है कि आप इन दो बहुत अलग प्रकार के विज़न को एक पूर्ण, गलती-रहित मस्तिष्क में बिना धीमा किए कैसे मिला सकते हैं?

यही वह पहेली है जिसे एक नया अध्ययन Li-ViP3D++ पेश करके हल करता है। शोधकर्ताओं ने इन दो प्रकार के विज़न को जोड़ने का एक स्मार्ट तरीका बनाया है, जिससे एक ऐसी प्रणाली बनी है जो न केवल अधिक सटीक है बल्कि अपने पूर्ववर्तियों की तुलना में तेज़ भी है।

समस्या: संवेदी शैलियों का टकराव

कल्पना कीजिए कि आप एक दोस्त को किसी व्यक्ति का वर्णन करने की कोशिश कर रहे हैं। आपके पास एक कैमरा है जो एक सुंदर, हाई-डेफिनिशन फोटो लेता है, और एक लेजर स्कैनर है जो उनकी ऊँचाई और दूरी का एक सटीक 3D मानचित्र देता है। यदि आप बस फोटो और मानचित्र को अनाड़ी तरीके से जोड़ देते हैं, तो आप एक अजीब, बेमेल चित्र प्राप्त कर सकते हैं। पिछले तरीकों ने इसे कैमरा और लेजर डेटा को एक कठोर ग्रिड में संरेखित करने के लिए मजबूर करके, या निश्चित नियमों के सेट का उपयोग करके "सर्वश्रेष्ठ" डेटा बिंदुओं को चुनकर करने की कोशिश की थी। लेखक तर्क देते हैं कि यह बहुत अनाड़ी है। यह तेल और पानी को केवल एक चम्मच से मिलाने की कोशिश करने जैसा है; आप एक सहज मिश्रण के बजाय एक बिखरे हुए मिश्रण के साथ समाप्त होते हैं। इन पुराने तरीकों ने अक्सर "बायस" (पक्षपात) पेश किया, जिसका अर्थ है कि सिस्टम एक प्रकार के डेटा पर अटक जाता था और दूसरे को अनदेखा कर देता था, या यह ऐसी चीजें बना देता था जो वहाँ थीं ही नहीं (भ्रम/hallucinations)।

समाधान: "स्मार्ट गेट" (QGDF)

प्रस्तावित आर्किटेक्चर जिसे Li-ViP3D++ कहा जाता है, एक चतुर तंत्र पेश करता है जिसे Query-Gated Deformable Fusion (QGDF) कहा जाता है।

"क्वेरीज़" (डिजिटल स्टिकी नोट्स) को जासूसों के रूप में सोचें जो दृश्य में घूम रहे हैं। पुराने सिस्टमों में, ये जासूस कैमरे से एक तस्वीर लेते थे और LiDAR से एक लेजर स्कैन लेते थे और उन्हें बस एक साथ मिला देते थे। Li-ViP3D++ में, प्रत्येक जासूस के पास एक स्मार्ट गेट होता है।

1. कैमरा जासूस: जब एक क्वेरी कैमरे को देखती है, तो वह केवल एक छवि नहीं लेती। वह सभी कैमरों और सभी अलग-अलग ज़ूम स्तरों को देखती है (जैसे किसी फोटो को दूर से देखना और फिर ज़ूम करना)। यह एक "मास्क्ड अटेंशन" सिस्टम का उपयोग करती है ताकि उन हिस्सों को अनदेखा किया जा सके जो बाधित हैं या फ्रेम से बाहर हैं, और केवल उपयोगी सुरागों पर ध्यान केंद्रित किया जा सके।
2. लेजर जासूस: जब एक क्वेरी LiDAR को देखती है, तो वह केवल एक बिंदु नहीं चुनती। यह एक "डिफॉर्मेबल" (विकृत होने योग्य) तकनीक का उपयोग करती है, जिसका अर्थ है कि यह अपने खोज क्षेत्र को फैला और मोड़ सकती है ताकि वस्तु के आसपास के सर्वोत्तम लेजर बिंदुओं को खोजा जा सके, भले ही वस्तु थोड़ी चल रही हो या डेटा थोड़ा धुंधला हो।
3. स्मार्ट गेट: यह मुख्य आकर्षण है। एक बार जब क्वेरी कैमरा और लेजर दोनों से सुराग एकत्र कर लेती है, तो गेट यह तय करता है कि किस पर कितना भरोसा करना है। यदि कैमरा धुंधला है (शायद बारिश हो रही है), तो गेट कहता है, "लेजर पर अधिक भरोसा करो!" यदि लेजर विरल (sparse) है (श perhaps वस्तु दूर है), तो गेट कहता है, "कैमरे पर अधिक भरोसा करो!" यह निर्णय हर एक वस्तु के लिए, हर एक बार, स्वचालित रूप से होता है।

उन्होंने क्या पाया: कम गलतियाँ, तेज़ परिणाम

शोधकर्ताओं ने वास्तविक दुनिया के ड्राइविंग दृश्यों के एक विशाल डेटासेट पर इस नई प्रणाली का परीक्षण किया जिसे nuScenes कहा जाता है। उन्होंने अपने नए "स्मार्ट गेट" सिस्टम की तुलना पुराने मॉडलों से की और कुछ प्रभावशाली परिणाम पाए:

• कम भूत (Ghosts): रोबोट ड्राइविंग की सबसे बड़ी समस्याओं में से एक "हैलुसिनेशन" (भ्रम) है—वहाँ कार देखना जहाँ वास्तव में कोई कार नहीं है। पुराने सिस्टम ने यह गलती लगभग 22.1% समय की थी। नया Li-ViP3D++ सिस्टम इस त्रुटि दर को घटाकर केवल 6.9% कर देता है। यह "भूतिया" कारों में एक बड़ी कमी है जो बिना किसी कारण के रोबोट को ब्रेक लगाने के लिए मजबूर कर सकती हैं।
• बेहतर सटीकता: सिस्टम चीज़ों के जाने के स्थान की भविष्यवाणी करने में बहुत बेहतर हो गया। इसने EPA (एंड-टू-एंड प्रेडिक्शन एक्यूरेसी) का स्कोर 0.505 प्राप्त किया, जो पिछले सर्वश्रेष्ठ 0.250 से एक महत्वपूर्ण उछाल है। इसने वस्तुओं को सही ढंग से पहचानने की अपनी क्षमता (mAP) को 0.616 तक सुधारा।
• गति: आमतौर पर, किसी सिस्टम को स्मार्ट बनाने से वह धीमा हो जाता है। लेकिन यहाँ, नया सिस्टम पिछले संस्करण की तुलना में वास्तव में तेज़ था। इसने निर्णय लेने में 139.82 मिलीसेकंड का समय लिया, जबकि पुराने मॉडल के लिए यह 145.91 मिलीसेकंड था।

मजबूती (Robustness): जब चीजें गलत होती हैं तब भी काम करना

लेखकों ने केवल आदर्श स्थितियों में सिस्टम का परीक्षण नहीं किया। वे देखना चाहते थे कि क्या होता है जब रोबोट की दुनिया अव्यवस्थित हो जाती है। उन्होंने प्रयोग किए जहाँ उन्होंने:

• HD मैप को हटा दिया: उन्होंने डिजिटल मानचित्र को हटा दिया जो आमतौर पर रोबोट को यह जानने में मदद करता है कि लेन कहाँ हैं।
• कैमरा गुणवत्ता को कम कर दिया: उन्होंने कैमरा छवियों को बहुत धुंधला और छोटा कर दिया।

इन बाधाओं के बावजूद, Li-ViP3D++ मजबूत रहा। जब कैमरा रिज़ॉल्यूशन कम किया गया, तब भी सिस्टम 0.631 का उच्च mAP और कम त्रुटि दर बनाए रखने में सफल रहा। यहाँ तक कि जब मैप और कैमरा गुणवत्ता दोनों खराब थी, तब भी सिस्टम ने सभी पुराने मॉडलों को पछाड़ दिया। यह सुझाव देता है कि "स्मार्ट गेट" दोनों प्रकार के विज़न को संतुलित करने में इतना अच्छा है कि रोबोट को अच्छा काम करने के लिए पूर्ण इनपुट की आवश्यकता नहीं है।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि सिस्टम को यह गतिशील रूप से तय करने की अनुमति देकर कि प्रत्येक विशिष्ट वस्तु के लिए कैमरे बनाम लेजर पर कितना भरोसा करना है, हम सुरक्षित, अधिक विश्वसनीय स्व-चालित कारें बना सकते हैं। "स्मार्ट गेट" (QGDF) केवल डेटा को मिलाता नहीं है; यह बुद्धिमानी से सर्वोत्तम साक्ष्य का चयन करता है, जिससे कार को धीमा किए बिना त्रुटियों और भ्रम (hallucinations) को कम किया जाता है। हालाँकि सिस्टम को मैप और उच्च गुणवत्ता वाले कैमरों से लाभ होता है, फिर भी यह सिद्ध करता है कि एक रोबोट सुरक्षित और सटीक रह सकता है भले ही वे उपकरण पूर्ण न हों। शोधकर्ता सुझाव देते हैं कि यह दृष्टिकोण स्वायत्त ड्राइविंग को वास्तविक दुनिया में व्यावहारिक बनाने के लिए एक बड़ा कदम हो सकता है, जहाँ स्थितियाँ शायद ही कभी पूर्ण होती हैं।