Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

स्वायत्त वाहन (ऑटोनॉमस व्हीकल) अपने आस-पास की दुनिया को समझने के लिए डेटा के एक निरंतर, उच्च-गति प्रवाह पर निर्भर करते हैं। जहाँ कैमरे दृश्य की दृश्य समृद्धि को कैप्चर करते हैं, वहीं वे खराब मौसम या कम रोशनी में संघर्ष कर सकते हैं। इसकी भरपाई करने के लिए, कई सेल्फ-ड्राइविंग सिस्टम LiDAR का उपयोग करते हैं, जो एक ऐसा सेंसर है जो दूरियों को मापने और वातावरण का त्रि-आयामी (3D) मानचित्र बनाने के लिए लेजर प्रकाश के तीव्र पल्स उत्सर्जित करता है। यह मानचित्र लाखों छोटे बिंदुओं के क्लाउड के रूप में दिखाई देता है, जिनमें से प्रत्येक बिंदु एक सतह का प्रतिनिधित्व करता है जिससे लेजर टकराया था। इस डेटा को नेविगेशन के लिए उपयोगी बनाने के लिए, कंप्यूटरों को यह सीखना होगा कि वे बिंदु वास्तव में किसके हैं—क्या वह क्लस्टर एक पैदल यात्री है, एक कार है, या एक पेड़ है? इसके अलावा, क्योंकि वाहन चल रहा होता है, सिस्टम को समय के साथ इन वस्तुओं को ट्रैक करना चाहिए, गति और इरादे को समझने के लिए एक क्षण से दूसरे क्षण तक बिंदुओं को जोड़ना चाहिए। यह प्रक्रिया, जिसे फोर-डायमेंशनल (4D) सेगमेंटेशन कहा जाता है, सुरक्षित स्वायत्त ड्राइविंग की रीढ़ है, लेकिन इसे एक बड़ी बाधा का सामना करना पड़ता है: इन प्रणालियों को सिखाने के लिए आवश्यक डेटा बनाना अविश्वसनीय रूप से कठिन और महंगा है।

एक कंप्यूटर को यह सीखने के लिए कि LiDAR क्लाउड में वस्तुओं को कैसे पहचाना जाए, मनुष्यों को पहले हजारों फ्रेमों को मैन्युअल रूप से लेबल करना होगा, जिसमें हर एक पॉइंट क्लाउड में हर कार और व्यक्ति के चारों ओर रूपरेखा खींचनी होगी। यह एक धीमा, उबाऊ और त्रुटिपूर्ण कार्य है। चूंकि बिंदु बिखरे हुए और तीन-आयामी स्थान में छितरे हुए होते हैं, इसलिए उन्हें लेबल करना एक सपाट तस्वीर पर रेखा खींचने की तुलना में बहुत कम सहज होता है। परिणामस्वरूप, इन प्रणालियों की प्रगति अक्सर एल्गोरिदम की बुद्धिमत्ता के कारण नहीं, बल्कि उच्च-गुणवत्ता वाले लेबल किए गए डेटा की भारी कमी के कारण बाधित होती है। शोधकर्ताओं ने लंबे समय से सोचा है कि क्या इस प्रशिक्षण डेटा को स्वचालित रूप से उत्पन्न करने का कोई तरीका है, शायद उस दृश्य समझ को उधार लेकर जो कंप्यूटरों ने अरबों छवियों और वीडियो से पहले ही सीख ली है।

KAIST और चुंग-आंग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने LiDAR-SAM2 नामक एक नए ढांचे के साथ उस प्रश्न का उत्तर देने की दिशा में एक महत्वपूर्ण कदम उठाया है। उनका कार्य यह प्रदर्शित करता है कि बिना किसी मानव द्वारा पॉइंट क्लाउड पर एक भी रेखा खींचे, 3D LiDAR डेटा के लिए एक शक्तिशाली लेबलिंग टूल बनाना संभव है। मैन्युअल एनोटेशन पर निर्भर रहने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया है जो वीडियो-आधारित आर्टिफिशियल इंटेलिजेंस मॉडल की क्षमताओं को 3D लेजर स्कैन की भाषा में अनुवादित करता है। मुख्य विचार एक 'फाउंडेशन मॉडल' का उपयोग करना है, जो वीडियो डेटा के विशाल भंडार पर प्रशिक्षित एक प्रकार का AI है जो समय के साथ वस्तुओं को ट्रैक करता है, और इसे LiDAR सेंसर की अनूठी ज्यामिति को समझने के लिए अनुकूलित करना है। ऐसा करके, उन्होंने एक 2D वीडियो विशेषज्ञ को 4D LiDAR सुपरवाइजर में बदल दिया।

प्रक्रिया एक सिंक्रोनाइज़्ड डेटा सेट के साथ शुरू होती है: 3D LiDAR स्कैन का एक क्रम जो उसी वाहन पर लगे कैमरों से प्राप्त मानक वीडियो फुटेज के साथ जुड़ा हुआ है। शोधकर्ता पहले वीडियो फुटेज को वीडियो फाउंडेशन मॉडल में फीड करते हैं, जो वस्तुओं को पहचानने और फ्रेम-दर-फ्रेम उनके मूवमेंट का पीछा करने में उत्कृष्ट है। जब कोई उपयोगकर्ता पहले वीडियो फ्रेम में एक कार पर क्लिक करता है, तो मॉडल स्वचालित रूप से पूरे वीडियो अनुक्रम में उस कार को ट्रैक करता है, जिससे एक मास्क बनता है जो प्रत्येक आगामी फ्रेम में वाहन की रूपरेखा बनाता है। शोधकर्ता फिर इन 2D आकृतियों (मास्क) को संबंधित 3D LiDAR बिंदुओं पर प्रोजेक्ट करते हैं। चूंकि कैमरा और लेजर सेंसर एक-दूसरे से सटीक रूप से कैलिब्रेटेड होते हैं, इसलिए सिस्टम यह निर्धारित कर सकता है कि कौन से लेजर बिंदु वीडियो मास्क के पिक्सेल के अनुरूप हैं।

हालाँकि, केवल 2D मास्क को 3D बिंदुओं पर प्रोजेक्ट करना पर्याप्त नहीं है। एक एकल कैमरा पूरे वाहन को नहीं देख सकता; वह केवल एक पक्ष देख सकता है, या दृश्य किसी अन्य वस्तु द्वारा बाधित हो सकता है। इसे हल करने के लिए, शोधकर्ताओं ने कई कैमरों के दृश्यों को संयोजित करने और उन्हें समय के साथ जोड़ने के लिए एक विधि विकसित की है। वे वाहन की ज्ञात गति का उपयोग करके पिछले क्षण में जो देखा गया था, उसे वर्तमान क्षण में प्रोजेक्ट करते हैं, उन अंतरालों को भरते हैं जहाँ कैमरा दृश्य सीमित था। यह 3D बिंदुओं के लिए लेबल का एक सघन, सुसंगत सेट बनाता है, जो प्रभावी रूप से स्वचालित रूप से एक उच्च-गुणवत्ता वाला प्रशिक्षण डेटासेट उत्पन्न करता है। इन उत्पन्न लेबल, जिन्हें शोधकर्ता 'स्यूडो-लेबल्स' (pseudo-labels) कहते हैं, का उपयोग विशेष रूप से LiDAR डेटा को समझने के लिए डिज़ाइन किए गए एक नए मॉडल को प्रशिक्षित करने के लिए किया जाता है।

परिणामी सिस्टम, LiDAR-SAM2, एक इंटरैक्टिव टूल के रूप में कार्य करता है। एक मानव ऑपरेटर को केवल एक LiDAR अनुक्रम के पहले फ्रेम में एक वस्तु पर क्लिक करने की आवश्यकता होती है, और सिस्टम स्वचालित रूप से उस वस्तु के लिए पूरे वीडियो में एक सुसंगत, उच्च-गुणवत्ता वाला ट्रैक उत्पन्न करता है। शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण SemanticKITTI नामक एक मानक डेटासेट पर किया, जिसमें जटिल शहरी ड्राइविंग दृश्य शामिल हैं। उन्होंने पाया कि उनके सिस्टम द्वारा उत्पन्न लेबल उल्लेखनीय रूप से सटीक थे, जिन्होंने उच्च परिशुद्धता (precision) और रिकॉल (recall) दर प्राप्त की। जब उन्होंने इन स्वचालित रूप से उत्पन्न लेबल का उपयोग मानक 3D सेगमेंटेशन मॉडल को प्रशिक्षित करने के लिए किया, तो मॉडल उन मॉडलों के लगभग समान प्रदर्शन करते थे जिन्हें मानव विशेषज्ञों द्वारा सावधानीपूर्वक लेबल किए गए डेटा पर प्रशिक्षित किया गया था। वास्तव में, सेमेंटिक सेगमेंटेशन कार्यों के लिए, स्वचालित लेबल पर प्रशिक्षित मॉडलों ने पूर्ण मानव-एनोटेटेड ग्राउंड ट्रुथ के प्रदर्शन स्तरों को प्राप्त किया, बावजूद इसके कि किसी भी मनुष्य ने प्रशिक्षण के लिए उपयोग किए गए LiDAR बिंदुओं को मैन्युअल रूप से लेबल नहीं किया था।

अध्ययन ने स्वयं लेबल की गुणवत्ता का भी अन्वेषण किया। आउटपुट को विज़ुअलाइज़ करके, शोधकर्ताओं ने दिखाया कि सिस्टम वस्तुओं के चारों ओर साफ सीमाएं (boundaries) बनाता है और कारों और पैदल यात्रियों के चलते रहने पर उनकी पहचान को सुसंगत बनाए रखता है। यह निरंतरता स्वायत्त ड्राइविंग के लिए महत्वपूर्ण है, जहाँ सिस्टम को यह पता होना चाहिए कि दस सेकंड पहले देखी गई कार वही कार है जिसे वह अब देख रहा है। शोधकर्ताओं ने प्रदर्शित किया कि इस स्तर की गुणवत्ता न्यूनतम मानवीय इनपुट के साथ प्राप्त की जा सकती है, जिसके लिए ट्रैकिंग शुरू करने के लिए प्रति ऑब्जेक्ट केवल कुछ क्लिक की आवश्यकता होती है। यह सुझाव देता है कि 3D और 4D दृश्य समझ के लिए डेटा एनोटेशन का भारी बोझ काफी कम किया जा सकता है, जिससे बड़े पैमाने पर मानव लेबलर्स की टीमों की आवश्यकता के बिना सुरक्षित और अधिक सक्षम स्वायत्त प्रणालियों के तेजी से विकास को संभव बनाया जा सकता है।

यह कार्य स्पष्ट रूप से इस धारणा को चुनौती देता है कि उच्च-गुणवत्ता वाला 3D प्रशिक्षण डेटा हमेशा मानव श्रम से आना चाहिए। जबकि पिछले इंटरैक्टिव 4D सेगमेंटेशन के प्रयास सिस्टम को वस्तुओं को ट्रैक करना सिखाने के लिए मानव-एनोटेटेड डेटासेट पर निर्भर थे, यह नया दृष्टिकोण केवल न्यूनतम प्रॉम्प्ट की आवश्यकता के साथ उस निर्भरता को कम करता है। शोधकर्ता तर्क देते हैं कि वीडियो फाउंडेशन मॉडल में पहले से मौजूद टेम्पोरल (कालिक) समझ का लाभ उठाकर, एक 3D लेबलिंग सिस्टम को शून्य से शुरू करना संभव है। उन्होंने दिखाया कि उनकी विधि न केवल एक सैद्धांतिक संभावना है, बल्कि एक व्यावहारिक उपकरण भी है जो उपयोगी, उच्च-निष्ठा (high-fidelity) वाला डेटा प्रदान करता है। परिणाम संकेत देते हैं कि स्वचालित और मानव-लेबल डेटा के बीच का अंतर तेजी से कम हो रहा है, जो अगली पीढ़ी की धारणा प्रणालियों (perception systems) के लिए एक स्केलेबल मार्ग प्रदान करता है।

आर्टिफिशियल इंटेलिजेंस के व्यापक संदर्भ में, यह शोध एक प्रकार के शक्तिशाली मॉडल का उपयोग दूसरे को सिखाने की ओर बदलाव को उजागर करता है। 2D वीडियो मॉडल को 3D डेटा के लिए पर्यवेक्षण (supervision) के स्रोत के रूप में उपयोग करके, टीम ने 3D डोमेन की पारंपरिक सीमाओं को पार कर लिया। उन्होंने दुनिया को देखने का नया तरीका नहीं बनाया; इसके बजाय, उन्होंने यह पाया कि कंप्यूटर वीडियो के बारे में जो पहले से जानता है, उसे लेजर स्कैन की भाषा में कैसे अनुवादित किया जाए। निष्कर्ष बताते हैं कि स्वायत्त ड्राइविंग के डेटा का भविष्य अधिक एनोटेटर्स को काम पर रखने में नहीं, बल्कि विभिन्न प्रकार के दृश्य डेटा के बीच स्मार्ट पुल बनाने में निहित है। जैसे-जैसे तकनीक परिपक्व होती है, यह सेल्फ-ड्राइविंग कारों के लिए विशाल, विविध डेटासेट बनाने में सक्षम हो सकती है, जिससे यह तकनीक अधिक मजबूत और सुलभ हो जाएगी। अध्ययन का निष्कर्ष है कि सही ढांचे के साथ, स्वचालित, उच्च-गुणवत्ता वाले 3D एनोटेशन का सपना अब कोई दूर का लक्ष्य नहीं, बल्कि एक वर्तमान वास्तविकता है।