Cross-Attention Based Multi-Sensor Fusion for Robust Object Detection in ADAS: YOLOv12 with Spatiotemporal Calibration and iHOA-Tuned Temporal Fusion Transformer

कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जिसके पास सुपरपावर है। यह केवल सड़क को देखती नहीं है; यह उसे महसूस करती है। लेकिन यहाँ एक पेंच है: कार की "आँखें" थोड़ी चंचल हैं। एक साधारण कैमरा रंगों और आकृतियों को खूबसूरती से देखता है, लेकिन अंधेरे में या बारिश में यह भ्रमित हो जाता है। एक रडार सेंसर एक चमगादड़ की तरह होता है; यह धुंध के पार देख सकता है और गति को पूरी तरह से माप सकता है, लेकिन यह धुंधला होता है और विवरण नहीं दिखाता। एक LiDAR सेंसर एक 3D स्कैनर की तरह है, जो दुनिया का एक सटीक मानचित्र बनाता है, लेकिन भारी धूल या बारिश में इसे संघर्ष करना पड़ सकता है।

एक सेल्फ-ड्राइविंग कार के सुरक्षित होने के लिए, उसे इन सभी इंद्रियों को एक पूर्ण चित्र में संयोजित करने की आवश्यकता होती है। इसे "सेंसर फ्यूजन" कहा जाता है। इसे एक जासूसी टीम की तरह समझें जहाँ एक सदस्य के पास आवर्धक लेंस (magnifying glass) है, दूसरे के पास नाइट-विज़न गॉगल्स हैं, और तीसरे के पास रडार गन है। यदि वे बस एक-दूसरे को अपनी खोज चिल्लाकर बताते हैं, तो जासूस भ्रमित हो सकता है। उन्हें एक-दूसरे को सुनने, शोर को अनदेखा करने और इस पर सहमत होने का एक स्मार्ट तरीका चाहिए कि वास्तव में क्या हो रहा है। यह पेपर उस सुपर-स्मार्ट जासूसी टीम को बनाने के बारे में है, जिससे यह सुनिश्चित हो सके कि वे कोहरे में किसी पैदल यात्री को न चूकें या प्लास्टिक की थैली को पत्थर समझने की गलती न करें।

---

द सुपर-टीम डिटेक्टिव: यह पेपर पहेली को कैसे सुलझाता है

इस अध्ययन के पीछे के शोधकर्ताओं ने, जो भारत के GITAM स्कूल ऑफ साइंस की एक टीम है, CAMSF-ADAS नामक एक नया सिस्टम बनाया है। उनका लक्ष्य सेल्फ-ड्राइविंग कारों के लिए एक ऐसा "मस्तिष्क" बनाना था जो कारों, ट्रकों और लोगों जैसी वस्तुओं को पहचानने में अविश्वसनीय रूप से कुशल हो, भले ही मौसम खराब हो या सड़क अराजक हो। उन्होंने केवल अपने सेंसरों को एक साथ नहीं फेंका; उन्होंने एक परिष्कृत पाइपलाइन बनाई जो सूचना के लिए एक हाई-टेक असेंबली लाइन की तरह कार्य करती है।

चरण 1: अव्यवस्था की सफाई और अंशांकन (Cleaning and Calibrating the Mess)
सबसे पहले, टीम को इस तथ्य से निपटना था कि उनके सेंसर अलग-अलग भाषाएं बोलते हैं और थोड़े तालमेल से बाहर हैं। कल्पना कीजिए कि आप एक साथ तीन दोस्तों को बात करते हुए सुन रहे हैं, लेकिन एक फुसफुसा रहा है, एक चिल्ला रहा है, और वे सभी अलग-अलग दूरियों पर खड़े हैं। शोधकर्ताओं ने डेटा को साफ करने के लिए सबसे पहले एक "रोबस्ट स्केलिंग" (Robust Scaling) तकनीक का उपयोग किया, जिससे अजीब आउटलेर्स (जैसे शोर में अचानक उछाल) को हटाया गया ताकि सेंसर एक ही स्तर पर आ सकें।

फिर, उन्होंने स्पैटियोटेम्पोरल कैलिब्रेशन (Spatiotemporal Calibration) किया। यह एक ही शहर के तीन अलग-अलग मानचित्रों को एक साथ संरेखित करने जैसा है ताकि वे पूरी तरह से मेल खा सकें। उन्होंने यह सुनिश्चित किया कि कैमरे, LiDAR और रडार द्वारा देखी गई कार बिल्कुल एक ही स्थान पर और एक ही समय पर हो। इसके बिना, कार का मस्तिष्क सोचेगा कि वस्तु दो स्थानों पर एक साथ है, जो आपदा का कारण बन सकता है।

चरण 2: "क्रॉस-अटेंशन" बातचीत (The "Cross-Attention" Conversation)
एक बार जब डेटा संरेखित हो गया, तो टीम ने मल्टी-हेड क्रॉस-अटेंशन फ्यूजन मॉड्यूल (Multi-Head Cross-Attention Fusion Module) नामक एक विशेष मॉड्यूल पेश किया। यह मुख्य आकर्षण है। एक गोलमेज चर्चा की कल्पना करें जहाँ कैमरा, LiDAR और रडार विशेषज्ञ हैं। केवल अपने नोट्स को एक साथ जोड़ने के बजाय, यह मॉड्यूल उन्हें गतिशील रूप से एक-दूसरे से "बात" करने देता है।

यदि कैमरा कहता है, "मैं एक लाल आकृति देखता हूँ," लेकिन रडार कहता है, "मैं वहां एक तेज़ चलती वस्तु देखता हूँ," तो क्रॉस-अटेंशन तंत्र उन्हें यह समझने में मदद करता है कि, "ओह, वह एक तेज़ चलने वाली लाल कार है!" यह वास्तविक समय में प्रत्येक सेंसर के इनपुट के महत्व को तौलता है। यदि कैमरा चमक से अंधा हो जाता है, तो सिस्टम स्वचालित रूप से रडार पर अधिक भरोसा करता है। यह गतिशील बातचीत सुनिश्चित करती है कि कोई भी महत्वपूर्ण विवरण खो न जाए।

चरण 3: जासूस की आँख (YOLOv12)
सेंसरों के बीच बातचीत होने के बाद, संलयित (fused) जानकारी को YOLOv12 नामक एक शक्तिशाली ऑब्जेक्ट डिटेक्टर को भेजा जाता है। YOLOv12 को एक अत्यंत चौकस जासूस के रूप में समझें जो पलक झपकते ही भीड़ में संदिग्ध को पहचान सकता है। यह प्रसिद्ध डिटेक्शन टूल्स के परिवार का नवीनतम संस्करण है, जिसे तेज़ और सटीक होने के लिए डिज़ाइन किया गया है। इस अध्ययन में, शोधकर्ताओं ने इसका "n" (नेनो) संस्करण उपयोग किया, जो हल्का और तेज़ है, जो चलती कार में आवश्यक त्वरित प्रतिक्रियाओं के लिए एकदम सही है। यह कार, ट्रक, बस, साइकिल और मोटरसाइकिल के चारों ओर बॉक्स बनाता है, जिससे कार को पता चलता है कि वे ठीक कहाँ हैं।

चरण 4: टाइम-ट्रैवलिंग क्लासिफायर (TFT)
वस्तु को पहचानना केवल आधी लड़ाई है; कार को यह भी समझने की आवश्यकता है कि वह क्या है और समय के साथ कैसे चल रही है। इसके लिए, टीम ने टेम्पोरल फ्यूजन ट्रांसफॉर्मर (TFT) का उपयोग किया। यदि YOLOv12 एक स्नैपशॉट लेने वाला जासूस है, तो TFT एक फिल्म देखने वाला जासूस है। यह पैटर्न को समझने के लिए घटनाओं के क्रम को देखता है। क्या वह साइकिल डगमगा रही है? क्या वह कार धीमी हो रही है? समय के साथ डेटा के प्रवाह का विश्लेषण करके, TFT वस्तु के बारे में बहुत स्मार्ट अनुमान लगाता है।

चरण 5: ट्यूनिंग नॉब (IHOA)
अंत में, यह सुनिश्चित करने के लिए कि TFT अपने सर्वोत्तम प्रदर्शन पर काम कर रहा है, शोधकर्ताओं ने इम्प्रूव्ड हिप्पोपोटामस ऑप्टिमाइजेशन एल्गोरिदम (IHOA) नामक एक चतुर अनुकूलन तकनीक का उपयोग किया। इसका नाम वन्यजीवों में हिप्पों (दरियाई घोड़े) के व्यवहार के नाम पर रखा गया है। जिस तरह हिप्पो अपने पर्यावरण का पता लगाते हैं, अपने क्षेत्र की रक्षा करते हैं और खतरा महसूस होने पर सुरक्षा के लिए पीछे हट जाते हैं, वैसे ही यह एल्गोरिदम मॉडल के लिए सटीक सेटिंग्स (हाइपरपैरामीटर्स) की "खोज" करता है। यह सीखने की गति और डेटा हैंडलिंग जैसी चीजों को तब तक ट्यून करता है जब तक कि यह उस बिंदु तक न पहुँच जाए जहाँ मॉडल अपना सर्वश्रेष्ठ प्रदर्शन करता है।

उन्होंने क्या पाया

टीम ने अपने नए CAMSF-ADAS सिस्टम का परीक्षण NuScenes और CARRADA डेटासेट्स के वास्तविक दुनिया के डेटा का उपयोग करके किया, जिसमें कैमरों, LiDAR और रडार के साथ हजारों ड्राइविंग परिदृश्य शामिल हैं। उन्होंने अपने सिस्टम की तुलना HRNetV2p-w18, CRF-Net और MV3D सहित कई मौजूदा तरीकों से की।

परिणाम प्रभावशाली थे। अपने परीक्षणों में, CAMSF-ADAS सिस्टम ने 98.33% की सटीकता प्राप्त की, जो उनके द्वारा परीक्षण किए गए अन्य तरीकों की तुलना में काफी अधिक है (अगला सबसे अच्छा लगभग 93.85% था)।

• प्रिसिजन (Precision): 95.02% (यह कचरे के बैग को कार समझने की गलती शायद ही कभी करता है)।
• रिकॉल (Recall): 95.00% (यह वास्तविक कार को शायद ही कभी चूकता है)।
• F1-स्कोर: 95.00% (दोनों के बीच एक आदर्श संतुलन)।
• कंप्यूटेशनल समय: सिस्टम ने बेंचमार्क मूल्यांकन के लिए 3.28 सेकंड का कंप्यूटेशनल समय दर्ज किया, जो अन्य मॉडलों (जो 4.37 से 7.90 सेकंड के बीच थे) की तुलना में कम (तेज़) था।

जब उन्होंने देखा कि सिस्टम बैकग्राउंड से वस्तुओं को कितनी अच्छी तरह अलग करता है (IoU नामक मीट्रिक का उपयोग करके), तो उनके मॉडल ने 50.70% का स्कोर किया, जो अगले सबसे अच्छे मॉडल से काफी आगे था। उन्होंने यह भी परीक्षण किया कि सिस्टम पैदल यात्रियों और साइकिल चालकों जैसे विशिष्ट वस्तुओं को कितनी अच्छी तरह "सेगमेंट" (रेखांकित) करता है, और फिर से, उनका मॉडल 61.59% के डाइस स्कोर (Dice score) के साथ शीर्ष पर रहा।

निष्कर्ष

शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने अपने सिस्टम को टुकड़ों में तोड़कर इसे साबित किया। उन्होंने दिखाया कि यदि आप "क्रॉस-अटेंशन" या "हिप्पो" ऑप्टिमाइज़र को हटा देते हैं, तो सटीकता गिर जाती है। यह पुष्टि करता है कि उनके मशीन का हर हिस्सा आवश्यक है।

जबकि यह पेपर सुझाव देता है कि यह सेल्फ-ड्राइविंग कारों को, विशेष रूप से बारिश या कोहरे जैसी कठिन परिस्थितियों में सुरक्षित और अधिक विश्वसनीय बनाने के लिए एक अत्यधिक प्रभावी समाधान है, लेखक सावधानीपूर्वक नोट करते हैं कि यह एक सिमुलेशन और डेटासेट-आधारित अध्ययन है। वे सुझाव देते हैं कि अगला कदम वास्तविक दुनिया की अनिश्चितताओं को संभालने के लिए वास्तविक वाहनों पर इस सिस्टम का परीक्षण करना है। लेकिन फिलहाल के लिए, सेंसरों की यह "सुपर-डिटेक्टिव" टीम सड़क पर उतरने के लिए तैयार दिखती है।