💻 computer science

SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

यह शोध पत्र SB-BEVFusion प्रस्तुत करता है, जो एक फ्रेमवर्क-अज्ञेय (framework-agnostic) फ्यूजन मॉड्यूल है जो कैमरा और LiDAR डेटा की कमी या गिरावट को प्रभावी ढंग से संभालकर विभिन्न प्रतिकूल परिस्थितियों में मौजूदा यूनिफाइड रिप्रेजेंटेशन दृष्टिकोणों से बेहतर प्रदर्शन करते हुए, सेंसर की खराबी और भ्रष्टाचार के विरुद्ध 3D ऑब्जेक्ट डिटेक्शन सिस्टम की मजबूती को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

प्रकाशित 2026-05-13

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार चला रहे हैं। सड़क को "देखने" के लिए, यह कार दो मुख्य सहायकों पर निर्भर करती है: एक कैमरा (इंसानी आँखों की तरह) और एक LiDAR (एक लेजर स्कैनर जो दुनिया का सटीक 3D मानचित्र बनाता है)।

आमतौर पर, ये दोनों सहायक मिलकर पूरी तरह से काम करते हैं। कैमरा रंगों और संकेतों को देखता है, जबकि LiDAR सटीक दूरियों को मापता है। अधिकांश सेल्फ-ड्राइविंग सिस्टम इन दोनों की रिपोर्ट को एक एकल "बर्ड्स-आई व्यू" (ऊपर से दिखने वाला नज़ारा या टॉप-डाउन मैप) में मिलाने की कोशिश करते हैं ताकि निर्णय लिए जा सकें।

समस्या: जब सहायक बीमार हो जाते हैं
यह शोध पत्र एक बड़ी खामी की ओर इशारा करता है: वे बहुत नाजुक हैं। यदि कैमरा को धुंध, बारिश या कीचड़ से ढक दिया जाता है, या यदि LiDAR बाधित या खराब हो जाता है, तो पूरा सिस्टम अक्सर घबरा जाता है और ठीक से काम करना बंद कर देता है। यह एक ऐसे जासूस की तरह है जो केवल तभी केस सुलझा सकता है जब उसके पास एक गवाह और एक फिंगरप्रिंट दोनों हों; यदि एक भी गायब है, तो वह हार मान लेता है।

समाधान: SB-BEVFusion (एक लचीला जासूस)
लेखकों ने SB-BEVFusion नामक एक नई विधि बनाई है। इसे एक ऐसे जासूस के रूप में सोचें जिसे यह सिखाया गया है कि यदि दूसरा उपलब्ध न हो, तो वह केवल एक ही सहायक के साथ काम करने में सक्षम हो।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

"साझा मस्तिष्क" (Shared Brain) रणनीति:
कैमरा और LiDAR के लिए दो अलग-अलग दिमाग रखने के बजाय, यह सिस्टम एक साझा "डाउनस्ट्रीम" मस्तिष्क (वह हिस्सा जो वास्तव में कारों और पैदल चलने वालों के स्थान का निर्णय लेता है) का उपयोग करता है। इस मस्तिष्क को विभिन्न परिदृश्यों के "शफल मिश्रण" पर प्रशिक्षित किया गया है:

कभी-कभी इसे दोनों सहायक मिलते हैं (कैमरा + LiDAR)।
कभी-कभी इसे केवल LiDAR मिलता है।
कभी-कभी इसे केवल कैमरा मिलता है।
परिणाम: मस्तिष्क मजबूत (robust) बनना सीख जाता है। जब एक सहायक चुप हो जाता है, तो यह भ्रमित नहीं होता; यह बस उपलब्ध दूसरे सहायक के साथ काम जारी रखता है।

"फ्यूजन स्विच" (Fusion Switch):
जब दोनों सहायक स्वस्थ होते हैं, तो सिस्टम उनकी रिपोर्ट को मिलाता है। पेपर ने इन रिपोर्टों को मिलाने के कई तरीकों का परीक्षण किया, जैसे:

एवरेजिंग (Averaging): दोनों रिपोर्टों का मध्य मार्ग लेना।
मैक्स-पूलिंग (Max-Pooling): दोनों में से सबसे मजबूत सिग्नल को चुनना।
क्रॉस-अटेंशन (Cross-Attention): विवरणों को बेहतर बनाने के लिए रिपोर्टों को एक-दूसरे से "बात" करने देना।
विजेता: आश्चर्यजनक रूप से, सबसे सरल तरीका—अनवेटेड एवरेजिंग (बस दोनों का औसत लेना)—खराब मौसम और सेंसर विफलताओं के खिलाफ सबसे भरोसेमंद चैंपियन साबित हुआ।

"पहचान" (Identity) का तरीका:
यदि एक सेंसर पूरी तरह से टूट जाता है (जैसे, कैमरा पूरी तरह से काला पड़ गया है), तो सिस्टम एक टूटे हुए कनेक्शन को जबरदस्ती जोड़ने की कोशिश नहीं करता है। इसके बजाय, यह एक "पास-थ्रू" स्विच की तरह काम करता है। यह बस LiDAR की रिपोर्ट लेता है और उसे बिना किसी मिश्रण के सीधे मस्तिष्क तक भेज देता है। यह सिस्टम को क्रैश होने के बजाय सुचारू रूप से चलते रहने में मदद करता है।

उन्होंने क्या पाया (परिणाम)
टीम ने इसका परीक्षण "MultiCorrupt" नामक एक डेटासेट पर किया, जो अत्यधिक मौसम (धुंध, बारिश) और सेंसर विफलताओं (ब्लॉक किए गए लेजर, धुंधली छवियां) का अनुकरण करता है।

इष्टतम मौसम में: SB-BEVFusion मौजूदा सर्वोत्तम सिस्टमों के समान ही अच्छा काम करता है।
खराब मौसम में: जब सेंसर खराब होते हैं, तो SB-BEVFusion शांत रहता है। जहाँ अन्य सिस्टम गलतियाँ करने लगते हैं या कारों को पहचानने में चूक जाते हैं, वहीं SB-BEVFusion उन्हें सटीक रूप से पहचानना जारी रखता है।
जब एक सेंसर खत्म हो जाता है: यदि कैमरा पूरी तरह से चला जाता है, तो SB-BEVFusion केवल LiDAR का उपयोग करके अच्छी तरह से काम करता है। इसके विपरीत, यदि LiDAR विफल हो जाता है, तो यह केवल कैमरा मोड को अन्य प्रतिस्पर्धियों की तुलना में बेहतर तरीके से संभालता है (हालांकि UniBEV नामक एक अन्य सिस्टम केवल कैमरा मोड को संभालने में थोड़ा बेहतर था)।

मुख्य निष्कर्ष
पेपर का दावा है कि सिस्टम को लापता या खराब डेटा की उम्मीद करने के लिए प्रशिक्षित करके, और सेंसर डेटा को मिलाने के लिए एक सरल औसत पद्धति का उपयोग करके, उन्होंने एक ऐसा सेल्फ-ड्राइविंग धारणा (perception) सिस्टम बनाया है जिसे धोखा देना बहुत कठिन है। यह एक कार को अपग्रेड करने जैसा है जो बारिश में रुक जाती है, बनाम एक ऐसी कार जो लगातार चलती रहती है, चाहे विंडशील्ड धुंधली हो या लेजर स्कैनर गड़बड़ी कर रहा हो।

तकनीकी सारांश: SB-BEVFusion

समस्या विवरण
मल्टीमॉडल सेंसर फ्यूजन, विशेष रूप से कैमरा और LiDAR डेटा को संयोजित करना, पूरक विजुअल और ज्यामितीय जानकारी का लाभ उठाकर स्वायत्त वाहनों के लिए 3D ऑब्जेक्ट डिटेक्शन में अत्याधुनिक प्रदर्शन स्थापित कर चुका है। मौजूदा फ्रेमवर्क, जैसे कि BEVFusion, आमतौर पर सभी सेंसरों से उच्च-गुणवत्ता वाले डेटा की उपस्थिति मानकर एक एकीकृत बर्ड्स-आई व्यू (BEV) प्रतिनिधित्व में स्वतंत्र सेंसर डेटा को रूपांतरित करते हैं। हालांकि, वास्तविक दुनिया के परिदृश्यों में, प्रतिकूल मौसम (जैसे कोहरा, बारिश), सेंसर की खराबी (जैसे LiDAR बीम में कमी), या स्थानिक/कालिक मिसअलाइनमेंट (spatial/temporal misalignment) के कारण जब सेंसर डेटा गायब, दूषित या शोर युक्त होता है, तो सिस्टम के प्रदर्शन में महत्वपूर्ण गिरावट आती है। वर्तमान एकीकृत प्रतिनिधित्व दृष्टिकोण अक्सर इन विशिष्ट विफलता स्थितियों के तहत मजबूती बनाए रखने में संघर्ष करते हैं।

कार्यप्रणाली (Methodology)
लेखक SB-BEVFusion (सिंगल-ब्रांच BEVFusion) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क-अज्ञेय (framework-agnostic) फ्यूजन मॉड्यूल है जिसे उन परिदृश्यों को संभालने के लिए डिज़ाइन किया गया है जहाँ एक मोडैलिटी गायब या दूषित है। यह दृष्टिकोण निम्नलिखित प्रमुख घटकों के साथ मानक BEVFusion पाइपलाइन को संशोधित करता है:

एकीकृत आर्किटेक्चर: मॉडल एक ही डाउनस्ट्रीम नेटवर्क और डिटेक्शन हेड का उपयोग करता है जो दोनों मोडैलिटीज के लिए साझा है। इसे सुगम बनाने के लिए, कैमरा और LiDAR BEV रिप्रजेंटेशन की चैनल चौड़ाई को समान ( $C_{cam} = C_{lid} \triangleq C$ ) किया गया है।
अनुकूली फ्यूजन लॉजिक (Adaptive Fusion Logic):
- दोहरी मोडैलिटी ( $L+C$ ): जब दोनों सेंसर उपलब्ध होते हैं, तो BEV फीचर्स को एक फ्यूजन ऑपरेटर $\mathcal{F}$ का उपयोग करके संयोजित किया जाता है। पेपर चार ऑपरेटरों की जांच करता है: अनवेटेड एवरेजिंग (Unweighted Averaging), मैक्स-पूलिंग (Max-Pooling), क्रॉस-अटेंशन (Cross-Attention), और प्रोग्रेसिव मोडैलिटी डिके (Progressive Modality Decay - PMD)।
- एकल मोडैलिटी ( $L$ या $C$ ): जब एक मोडैलिटी अनुपस्थित या दूषित होती है, तो फ्यूजन ऑपरेटर एक आइडेंटिटी फंक्शन के रूप में कार्य करता है, जो उपलब्ध BEV रिप्रजेंटेशन को सीधे एनकोडर में पास कर देता है बिना गायब डेटा को फ्यूज करने का प्रयास किए।
प्रशिक्षण रणनीति (Training Strategy): मॉडल को तीन व्यवस्थाओं के मिश्रित क्रम (shuffled mixture) पर प्रशिक्षित किया जाता है: LiDAR-ओनली ( $L$ ), कैमरा-ओनली ( $C$ ), और दोनों ( $L+C$ )। एवरेजिंग, मैक्स-पूलिंग और क्रॉस-अटेंशन जैसी फ्यूजन रणनीतियों के लिए, तीनों व्यवस्थाओं को प्रति सैंपल सूचीबद्ध किया गया है। PMD के लिए, प्रशिक्षण में एक "एंकर" मोडैलिटी शामिल है जहाँ माध्यमिक मोडैलिटी को एक घटते कारक $\alpha$ (1 से 0 तक) द्वारा गुणा किया जाता है ताकि गायब डेटा की ओर संक्रमण का अनुकरण किया जा सके।
अनुमान (Inference): अनुमान के दौरान, सिस्टम गतिशील रूप से फ्यूजन ऑपरेटर (जब दोनों मोडैलिटी मौजूद हों) और आइडेंटिटी फंक्शन (जब एक गायब हो) के बीच स्विच करता है, जिसके लिए नेटवर्क में किसी संरचनात्मक परिवर्तन की आवश्यकता नहीं होती है।

प्रमुख योगदान

मजबूत फ्यूजन मॉड्यूल: एक ऐसा फ्यूजन मॉड्यूल पेश करना जो स्पष्ट रूप से $L+C$ , $L$ , और $C$ परिदृश्यों में कार्य करने के लिए डिज़ाइन किया गया है, जिससे मॉडल सेंसर विफलता के दौरान प्रदर्शन बनाए रख सकता है।
फ्यूजन रणनीति विश्लेषण: विभिन्न फ्यूजन ऑपरेटरों (एवरेजिंग, मैक्स-पूलिंग, क्रॉस-अटेंशन, PMD) की व्यापक जांच करना ताकि यह निर्धारित किया जा सके कि वे गायब और दूषित मोडैलिटी के विरुद्ध कितने मजबूत हैं।
अनुभवजन्य सत्यापन (Empirical Validation): मल्टीकरप्ट (MultiCorrupt) डेटासेट (nuScenes पर आधारित) पर व्यापक प्रयोग, जो अत्यधिक मौसम और सेंसर विफलताओं सहित सेंसर क्षरण के विस्तृत रेंज में बेहतर मजबूती प्रदर्शित करता है।

परिणाम
लेखकों ने nuScenes वैलिडेशन सेट पर मल्टीकरप्ट बेंचमार्क का उपयोग करके BEVFusion और UniBEV के विरुद्ध SB-BEVFusion का मूल्यांकन किया, जिसमें बीम रिडक्शन, स्थानिक/कालिक मिसअलाइनमेंट, कोहरा और मोशन ब्लर जैसे भ्रष्टाचार शामिल हैं।

क्षरण मजबूती (Corruption Robustness): विभिन्न करप्शन के तहत, अनवेटेड एवरेजिंग रणनीति (SB-BEVFusion-Avg) ने 0.7683 का उच्चतम मीन रेजिस्टेंस एबिलिटी (mRA) प्राप्त किया, जो BEVFusion (0.7490) और UniBEV (0.7656) से बेहतर है। क्रॉस-अटेंशन (SB-BEVFusion-CA) ने विशेष रूप से स्थानिक और कालिक मिसअलाइनमेंट के विरुद्ध बेहतर लचीलापन दिखाया।
लुप्त मोडैलिटी प्रदर्शन (Missing Modality Performance):
- LiDAR-ओनली: SB-BEVFusion बेसलाइन्स से काफी बेहतर रहा, जिसने BEVFusion के 0.5639 और UniBEV के 0.582 की तुलना में 0.6448 का mAP प्राप्त किया।
- कैमरा-ओनली: जबकि UniBEV ने कैमरा-ओनली सेटिंग्स में उच्च मजबूती दिखाई (mAP 0.35 बनाम SB-BEVFusion के लिए 0.2002), SB-BEVFusion ने पूर्ण सेंसर सेटिंग्स (mAP 0.6737) में प्रतिस्पर्धी प्रदर्शन बनाए रखा और बेहतर LiDAR-ओनली मजबूती प्रदान की।
गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल तुलनाओं ने पुष्टि की कि गंभीर भ्रष्टाचार (जैसे कोहरा गंभीरता 3, मोशन ब्लर गंभीरता 2) के तहत, BEVFusion अक्सर बड़े ऑब्जेक्ट्स का पता लगाने में विफल रहता है या बाउंडिंग बॉक्स ग्राउंड ट्रुथ से काफी विचलित हो जाते हैं, जबकि SB-BEVFusion अधिक सटीक भविष्यवाणियां बनाए रखता है।

महत्व
पेपर का दावा है कि SB-BEVFusion स्वायत्त धारणा प्रणालियों की एक महत्वपूर्ण कमजोरी को संबोधित करता है: आदर्श सेंसर स्थितियों पर निर्भरता। यह प्रदर्शित करके कि एक सिंगल-ब्रांच आर्किटेक्चर, जिसे मोडैलिटी उपलब्धता व्यवस्थाओं के मिश्रण पर प्रशिक्षित किया गया है, प्रभावी रूप से गायब या दूषित डेटा को संभाल सकता है, यह कार्य वास्तविक दुनिया के वातावरण में अधिक विश्वसनीय 3D ऑब्जेक्ट डिटेक्शन के लिए एक मार्ग प्रदान करता है। लेखक इस बात पर जोर देते हैं कि सरल कॉनकेटिनेशन (जो मानक BEVFusion में उपयोग किया जाता है) दूषित डेटा के लिए उप-इष्टतम (suboptimal) है और फ्यूजन ऑपरेटर का चुनाव विशिष्ट प्रकार की सेंसर विफलता के आधार पर मजबूती को महत्वपूर्ण रूप से प्रभावित करता है। अध्ययन निष्कर्ष निकालता है कि हालांकि प्रस्तावित विधि LiDAR-ओनली विफलता परिदृश्यों और सामान्य भ्रष्टाचार प्रतिरोध में उत्कृष्ट है, भविष्य के कार्य ट्रांसफार्मर-आधारित फ्यूजन विधियों और रडार जैसे अतिरिक्त मोडैलिटीज के एकीकरण की खोज कर सकते हैं।

इसी तरह के और पेपर