💻 computer science

Hyper-V2X: Hypernetworks for Estimating Epistemic and Aleatoric Uncertainty in Cooperative Bird's-Eye-View Semantic Segmentation

यह शोधपत्र Hyper-V2X प्रस्तुत करता है, जो एक हाइपरनेटवर्क-आधारित ढांचा है जो संलयित मल्टी-एजेंट विशेषताओं (fused multi-agent features) पर आधारित स्टोकेस्टिक वेट वितरण (stochastic weight distributions) उत्पन्न करके सहकारी व्हीकल-टू-एवरीथिंग (V2X) बर्ड्स-आई-व्यू सेमेंटिक सेगमेंटेशन में एपिस्टेमिक और एलियोटोरिक अनिश्चितताओं का कुशलतापूर्वक अनुमान लगाता है, जिससे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ धारणा विश्वसनीयता (perception reliability) में वृद्धि होती है।

मूल लेखक: Abhishek Dinkar Jagtap, Sanath Tiptur Sadashivaiah, Andreas Festag

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abhishek Dinkar Jagtap, Sanath Tiptur Sadashivaiah, Andreas Festag

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि स्वायत्त कारों (self-driving cars) का एक समूह एक साथ चल रहा है, जैसे पक्षियों का एक झुंड। सड़क को स्पष्ट रूप से देखने के लिए, वे केवल अपनी आँखों (कैमरों) पर निर्भर नहीं रहते; वे जो देखते हैं उसे एक-दूसरे के साथ साझा करते हैं। इसे कोऑपरेटिव परसेप्शन (Cooperative Perception) कहा जाता है। अपने डेटा को मिलाने से, वे दुनिया का एक विशाल, साझा "बर्ड्स-आई व्यू" (ऊपर से दिखने वाला नज़ारा) मैप बनाते हैं, जिससे उन्हें उन कारों, पैदल चलने वालों और बाधाओं को पहचानने में मदद मिलती है जो अकेले एक कार शायद मिस कर देती।

हालाँकि, एक समस्या है: कभी-कभी कारों के बीच का कनेक्शन कमजोर होता है, या साझा किया गया डेटा धुंधला होता है। यदि कोई कार सड़क के बारेu के बारे में अनुमान लगाती है लेकिन वह वास्तव में सुनिश्चित नहीं है, तो वह एक खतरनाक गलती कर सकती है। वर्तमान प्रणालियाँ अनुमान लगाने में तो बहुत अच्छी हैं, लेकिन वे यह स्वीकार करने में बहुत खराब हैं कि, "मैं इस बारे में 100% निश्चित नहीं हूँ।"

यह पेपर Hyper-V2X नामक एक नई प्रणाली पेश करता है जो इन कारों को यह सिखाती है कि कैसे कहें, "मैं काफी आश्वस्त हूँ," या "मैं वास्तव में अनिश्चित हूँ," अपने अनुमानों के बारे में।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

1. समस्या: "आत्मविश्वासी लेकिन गलत" ड्राइवर

अधिकांश स्वायत्त AI मॉडल उस छात्र की तरह हैं जिसने पाठ्यपुस्तक को पूरी तरह से रट लिया है लेकिन उसने कभी असली तूफान नहीं देखा है। जब मौसम अजीब हो जाता है (या डेटा कनेक्शन खराब हो जाता है), तो छात्र पूरे आत्मविश्वास के साथ उत्तर देता है, भले ही वह गलत हो। वे यह नहीं जानते कि वे क्या नहीं जानते।

2. समाधान: "सुपर-टीचर" (हाइपरनेटवर्क)

लेखकों ने एक विशेष "सुपर-टीचर" AI बनाया है, जिसे हाइपरनेटवर्क (Hypernetwork) कहा जाता है।

मुख्य कार (छात्र): यह सामान्य AI है जो सड़क को देखता है और मानचित्र बनाता है।
सुपर-टीचर (हाइपरनेटवर्क): यह दूसरा AI है जो सीधे सड़क को नहीं देखता। इसके बजाय, यह मुख्य कार के मस्तिष्क को देखता है और कहता है, "हे, अभी तुम जो देख रहे हो, उसके आधार पर, यहाँ इस दृश्य की व्याख्या करने के विभिन्न तरीकों की एक सूची दी गई है।"

मुख्य कार को केवल एक निर्देश (एक मस्तिष्क) देने के बजाय, सुपर-टीचर संभावित दिमागों का एक बादल (cloud) तैयार करता है। मुख्य कार फिर इन विभिन्न दिमागों में से कुछ के साथ एक त्वरित सिमुलेशन चलाती है ताकि यह देख सके कि क्या वे सभी सहमत हैं।

यदि सभी दिमाग सहमत हैं, तो कार निश्चित (certain) है।
यदि दिमागों के बीच भारी असहमति है, तो कार जान जाती है कि वह अनिश्चित (uncertain) है।

3. "निश्चित नहीं होने" के दो प्रकार

पेपर इस प्रणाली को दो प्रकार की अनिश्चितता के बीच अंतर करना सिखाता है, जैसे एक जासूस दो प्रकार के सुरागों के बीच अंतर करता है:

एलियटोरिक अनसर्टेन्टी (Aleatoric Uncertainty - "धुंधली खिड़की" वाली समस्या): यह अनिश्चितता स्वयं डेटा के शोर (noise) के कारण होती है। कल्पना कीजिए कि आप एक गंदे, धुंधले विंडशील्ड के माध्यम से एक साइन बोर्ड पढ़ने की कोशिश कर रहे हैं। ड्राइवर चाहे कितना भी स्मार्ट क्यों न हो, साइन बोर्ड पढ़ना कठिन ही रहेगा। सिस्टम सीखता है कि यह कहना है, "डेटा अव्यवस्थित है, इसलिए मैं निश्चित नहीं हो सकता।"
एपिस्टेमिक अनसर्टेन्टी (Epistemic Uncertainty - "मैंने यह पहले नहीं देखा" वाली समस्या): यह अनिश्चितता इसलिए है क्योंकि AI ने पर्याप्त रूप से सीखा नहीं है। कल्पना कीजिए कि एक ड्राइवर जिसने केवल धूप वाले कैलिफोर्निया में गाड़ी चलाई है और अचानक पहली बार बर्फबारी देखता है। उसे नहीं पता कि कैसे प्रतिक्रिया देनी है। सिस्टम सीखता है कि यह कहना है, "मैंने ऐसी स्थिति पहले नहीं देखी है, इसलिए मैं केवल अनुमान लगा रहा हूँ।"

4. स्मार्ट शॉर्टकट (पार्शियल वेट जनरेशन)

आमतौर पर, एक अच्छा "सुपर-टीचर" बनाने के लिए, जो सभी अलग-अलग दिमाग उत्पन्न कर सके, आपको एक विशाल कंप्यूटर की आवश्यकता होगी जो बहुत समय लेता है। यह 60 मील प्रति घंटे की रफ्तार से चलती कार के लिए बहुत धीमा है।

लेखकों ने एक चतुर शॉर्टकट खोजा। मुख्य कार के पूरे मस्तिष्क को फिर से लिखने के बजाय, सुपर-टीचर केवल अंतिम परत (final layer) (वह हिस्सा जो अंतिम निर्णय लेता है) को फिर से लिखता है।

उपमा: कल्पना कीजिए कि एक शेफ ने पहले ही सारी सब्जियां काट ली हैं और सॉस पका लिया है (भारी काम)। सुपर-टीचर बस स्वाद को एडजस्ट करने के लिए अंत में नमक और काली मिर्च की मात्रा तय करता है। यह बहुत तेज़ है और इसके लिए सुपरकंप्यूटर की आवश्यकता नहीं होती है।

5. "कॉन्टेक्स्ट" (संदर्भ) का सुराग

यह सुनिश्चित करने के लिए कि सुपर-टीचर सही सलाह दे, उसे यह जानने की आवश्यकता है कि मुख्य कार वर्तमान में क्या देख रही है। पेपर एक विशेष "कॉन्टेक्स्ट एम्बेडिंग" (Context Embedding) जोड़ता है।

उपमा: यदि आप किसी मित्र से सलाह मांगते हैं, तो आप केवल यह नहीं कहते कि "मुझे क्या करना चाहिए?" बल्कि आप कहते हैं, "मैं बारिश में गाड़ी चला रहा हूँ, और मुझे एक हिरण दिख रहा है।" "कॉन्टेक्स्ट एम्बेडिंग" AI को सुपर-टीचर को यह बताने में मदद करती है कि, "हे, मैं एक बरसाती चौराहे को देख रहा हूँ जहाँ पास में एक ट्रक है।" यह सुपर-टीचर को उस विशिष्ट क्षण के लिए सही प्रकार की अनिश्चितता उत्पन्न करने में मदद करता है।

उन्होंने क्या साबित किया?

टीम ने OPV2V नामक एक प्रसिद्ध डेटासेट (जो कारों के आपस में बात करने का एक सिमुलेशन है) पर इसका परीक्षण किया।

सटीकता (Accuracy): उनका सिस्टम पिछले तरीकों की तुलना में सड़क देखने में वास्तव में बेहतर (उच्च सटीकता) था।
ईमानदारी (Honesty): जब डेटा खराब था (जैसे कि जब कारों के बीच इंटरनेट कनेक्शन धीमा था या कंप्रेस्ड था), तो सिस्टम ने उन क्षेत्रों को "उच्च अनिश्चितता" के रूप में सही ढंग से चिह्नित किया।
दक्षता (Efficiency): इसने यह सब बिना कार को महत्वपूर्ण रूप से धीमा किए किया।

संक्षेप में: Hyper-V2X स्वायत्त कारों के लिए डेटा साझा करने का एक नया तरीका है जो न केवल उन्हें बेहतर देखने में मदद करता है, बल्कि उन्हें यह बताने के लिए भी शिक्षित करता है कि वे कब अनुमान लगा रहे हैं, जिससे पूरा सिस्टम अधिक सुरक्षित और भरोसेमंद बन जाता है।

तकनीकी सारांश: Hyper-V2X

समस्या विवरण

व्हीकल-टू-एवरीथिंग (V2X) संचार के माध्यम से को-ऑपरेटिव परसेप्शन (CP) साझा संवेदी डेटा के माध्यम से व्यक्तिगत वाहनों की बोध क्षमता (perceptual range) को बढ़ाकर स्वायत्त ड्राइविंग सुरक्षा को महत्वपूर्ण रूप से बढ़ाता है। जबकि मल्टी-एजेंट फ्यूजन में हालिया प्रगति ने बर्ड्स-आई-व्यू (BEV) सिमेंटिक सेगमेंटेशन जैसे कार्यों में प्रदर्शन में सुधार किया है, इन को-ऑपरेटिव फ्रेमवर्क्स के भीतर प्रेडिक्टिव अनसर्टेंटी (भविष्यवाणी अनिश्चितता) का परिमाणीकरण (quantification) काफी हद तक अनछुआ रहा है।

कनेक्टेड ऑटोनॉमस व्हीकल्स (CAVs) में उपयोग किए जाने वाले डीप न्यूरल नेटवर्क्स (DNNs) डेटा-गहन और पैरामीटर-भारी होते हैं। V2X वातावरण में, सिंक्रोनाइज़्ड, मल्टी-एजेंट एनोटेटेड डेटासेट एकत्र करने की जटिलता और लागत बाधाएं उत्पन्न करती है, जिससे त्रुटिपूर्ण भविष्यवाणियों का जोखिम बढ़ जाता है। वर्तमान अनसर्टेंटी एस्टीमेशन विधियां, जैसे कि बेयसियन न्यूरल नेटवर्क्स (BNNs) और डीप एन्सेम्बल्स, विशाल को-ऑपरेटिव मॉडल्स के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगी होती हैं क्योंकि इनमें कई एन्सेबल मॉडल्स को प्रशिक्षित करने या पूर्ण पैरामीटर वितरण उत्पन्न करने की आवश्यकता होती है। इसके अलावा, CP में मौजूदा अनसर्टेंटी क्वांटिफिकेशन मुख्य रूप से ऑब्जेक्ट डिटेक्शन पर केंद्रित रहा है, जिससे को-ऑपरेटिव BEV सिमेंटिक सेगमेंटेशन की विशिष्ट जटिलताओं, जैसे कि कम्युनिकेशन नॉइज़ और फीचर फ्यूजन को संबोधित करने में एक अंतराल रह गया है।

कार्यप्रणाली: Hyper-V2X

यह पेपर Hyper-V2X पेश करता है, जो एक हाइपरनेटवर्क-आधारित फ्रेमवर्क है जिसे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ को-ऑपरेटिव BEV सेगमेंटेशन में एपिस्टेमिक (मॉडल अनिश्चितता) और एलियटोरिक (डेटा अनिश्चितता) दोनों अनसर्टेंटी का अनुमान लगाने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क आर्किटेक्चर-अज्ञेय (architecture-agnostic) है और आधुनिक को-ऑपरेटिव बैकबोन के साथ सहजता से एकीकृत होता है, जिसे यहाँ CoBEVT का उपयोग करके प्रदर्शित किया गया है।

कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. प्राइमरी को-ऑपरेटिव परसेप्शन नेटवर्क

सिस्टम को-ऑपरेटिव BEV सेगमेंटेशन मॉडल को एक "प्राइमरी नेटवर्क" ( $F_\theta$ ) के रूप में मानता है। पैरामीटर्स $\theta$ को एनकोडर पैरामीटर्स ( $\theta_{enc}$ ) और डिकोडर पैरामीटर्स ( $\theta_{dec}$ ) में विभाजित किया गया है। एनकोडर कनेक्टेड वाहनों से मल्टी-व्यू इमेज को प्रोसेस करता है, उन्हें ईगो वाहन के कोऑर्डिनेट सिस्टम के भीतर एक एकीकृत BEV फीचर मैप ( $G$ ) में फ्यूज करता है।

2. V2X कॉन्टेक्स्ट एम्बेडिंग

हाई-डायमेंशनल पैरामीटर स्पेस पर हाइपरनेटवर्क को कंडीशन करने की चुनौती को हल करने के लिए, लेखक एक V2X कॉन्टेक्स्ट एम्बेडिंग मॉड्यूल प्रस्तावित करते हैं। केवल रैंडम नॉइज़ पर निर्भर रहने के बजाय, हाइपरनेटवर्क को एनकोडर द्वारा उत्पादित एग्रीगेटेड BEV फीचर्स ( $G$ ) से प्राप्त एक लर्न करने योग्य (learnable), टास्क-स्पेसिफिक सिग्नल पर कंडीशन किया जाता है।

एक ग्लोबल कॉन्टेक्स्ट वेक्टर ( $z_b$ ) को स्थानिक आयामों (spatial dimensions) में फ्यूज्ड BEV फीचर मैप को औसत निकालकर कंप्यूट किया जाता है।
यह वेक्टर एक एडेप्टिव कंडीशनिंग इनपुट के रूप में कार्य करता है, जो हाइपरनेटवर्क को ऐसे वेट्स (weights) जेनरेट करने में सक्षम बनाता है जो विशिष्ट मल्टी-एजेंट कॉन्टेक्स्ट के प्रति जागरूक हों।

3. पार्शियल वेट जनरेशन और बेयसियन हाइपरनेटवर्क

दक्षता सुनिश्चित करने के लिए, फ्रेमवर्क एक पार्शियल वेट जनरेशन रणनीति का उपयोग करता है:

एनकोडर पैरामीटर्स ( $\theta_{enc}$ ) को प्राइमरी नेटवर्क के भीतर सीधे ऑप्टिमाइज़ किया जाता है।
बेयसियन हाइपरनेटवर्क ( $h_\phi$ ) केवल डिकोडर पैरामीटर्स ( $\theta_{dec}$ ) को जेनरेट करता है।
हाइपरनेटवर्क डिकोडर वेट्स के गाऊसी पोस्टीरियर वितरण (Gaussian posterior distribution) के मीन ( $\mu$ ) और लॉग-वेरिएंस ( $\log \sigma^2$ ) की भविष्यवाणी करता है।
इन्फरेंस के दौरान, मोंटे कार्लो (MC) सैंपलिंग इस वितरण से डिकोडर वेट्स के $K$ सेट खींचती है, जिससे $K$ स्टोकेस्टिक BEV सेगमेंटेशन भविष्यवाणियां प्राप्त होती हैं।

अनसर्टेंटी एस्टीमेशन (अनिश्चितता अनुमान)

एपिस्टेमिक अनसर्टेंटी ( $U_E$ ): $K$ स्टोकेस्टिक भविष्यवाणियों के बीच वेरिएंस के रूप में गणना की जाती है। यह सीखे गए वेट्स में मॉडल के विश्वास को दर्शाता है।
एलियटोरिक अनसर्टेंटी ( $U_A$ ): $K$ सैंपल्स के माध्यम से मीन प्रेडिक्टिव डिस्ट्रीब्यूशन के एंट्रॉपी से अनुमान लगाया जाता है, जो सेंसर ऑब्जर्वेशन में अंतर्निहित शोर और डेटा अस्पष्टता को कैप्चर करता है।

मुख्य योगदान

पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

बेयसियन हाइपरनेटवर्क फॉर्मुलेशन: को-ऑपरेटिव परसेप्शन के लिए एक नवीन दृष्टिकोण जो न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ BEV सेगमेंटेशन में एपिस्टेमिक और एलियटोरिक दोनों अनसर्टेंटी का संयुक्त रूप से अनुमान लगाता है।
V2X कॉन्टेक्स्ट एम्बेडिंग: एक लर्न करने योग्य एम्बेडिंग मॉड्यूल जो हाइपरनेटवर्क को फ्यूज्ड मल्टी-एजेंट फीचर्स पर कंडीशन करता है, जिससे कॉन्टेक्स्ट-अवेयर और आर्किटेक्चर-अज्ञेय वेट जनरेशन संभव होता है।
पार्शियल वेट जनरेशन: एक रणनीति जो मॉडल के पूर्ण पैरामीटर्स को जेनरेट करने से बचती है (केवल डिकोडर पर ध्यान केंद्रित करती है), जिससे बड़े को-ऑपरेटिव मॉडल्स के लिए अनसर्टेंटी एस्टीमेशन स्केलेबल हो जाता है।
व्यापक मूल्यांकन: OPV2V बेंचमार्क पर व्यापक प्रयोग और एब्लेशन अध्ययन, जो सटीक, अच्छी तरह से कैलिब्रेटेड अनसर्टेंटी एस्टीमेट्स और विभिन्न संचार स्थितियों के तहत बेहतर सेगमेंटेशन प्रदर्शन प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

प्रयोग OPV2V डेटासेट (Camera-Track) पर किए गए थे, जिसमें 100 मीटर $\times$ 100 मीटर का मूल्यांकन क्षेत्र उपयोग किया गया।

सेगमेंटेशन प्रदर्शन: Hyper-V2X ने 61.4% का व्हीकल IoU प्राप्त किया, जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स जैसे CoBEVT (60.4%) और FuseBEVT (59.0%) से बेहतर है।
अनसर्टेंटी कैलिब्रेशन: MC Dropout बेसलाइन्स की तुलना में, Hyper-V2X ने बेहतर कैलिब्रेशन दिखाया, जिसमें कम एक्सपेक्टेड कैलिब्रेशन एरर (ECE: 0.0168 के मुकाबले 0.014 (MC Dropout 0.1)) और कम ब्रायर स्कोर (BS) तथा प्रतिस्पर्धी नेगेटिव लॉग-लाइक्लीहुड (NLL) दर्ज किया गया।
कंप्रेशन के प्रति मजबूती: सिस्टम का परीक्षण विभिन्न कम्युनिकेशन कंप्रेशन रेट्स (CPR) के तहत किया गया। जैसे-जैसे बैंडविड्थ कम हुई (CPR 0 से 64), सेगमेंटेशन प्रदर्शन में गिरावट आई, लेकिन Hyper-V2X के अनसर्टेंटी मैप्स ने इस गिरावट को प्रभावी ढंग से कैप्चर किया, जो कमजोर क्षेत्रों में प्रगतिशील रूप से उच्च अनसर्टेंटी दिखाते हैं।
एब्लेशन स्टडीज: V2X कॉन्टेक्स्ट एम्बेडिंग को हटाने और केवल गाऊसी शोर (Gaussian noise) पर निर्भर रहने से IoU में गिरावट (58.4% बनाम 61.4%) और उच्च ECE देखा गया, जो कॉन्टेक्स्ट-अवेयर कंडीशनिंग की आवश्यकता को प्रमाणित करता है।

महत्व और दावे

पेपर का दावा है कि Hyper-V2X को-ऑपरेटिव परसेप्शन में एक महत्वपूर्ण अंतर को भरता है, जो अनसर्टेंटी-अवेयर निर्णय लेने के लिए एक सिद्धांतवादी, कुशल फ्रेमवर्क प्रदान करता है। मौजूदा डिटर्मिनिस्टिक BEV मॉडल्स या कम्प्यूटेशनल रूप से महंगे एन्सेबल मेथड्स के विपरीत, Hyper-V2X कम कम्प्यूटेशनल ओवरहेड के साथ विश्वसनीय अनसर्टेंटी एस्टीमेशन सक्षम करता है।

लेखक इस बात पर जोर देते हैं कि ऐसी अनसर्टेंटी-अवेयर भविष्यवाणियां वास्तविक दुनिया के V2X सिस्टम में विशेष रूप से मूल्यवान हैं जहाँ बैंडविड्थ सीमाएं और संचार हानि अंतर्निहित चुनौतियां हैं। अच्छी तरह से कैलिब्रेटेड अनसर्टेंटी एस्टीमेट्स प्रदान करके, यह फ्रेमवर्क डाउनस्ट्रीम कार्यों (जैसे मोशन प्लानिंग) को अविश्वसनीय भविष्यवाणियों को उचित रूप से वेट करने या त्यागने की अनुमति देता है, जिससे कनेक्टेड ऑटोनॉमस सिस्टमों की समग्र सुरक्षा और विश्वसनीयता बढ़ती है। भविष्य के अनुसंधान को सुगम बनाने के लिए कोड और बेंचमार्क को ओपन-सोर्स लाइसेंस के तहत जारी किया गया है।