🤖 AI

Instance-Level Post Hoc Uncertainty Quantification in Object Detection

यह शोध पत्र मोंटे-कार्लो जनरलाइज्ड लीनियराइज्ड मॉडल (MC-GLM) का प्रस्ताव करता है, जो ऑब्जेक्ट डिटेक्शन में इंस्टेंस-लेवल अनिश्चितता मात्रा निर्धारण के लिए एक कुशल पोस्ट हॉक विधि है, जो nuScenes डेटासेट पर मान्य समानांतर करने योग्य, कॉन्स्टेंट-टाइम अनिश्चितता अनुमान प्रदान करने के लिए लाप्लास एप्रोक्सिमेशन का लाभ उठाती है।

मूल लेखक: Chongzhe Zhang, Zifan Zeng, Qunli Zhang, Feng Liu, Zheng Hu

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chongzhe Zhang, Zifan Zeng, Qunli Zhang, Feng Liu, Zheng Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार चला रहे हैं। कार की "आंखें" (उसका ऑब्जेक्ट डिटेक्शन सिस्टम) लगातार सड़क को स्कैन करती हैं और कारों, पैदल यात्रियों और बाधाओं के चारों ओर बॉक्स बनाती हैं। लेकिन यहाँ एक समस्या है: कभी-कभी कार किसी बॉक्स के बारे में 100% निश्चित होती है, और कभी-कभी वह सिर्फ अंदाज़ा लगा रही होती है। अगर कार अपने अंदाज़े के बारे में बहुत आश्वस्त हो जाती है, तो वह एक खतरनाक निर्णय ले सकती है।

सबको सुरक्षित रखने के लिए, कार को यह कहने का एक तरीका चाहिए कि, "मैं इस बॉक्स के बारे में पूरी तरह से निश्चित नहीं हूँ," बिना अपना ड्राइविंग का तरीका दोबारा सीखे। इसे अनसर्टेंटी क्वांटिफिकेशन (Uncertainty Quantification) कहा जाता है।

यह पेपर एक नई विधि पेश करता है जिसे MC-GLM (मोंटे-कार्लो जनरलाइज्ड लीनियराइज्ड मॉडल) कहते हैं। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

समस्या: "एक बार और बस" बनाम "दोबारा करने" का द्वंद्व

कल्पना कीजिए कि सेल्फ-ड्राइविंग कार पहले से ही अपनी ट्रेनिंग पूरी कर चुकी है (वह एक "प्री-ट्रेंड" विशेषज्ञ है)।

पुराना तरीका (बहुत धीमा): किसी विशिष्ट कार के बारे में यह पता लगाने के लिए कि वह कितनी अनिश्चित है, कुछ विधियाँ AI को उसके दिमाग को हजारों बार चलाने के लिए कहती हैं, हर बार उसके आंतरिक सेटिंग्स को थोड़ा बदलकर यह देखने के लिए कि उत्तर कैसे बदलता है। यह एक शेफ से एक ही व्यंजन को 1,000 बार बनाने के लिए कहने जैसा है, जिसमें हर बार नमक की मात्रा थोड़ी अलग होती है ताकि यह देखा जा सके कि स्वाद कैसे बदलता है। यह सटीक तो है, लेकिन यह 60 मील प्रति घंटे की रफ्तार से चल रही कार के लिए बहुत समय लेता है।
"पोस्ट हॉक" (Post Hoc) आवश्यकता: हमें एक ऐसे तरीके की आवश्यकता है जो ट्रेनिंग खत्म होने के बाद ("पोस्ट हॉक") काम करे, बिना मूल मॉडल को बदले। हम कार को दोबारा ट्रेनिंग देने के लिए रोक नहीं सकते।

समाधान: MC-GLM (द "शैडो पपेट" ट्रिक)

लेखक एक चतुर शॉर्टकट का प्रस्ताव देते हैं। शेफ को 1,000 बार व्यंजन बनाने के लिए कहने के बजाय, वे "शैडो पपेट" (परछाईं के खेल) तकनीक का उपयोग करते हैं।

मैप (ऑफलाइन चरण): इससे पहले कि कार कभी सड़क पर उतरे, इंजीनियर एक "मैप" बनाते हैं कि शेफ का दिमाग बदलावों के प्रति कैसे प्रतिक्रिया देता है। वे एक सांख्यिकीय सारांश (जिसे KFAC Fisher Information कहा जाता है) की गणना करते हैं जो उन्हें बताता है, "यदि हम नमक को थोड़ा बदलते हैं, तो स्वाद इतना बदलता है; यदि हम गर्मी को बदलते हैं, तो वह उस इतना बदलता है।" यह एक बार, ऑफलाइन किया जाता है।
परछाईं (ऑनलाइन चरण): जब कार चल रही होती है और कोई नया ऑब्जेक्ट देखती है, तो वह दोबारा ट्रेनिंग नहीं लेती। इसके बजाय, वह मूल भविष्यवाणी को लेती है और उस पूर्व-निर्मित मैप के आधार पर शेफ के दिमाग में कुछ बहुत छोटे, यादृच्छिक "धक्के" (nudges) लगाती है।
परिणाम: यह भविष्यवाणी को केवल 11 बार चलाता है (1 मूल + 10 धक्के)। यह देखकर कि 10 धक्कों ने परिणाम को कितना बदला, यह स्क्रीन पर मौजूद हर एक बॉक्स के लिए तुरंत अनसर्टेंटी (अनिश्चितता) का अनुमान लगा सकता है।

यह विशेष क्यों है?

यह तेज़ है: पेपर का दावा है कि जबकि पुरानी विधियों को प्रत्येक बॉक्स के लिए एक अलग गणना करनी पड़ती थी (जो सैकड़ों हो सकती हैं), यह नई विधि एक निश्चित संख्या में गणनाएँ (11) करती है, चाहे कितने भी बॉक्स क्यों न हों। यह पूरे कमरे का तापमान एक थर्मामीटर से मापने के बजाय, दीवार के हर इंच को चेक करने जैसा है।
यह ईमानदार है: यह एपिस्टेमिक अनसर्टेंटी (Epistemic Uncertainty) को मापता है। यह वह "मुझे नहीं पता" वाली भावना है जो मॉडल के ज्ञान की कमी के कारण होती है, न कि केवल रैंडम शोर के कारण। यह कार को बताता है, "मैंने इस प्रकार की कार पहले नहीं देखी है, इसलिए मैं निश्चित नहीं हूँ।"
यह वास्तविक डेटा पर काम करता है: टीम ने इसे nuScenes डेटासेट (वास्तविक दुनिया के ड्राइविंग डेटा का एक बड़ा संग्रह) पर एक लोकप्रिय डिटेक्टर CenterPoint का उपयोग करके टेस्ट किया।

परिणाम

जब उन्होंने अपनी नई विधि (MC-GLM) की तुलना पुराने धीमे तरीकों और अन्य तेज़-लेकिन-अशुद्ध तरीकों से की:

गति: यह बहुत तेज़ था। जहाँ पुराने "परफेक्ट" तरीके को वीडियो के एक फ्रेम के लिए अनसर्टेंटी की गणना करने में 10 सेकंड से अधिक का समय लगता था, वहीं MC-GLM ने इसे लगभग आधे सेकंड में कर दिया।
सटीकता: यह गलत होने पर पहचानने में बहुत अच्छा था। विशेष रूप से, यह अन्य तेज़ तरीकों की तुलना में यह बताने में बहुत बेहतर था कि, "हे, यह भविष्यवाणी सटीक नहीं है, और मैं इसके बारे में अनिश्चित हूँ।"

संक्षेप में

यह पेपर सेल्फ-ड्राइविंग कारों को उनकी भविष्यवाणियों के बारे में एक "अंतर्ज्ञान" (gut feeling) देने का एक तरीका प्रस्तुत करता है। यह कार को यह जानने की अनुमति देता है कि वह सड़क पर किसी वस्तु के बारे में अनिश्चित है, बिना कार की गति धीमी किए या उसे दोबारा ड्राइविंग सीखने की आवश्यकता के बिना। यह AI की कमजोरियों के एक पूर्व-निर्धारित मैप का उपयोग करके और जोखिम का अनुमान लगाने के लिए कुछ त्वरित "क्या होगा अगर" परिदृश्यों को सिम्युलेट करके ऐसा करता है।

तकनीकी सारांश: ऑब्जेक्ट डिटेक्शन में इंस्टेंस-लेवल पोस्ट हॉक अनसर्टेन्टी क्वांटिफिकेशन (अनिश्चितता परिमाणीकरण)

1. समस्या का निरूपण (Problem Formulation)

ऑब्जेक्ट डिटेक्शन स्वायत्त ड्राइविंग (autonomous driving) का एक सुरक्षा-महत्वपूर्ण घटक है, जहाँ बाउंडिंग बॉक्स भविष्यवाणियों का सटीक मात्रात्मक अनसर्टेन्टी (अनिश्चितता) प्रदान करना सुरक्षा आश्वासन के लिए आवश्यक है। वर्तमान डिटेक्शन मॉडल आमतौर पर प्रशिक्षण के दौरान बाउंडिंग बॉक्स अनसर्टेन्टी को मापने की क्षमता की कमी रखते हैं। एक बार सुरक्षा के लिए ट्यून होने के बाद, इन मॉडलों को बदला नहीं जा सकता, जिससे पोस्ट हॉक (post hoc) अनसर्टेन्टी क्वांटिफिकेशन विधियों की आवश्यकता होती है जिन्हें मूल नेटवर्क को पुन: प्रशिक्षित करने या बदलने की आवश्यकता नहीं होती है।

यह शोध पत्र प्रत्येक व्यक्तिगत बाउंडिंग बॉक्स (इंस्टेंस-लेवल) के लिए अनसर्टेन्टी का अनुमान लगाने की चुनौती को संबोधित करता है, जबकि चार प्रमुख बाधाओं को पूरा करता है:

नॉन-इंट्रूसिव/पोस्ट हॉक (Non-intrusive/Post Hoc): विधि को मूल व्यवहार को बदले बिना पूर्व-प्रशिक्षित मॉडलों पर लागू किया जाना चाहिए।
इंस्टेंस-लेवल (Instance-Level): अनसर्टेन्टी केवल वैश्विक मॉडल अनसर्टेटी के बजाय व्यक्तिगत बाउंडिंग बॉक्स के स्तर पर अनुमानित होनी चाहिए।
अनुमान गति (Inference Speed): अनुमान ऑनलाइन स्वायत्त ड्राइविंग सिस्टम के लिए पर्याप्त रूप से कम्प्यूटेशनल रूप से कुशल होना चाहिए।
एपिस्टेमिक अनसर्टेन्टी (Epistemic Uncertainty): विधि को मॉडल के ज्ञान की कमी (पैरामीटर अनसर्टेन्टी) से उत्पन्न अनसर्टेटी को पकड़ना चाहिए, न कि एलियटोरिक शोर (aleatoric noise) को।

मौजूदा समाधान महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

सैंपलिंग-आधारित विधियाँ (जैसे, MC Dropout, Deep Ensembles): हालांकि ये शक्तिशाली हैं, लेकिन ये पूरी तरह से पोस्ट हॉक नहीं हैं क्योंकि उन्हें अक्सर कई मॉडलों को प्रशिक्षित करने की आवश्यकता होती है या वे ऐसे प्रेडिक्टिव डिस्ट्रीब्यूशन उत्पन्न करते हैं जो मूल मैक्सिमम ए पोस्टेरिओ (MAP) मॉडल से विचलित होते हैं।
लीनियराइज्ड विधियाँ (जैसे, लैप्लेस एप्रोक्सिमेशन के साथ जनरलाइज्ड लीनियर मॉडल - GLM): ये पूरी तरह से पोस्ट हॉक हैं और MAP प्रेडिक्शन को सुरक्षित रखती हैं, लेकिन इंस्टेंस-लेवल अनसर्टेटी के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगी हैं। प्रत्येक स्केलर आउटपुट घटक के लिए जैकोबियन $J(x)$ की गणना करने के लिए प्रत्येक आउटपुट के लिए एक अलग बैकप्रोपैगेशन पास की आवश्यकता होती है। एक डिटेक्टर जो 9 पैरामीटर्स वाले $m$ बॉक्स प्रेडिक्ट करता है, उसके लिए $9m$ बैकप्रोपैगेशन की आवश्यकता होती है, जो रियल-टाइम अनुप्रयोगों के लिए बहुत धीमा है।

2. कार्यप्रणाली: मोंटे-कार्लो जनरलाइज्ड लीनियराइज्ड मॉडल (MC-GLM)

लेखक MC-GLM प्रस्तावित करते हैं, जो एक अनुमानित इन्फरेंस विधि है जो लैप्लेस एप्रोक्सिमेशन के पोस्ट हॉक गारंटियों को मोंटे-कार्लो सैंपलिंग की दक्षता के साथ जोड़ती है।

मुख्य अवधारणा

यह विधि नेटवर्क आउटपुट $z = f(x; \theta)$ के प्रेडिक्टिव कोवेरिएंस $\Sigma_z(x)$ को MAP अनुमान $\theta^*$ के आसपास लैप्लेस एप्रोक्सिमेशन का उपयोग करके अनुमानित करती है:
$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$
जहाँ $J(x)$ जैकोबियन है और $\Sigma_\theta$ पैरामीटर्स का पोस्टीरियर कोवेरिएंस है (जिसे KFAC के माध्यम से ऑफलाइन गणना किया जाता है)।

पूरे जैकोबियन $J(x)$ को $d$ बैकप्रोपैगेशन (जहाँ $d$ आउटपुट डाइमेंशन है) के माध्यम से कंप्यूट करने के बजाय, MC-GLM मोंटे-कार्लो सैंपलिंग के माध्यम से कोवेरिएंस का अनुमान लगाता है। यह पहचानता है कि $J(x)\Sigma_\theta J(x)^\top$ वास्तव में डायरेक्शनल डेरिवेटिव्स (दिशात्मक डेरिवेटिव्स) के कोवेरिएंस $J(x)\eta$ के समान है, जहाँ $\eta \sim \mathcal{N}(0, \Sigma_\theta)$ ।

एल्गोरिदम चरण

ऑफलाइन चरण (Offline Phase): पैरामीटर कोवेरिएंस $\Sigma_\theta$ प्राप्त करने के लिए फिशर इंफॉर्मेशन मैट्रिक्स के KFAC (क्रोनेकर-फैक्टर्ड एप्रोक्सिमेट कर्वेचर) एप्रोक्सिमेशन की गणना करें। यह चरण ट्रेनिंग डेटा पर एक बार किया जाता है।
ऑनलाइन चरण (प्रति इनपुट $x$ ):
- बेस प्रेडिक्शन $z_0 = f(x; \theta^*)$ की गणना करें।
- $k$ वेट परटर्बेशन्स (भार विक्षोभ) $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$ को सैंपल करें। सैंपलिंग KFAC की ब्लॉक-डायगोनल और क्रोनेकर संरचना का लाभ उठाकर कुशल होती है।
- परटर्बड वेट्स के साथ $k$ फॉरवर्ड पासेस करें: $z_i = f(x; \theta^* + \epsilon \eta_i)$ ।
- फाइनाइट डिफरेंस (finite differences) का उपयोग करके डायरेक्शनल डेरिवेटिव्स का अनुमान लगाएं: $u_i \approx (z_i - z_0) / \epsilon$ ।
- इन $k$ डायरेक्शनल डेरिवेटिव्स का एक मैट्रिक्स $A(x)$ बनाएं।
- सैंपल कोवेरिएंस प्राप्त करने के लिए $A(x)$ को कॉलम-सेंटर करें: $\tilde{A}(x)$ और $\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$ ।
इंस्टेंस-लेवल एग्रीगेशन: ऑब्जेक्ट डिटेक्शन के लिए, आउटपुट वेक्टर को बाउंडिंग बॉक्स के अनुसार पैरामीटर्स को ग्रुप करने के लिए रीशेप किया जाता है। विधि दक्षता के लिए क्रॉस-बॉक्स कोरिलेशन को अनदेखा करते हुए, प्रति-बॉक्स कोवेरिएंस टेंसर $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$ की गणना करती है।

मुख्य दक्षता विशेषता

MC-GLM की कम्प्यूटेशनल लागत $k+1$ फॉरवर्ड पासेस है, जहाँ $k$ एक छोटा, स्थिर हाइपरपैरामीटर (जैसे, 10) है। महत्वपूर्ण बात यह है कि यह लागत डिटेक्ट किए गए इंस्टेंसेस की संख्या ( $m$ ) से स्वतंत्र है। इसके विपरीत, सटीक GLM को $9m$ बैकप्रोपैगेशन की आवश्यकता होती है। यह MC-GLM को डिटेक्शन की संख्या में वृद्धि किए बिना समानांतर (parallelize) करने और स्केल करने की अनुमति देता है।

3. मुख्य योगदान

MC-GLM फ्रेमवर्क: एक नवीन विधि जो ऑब्जेक्ट डिटेक्शन के लिए इंस्टेंस-लेवल, लगभग पोस्ट हॉक अनसर्टेन्टी क्वांटिफिकेशन प्रदान करती है।
कम्प्यूटेशनल दक्षता: महंगे जैकोबियन कैलकुलेशन को फिक्स्ड संख्या में फॉरवर्ड पासेस ( $k$ ) से बदलकर, यह विधि आउटपुट इंस्टेंसेस की संख्या के बजाय सैंपल्स की संख्या के सापेक्ष लीनियर टाइम कॉम्प्लेक्सिटी प्राप्त करती है।
पोस्ट हॉक कम्पैटिबिलिटी: यह विधि गारंटी देती है कि प्रेडिक्टिव मीन मूल प्री-ट्रेंड मॉडल के आउटपुट ( $f(x; \theta^*)$ ) से मेल खाता है, जो कि सैंपलिंग-आधारित बेयसियन विधियों के विपरीत है जो मीन को बदल देते हैं।
KFAC इंटीग्रेशन: विधि कुशल ऑफलाइन पैरामीटर कोवेरिएंस गणना और स्ट्रक्चर्ड सैंपलिंग के लिए KFAC का लाभ उठाती है, जिससे यह बड़े पैमाने के डिटेक्टरों के लिए व्यवहार्य हो जाता है।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन CenterPoint 3D ऑब्जेक्ट डिटेक्टर का उपयोग करके nuScenes डेटासेट पर किया गया।

मेट्रिक्स: प्रदर्शन को प्रोबेबिलिटी ऑफ एक्यूरेट गिवन सर्टेन ( $P(A|C)$ ), प्रोबेबिलिटी ऑफ अनसर्टेन गिवन इनएक्यूरेट ( $P(U|I)$ ), और एक्यूरेसी वर्सेज अनसर्टेन्टी ($AvU$) का उपयोग करके मापा गया।
तुलनात्मक बेसलाइन्स:
- MCI (मोंटे-कार्लो इंटीग्रेशन): MC Dropout का उपयोग करता है।
- GLM: फुल जैकोबियन कम्प्यूटेशन के साथ सटीक लैप्लेस एप्रोक्सिमेशन।
निष्कर्ष:
- अनसर्टेन्टी क्वालिटी: MC-GLM $P(U|I)$ (IoU के लिए 0.40 बनाम 0.14) में सटीक GLM से काफी बेहतर प्रदर्शन करता है, जो गलत भविष्यवाणियों की बेहतर पहचान को दर्शाता है। यह GLM और MCI के समान $P(A|C)$ प्राप्त करता है।
- गति: MC-GLM, GLM की तुलना में काफी तेज़ है। औसतन, GLM को प्रति इनपुट 10,636 ms की आवश्यकता थी ( $9m$ बैकप्रोपैगेशन के कारण), जबकि MC-GLM को केवल ~542 ms (11 फॉरवर्ड पासेस) की आवश्यकता थी। MCI थोड़ा तेज़ था (525 ms) लेकिन पोस्ट हॉक आवश्यकता में विफल रहा।
- एब्लेशन स्टडीज (Ablation Studies):
  - फिशर डेप्थ (Fisher Depth): गहरे नेटवर्क लेयर्स से फिशर इंफॉर्मेशन का उपयोग करने से $AvU$ में सुधार होता है लेकिन मेमोरी उपयोग बढ़ जाता है; हेड-ओनली एप्रोक्सिमेशन एक अच्छा ट्रेड-ऑफ प्रदान करता है।
  - डेटा सब-सैंपलिंग: ट्रेनिंग डेटा के 5-10% पर फिशर मैट्रिक्स का अनुमान लगाने से तुलनीय अनसर्टेटी क्वालिटी मिलती है, जिससे ऑफलाइन लागत कम हो जाती है।
  - हाइपरपैरामीटर्स: एक छोटा फाइनाइट-डिफरेंस स्टेप ( $\epsilon = 10^{-7}$ ) और एक मध्यम संख्या में सैंपल्स ( $k=10$ ) उच्च-गुणवत्ता वाले अनुमान के लिए पर्याप्त हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि MC-GLM सुरक्षा-महत्वपूर्ण स्वायत्त ड्राइविंग सिस्टम में एक महत्वपूर्ण अंतर को भरता है। यह एक व्यावहारिक, इंस्टेंस-लेवल अनसर्टेटी क्वांटिफिकेशन टूल प्रदान करता है जो सख्त पोस्ट हॉक बाधाओं (कोई पुन: प्रशिक्षण नहीं, मूल मॉडल व्यवहार को बनाए रखना) का पालन करता है और साथ ही रियल-टाइम डिप्लॉयमेंट के लिए उपयुक्त इन्फरेंस स्पीड बनाए रखता है।

लेखक इस बात पर जोर देते हैं कि पिछली विधियों के विपरीत जो या तो बहुत धीमी हैं (सटीक GLM) या प्रेडिक्टिव डिस्ट्रीशन को बदल देती हैं (MC Dropout/Ensembles), MC-GLM एक संतुलित समाधान प्रदान करता है। यह प्रत्येक डिटेक्ट किए गए ऑब्जेक्ट के लिए एपिस्टेमिक अनसर्टेटी को मापने में सक्षम बनाता है, जिसकी कम्प्यूटेशनल लागत स्थिर है और डिटेक्शन की संख्या से स्वतंत्र है, जिससे यह स्वायत्त वाहनों में ऑनलाइन सुरक्षा आश्वासन के लिए व्यवहार्य हो जाता है।