📊 statistics

Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule

यह शोध पत्र परसेप्शन कैरेक्टरिस्टिक्स डिस्टेंस (PCD) प्रस्तुत करता है, जो एक नवीन अनसर्टेन्टी-अवेयर मेट्रिक है जो अधिकतम विश्वसनीय डिटेक्शन दूरी को मापकर परसेप्शन सिस्टम की स्थिरता को परिमाणित करता है, और विविध मौसम एवं प्रकाश स्थितियों के तहत एकत्र किए गए नए निर्मित सेंसररेनफॉल (SensorRainFall) डेटासेट का उपयोग करके पारंपरिक मेट्रिक्स पर इसकी श्रेष्ठता को प्रमाणित करता है।

मूल लेखक: Boyu Jiang, Liang Shi, Zhengzhi Lin, Lanxin Xiang, Loren Stowe, Feng Guo

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boyu Jiang, Liang Shi, Zhengzhi Lin, Lanxin Xiang, Loren Stowe, Feng Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसी कार चला रहे हैं जो अपने आप सोच सकती है। यह "सेल्फ-ड्राइविंग" कार अपनी दृष्टि के लिए अपनी आँखों (कैमरा, रडार और लेजर) पर निर्भर करती है। अगर कार की आँखें भ्रमित हो जाती हैं, तो कार दुर्घटनाग्रस्त हो सकती है।

लंबे समय से, इंजीनियर इन "आँखों" की गुणवत्ता मापने के लिए मानक परीक्षणों का उपयोग करने का प्रयास कर रहे हैं। लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि पुराने परीक्षण ऐसे हैं जैसे किसी बास्केटबॉल खिलाड़ी को केवल इस आधार पर आंकना कि उसने धूप वाले, खाली जिम में कितने अंक बनाए। वे आपको यह नहीं बताते कि खिलाड़ी कैसा प्रदर्शन करता है जब बारिश हो रही हो, अंधेरा हो, या खिलाड़ी बास्केट से 100 फीट दूर खड़ा हो।

यहाँ इस शोध पत्र का एक सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है।

1. समस्या: "झिलमिलाती रोशनी" का मुद्दा

वास्तविक दुनिया में, एक सेल्फ-ड्राइविंग कार की दृष्टि (विज़न) पूर्ण नहीं होती है। यह एक झिलमिलाते बल्ब की तरह है।

करीब से: जब कोई कार आपके ठीक सामने होती है, तो विजन सिस्टम उसे स्पष्ट रूप से देखता है और कहता है, "मुझे 100% यकीन है कि वह एक कार है!"
दूर से: जैसे-जैसे वह कार दूर जाती है (मान लीजिए 100 मीटर), विजन सिस्टम डगमगाने लगता है। एक सेकंड वह कहता है, "वह एक कार है!" और अगले ही सेकंड वह कहता है, "शायद वह एक झाड़ी है?" या "मुझे कुछ दिखाई नहीं दे रहा है।"

वर्तमान परीक्षण (जैसे "एवरेज प्रिसिजन") केवल यह गिनते हैं कि कार ने कुल मिलाकर कितनी बार सही पहचान की। वे इस डगमगाहट (wobble) को अनदेखा कर देते हैं। उन्हें इस बात से फर्क नहीं पड़ता कि लंबी दूरी पर कार का आत्मविश्वास बुरी तरह से हिल रहा है, जो ठीक उसी समय होता है जब दुर्घटना होने की संभावना सबसे अधिक होती है क्योंकि कार समय पर प्रतिक्रिया नहीं दे पाती।

2. नया समाधान: "परसेप्शन कैरेक्टरिस्टिक्स डिस्टेंस" (PCD)

लेखकों ने PCD नामक एक नया तरीका बनाया है जिससे दृष्टि को मापा जाता है। इसे एक "विश्वसनीय रेंज मीटर" के रूप में सोचें।

यह पूछने के बजाय कि, "आपने कितनी कारें देखीं?" PCD पूछता है:

"आप कितनी दूर तक किसी चीज़ को इतनी स्पष्टता से देख सकते हैं कि आप बिना घबराए अपने निर्णय पर भरोसा कर सकें?"

उदाहरण: कल्पना कीजिए कि आप गाड़ी चलाते समय सड़क के साइन बोर्ड को पढ़ने की कोशिश कर रहे हैं।

पुराना मीट्रिक: कुल मिलाकर आपने कितने अक्षरों को सही पहचाना, इसे गिनता है।
नया मीट्रिक (PCD): यह सटीक रूप से मापता है कि आप कितनी मीटर दूर तक जा सकते हैं इससे पहले कि वह साइन बोर्ड पढ़ने के लिए बहुत धुंधला या अस्थिर हो जाए। यदि साइन बोर्ड 50 मीटर तक पठनीय है, तो आपकी "विश्वसनीय रेंज" 50 मीटर है। यदि बारिश हो रही है, तो शायद वह रेंज घटकर 20 मीटर रह जाए।

3. "सेफ्टी एनवेलप" (सुरक्षा घेरा)

यह शोध पत्र "सेफ्टी एनवेलप" के विचार को पेश करता है।
कल्पना कीजिए कि कार सुरक्षा के एक बुलबुले के भीतर है।

बुलबुले के अंदर, कार की आँखें स्थिर हैं, और वह सुरक्षित निर्णय (जैसे ब्रेक लगाना या मुड़ना) ले सकती है।
बुलबुले के बाहर, दृष्टि बहुत अस्थिर है। कार को अतिरिक्त सावधानी बरतनी चाहिए या धीमी गति से चलना चाहिए।

PCD इस बुलबुले के किनारे को खींचने में मदद करता है। यह इंजीनियरों को बताता है: "भारी बारिश और रात के समय, आपका सुरक्षा बुलबुला 100 मीटर से घटकर 30 मीटर रह जाता है।" यात्रियों को सुरक्षित रखने के लिए यह जानकारी अत्यंत महत्वपूर्ण है।

4. "सेंसररेनफॉल" (SensorRainFall) डेटासेट

अपने नए मीटर को सिद्ध करने के लिए, लेखकों को एक आदर्श टेस्ट ट्रैक की आवश्यकता थी। उन्होंने SensorRainFall नामक एक डेटासेट बनाया।

सेटअप: उन्होंने वर्जीनिया में एक विशेष सड़क पर एक कार चलाई है जिसमें एक विशाल "मौसम मशीन" (फव्वारे) है जो आदेश पर भारी बारिश पैदा कर सकती है।
परीक्षण: उन्होंने चार परिदृश्यों में कार चलाई:
1. धूप वाला दिन
2. बारिश वाला दिन
3. बारिश वाली रात (अंधेरा)
4. स्ट्रीटलाइट्स के साथ बारिश वाली रात
लक्ष्य (Targets): उनके पास सड़क के किनारे एक लाल कार और एक डमी पैदल यात्री (एक नकली व्यक्ति) खड़ा था।

यह कार की आँखों के लिए एक "तनाव परीक्षण" (stress test) की तरह है। उन्होंने केवल डेटा को नहीं देखा; उन्होंने देखा कि दूरी बढ़ने के साथ बारिश में कार का आत्मविश्वास कैसे डगमगाता है।

5. परिणाम: यह क्यों मायने रखता है

उन्होंने अपने नए PCD मीटर का उपयोग करके 10 अलग-अलग AI मॉडल (आँखों के पीछे के "दिमाग") का परीक्षण किया और उनकी तुलना पुराने मानक परीक्षणों से की।

चौंकाने वाली बात:
कभी-कभी, एक AI मॉडल का पुराने परीक्षणों पर उच्च स्कोर था (जिसका अर्थ था कि वह चीजों को पहचानने में "अच्छा" था)। लेकिन जब उन्होंने नए PCD मीटर का उपयोग किया, तो उन्होंने पाया कि उस मॉडल की दृष्टि लंबी दूरी पर बहुत अस्थिर थी।

उदाहरण: यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में 'A' ग्रेड प्राप्त करता है लेकिन जब शिक्षक शोर-शराबे वाले कमरे में सवाल पूछता है, तो वह घबराकर जम जाता है। पुराने परीक्षण ने उस घबराहट को नहीं देखा; नए परीक्षण (PCD) ने उसे देख लिया।

नए मीट्रिक ने दिखाया कि बारिश और अंधेरा "विश्वसनीय रेंज" को काफी कम कर देते हैं। कुछ मॉडल जो धूप में बेहतरीन दिखते थे, वे बारिश में 30 मीटर के बाद लगभग बेकार हो गए।

सारांश

यह शोध पत्र "आपने कितनी चीजें देखीं?" से हटकर "आप जो देखते हैं उस पर आप कितनी दूर तक भरोसा कर सकते हैं?" की ओर बढ़ने के बारे में है।

दूरी और मौसम के संबंध में कार की दृष्टि की स्थिरता को मापकर, लेखक सेल्फ-ड्राइविंग कारों को सुरक्षित बनाने के लिए एक नया उपकरण प्रदान करते हैं। यह केवल दुनिया को देखने के बारे में नहीं है; यह इसे इतनी विश्वसनीयता से देखने के बारे में है कि जीवन-मरण के निर्णय लिए जा सकें। उन्होंने दुनिया को एक नया "बारिश वाला डेटासेट" भी दिया ताकि अन्य वैज्ञानिक भी इन कठिन परिस्थितियों में अपने कारों का परीक्षण कर सकें।

यहाँ शोध पत्र "Perception Characteristics Distance: Measuring Stability and Robustness of Perception System in Dynamic Conditions under a Certain Decision Rule" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वायत्त ड्राइविंग सिस्टम (ADS) और एडवांस्ड ड्राइवर-असिस्टेंस सिस्टम (ADAS) सटीक धारणा (perception) पर अत्यधिक निर्भर करते हैं। हालाँकि, वर्तमान मूल्यांकन मेट्रिक्स (जैसे, Average Precision, IoU, F1 score) स्थिर (static) और फ्रेम-स्तरीय (frame-level) हैं, जो AI धारणा आउटपुट की स्टोकेस्टिक प्रकृति (stochastic nature) और दूरी-निर्भर परिवर्तनशीलता (distance-dependent variability) को पकड़ने में विफल रहते हैं।

अंतराल (The Gap): वास्तविक दुनिया की ड्राइविंग में, दूरी बढ़ने के साथ डिटेक्शन कॉन्फिडेंस (detection confidence) में महत्वपूर्ण उतार-चढ़ाव आता है, भले ही वस्तु दृश्य रूप से निरंतर (visually continuous) हो। मानक मेट्रिक्स सभी दूरियों के प्रदर्शन को एकत्रित करते हैं और "विश्वसनीय डिटेक्शन रेंज" या गतिशील स्थितियों (जैसे, बारिश, कम रोशनी) के तहत सिस्टम की स्थिरता को नहीं दर्शाते हैं।
परिणाम (The Consequence): एक सिस्टम का mAP स्कोर उच्च हो सकता है लेकिन वह विशिष्ट दूरियों या विशिष्ट मौसम स्थितियों में विनाशकारी रूप से विफल हो सकता है, जिससे असुरक्षित निर्णय लेने (जैसे, गलत Time-to-Collision अनुमान) की स्थिति उत्पन्न हो सकती है।

2. कार्यप्रणाली (Methodology)

A. SensorRainFall डेटासेट

धारणा की मजबूती (perception robustness) के लिए नियंत्रित डेटा की कमी को दूर करने के लिए, लेखकों ने SensorRainFall डेटासेट पेश किया है:

स्रोत: वर्जीनिया स्मार्ट रोड्स सुविधा पर एकत्र किया गया।
स्थितियाँ: चार अलग-अलग परिदृश्य: स्पष्ट दिन का प्रकाश (Clear Daylight), वर्षा वाला दिन (Rainy Daylight), वर्षा वाली रात (Rainy Night), और स्ट्रीटलाइट के साथ वर्षा वाली रात (Rainy Night with Streetlights)। वर्षा की दर 64 mm/h पर नियंत्रित थी।
लक्ष्य (Targets): एक लाल सेडान और एक डमी पैदल यात्री (दृश्य निरंतरता के लिए पोंचो में लिपटा हुआ)।
एनोटेशन: कैमरा, रडार और LiDAR द्वारा कैप्चर की गई 1,231 अनुक्रमिक छवियों के लिए ग्राउंड-ट्रुथ बाउंडिंग बॉक्स, इंस्टेंस सेगमेंटेशन मास्क और सटीक दूरी माप (4 मीटर से 250 मीटर)।

B. परसेप्शन कैरेक्टर्सिस्टिक्स डिस्टेंस (PCD)

मुख्य योगदान PCD है, जो एक मीट्रिक है जो यह मात्रा निर्धारित करता है कि एक विशिष्ट निर्णय नियम (decision rule) के तहत एक धारणा प्रणाली अधिकतम कितनी दूरी तक किसी वस्तु का विश्वसनीय रूप से पता लगा सकती है।

इनपुट मीट्रिक: PCD स्थानिक सटीकता (spatial accuracy) और भविष्यवाणी निश्चितता (prediction certainty) के संयुक्त माप के रूप में IoU $\times$ Confidence Score का उपयोग करता है।
सांख्यिकीय मॉडलिंग (Statistical Modeling):
1. वेरिएंस चेंज पॉइंट डिटेक्शन (Variance Change Point Detection): यह विधि दूरी अक्ष (distance axis) के साथ उन बिंदुओं की पहचान करती है जहाँ IoU $\times$ Confidence स्कोर का वेरिएंस (variance) महत्वपूर्ण रूप से बदल जाता है। यह डेटा को विशिष्ट सांख्यिकीय गुणों वाले खंडों में विभाजित करता है।
2. वितरण धारणा (Distribution Assumption): प्रत्येक खंड के भीतर, दूरी $x_i$ पर स्कोर $y_i$ को एक सामान्य वितरण (normal distribution) के रूप में मॉडल किया गया है: $y_i \sim N(\mu_i, \sigma_i^2)$ ।
3. परिभाषा: PCD को अधिकतम दूरी $x_i$ के रूप में परिभाषित किया गया है जहाँ डिटेक्शन क्वालिटी थ्रेशोल्ड ( $y_{thres}$ ) से अधिक स्कोर होने की संभावना एक संभाव्यता थ्रेशोल्ड ( $p_{thres}$ ) से अधिक होती है:
  $PCD = \max \{x_i | P_Y(y_i > y_{thres}) > p_{thres}\}$
औसत PCD (aPCD): तुलना के लिए एक एकल स्केलर मान प्रदान करने के लिए, लेखक $y_{thres}$ और $p_{thres}$ के विभिन्न मानों के माध्यम से PCD सतह के नीचे के आयतन (volume) की गणना करते हैं, जो कि क्लासिफायर के प्रदर्शन को सारांशित करने वाले AUC के समान है।

C. प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: 10 स्टेट-ऑफ-द-आर्ट (SOTA) मॉडलों का मूल्यांकन किया गया (5 ऑब्जेक्ट डिटेक्शन, 5 इंस्टेंस सेगमेंटेशन), जिनमें Deformable DETR, Grounding DINO, YOLOX, GLIP, Mask R-CNN, और Mask2Former शामिल हैं।
प्रोटोकॉल: मॉडल्स का परीक्षण उनकी अंतर्निहित मजबूती (inherent robustness) का मूल्यांकन करने के लिए बिना फाइन-ट्यूनिंग के SensorRainFall डेटासेट पर किया गया।

3. मुख्य योगदान (Key Contributions)

नया मीट्रिक (PCD/aPCD): एक दूरी-जागरूक, अनिश्चितता-जागरूक मीट्रिक पेश किया गया जो स्थिर सटीकता से आगे बढ़कर धारणा प्रणालियों की स्थिरता (stability) और विश्वसनीयता (reliability) को पकड़ता है।
SensorRainFall डेटासेट: लेखकों ने पहला सार्वजनिक रूप से उपलब्ध, अत्यधिक नियंत्रित डेटासेट प्रदान किया है जो विशेष रूप से विभिन्न वर्षा और प्रकाश स्थितियों के तहत धारणा की मजबूती का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
सांख्यिकीय ढांचा (Statistical Framework): दूरी के साथ धारणा प्रदर्शन के क्षरण (degradation) को मॉडल करने के लिए पेनलाइज्ड स्प्लाइन्स (penalized splines) और परिकल्पना परीक्षण (hypothesis testing) के माध्यम से एक कठोर पद्धति विकसित की गई।
सेफ्टी एनवेलप परिभाषा (Safety Envelope Definition): यह प्रदर्शित किया गया कि कैसे PCD एक स्वायत्त ड्राइविंग सिस्टम के लिए "सेफ्टी एनवेलप" को परिभाषित कर सकता है, यह दिखाते हुए कि प्रतिकूल मौसम में परिचालन सीमाएँ कैसे सिकुड़ जाती हैं।

4. परिणाम (Results)

16 परिदृश्यों (4 स्थितियाँ $\times$ 2 लक्ष्य $\times$ 2 कार्य) में किए गए प्रयोगों ने महत्वपूर्ण अंतर्दृष्टि प्रदान की:

पारंपरिक मेट्रिक्स से विचलन (Divergence from Traditional Metrics):
- उदाहरण 1: स्पष्ट दिन के प्रकाश में, Mask2Former ने उच्चतम aPCD (107 मीटर) और उच्च पारंपरिक स्कोर प्राप्त किया।
- उदाहरण 2 (वर्षा वाली रात): GLIP ने उच्चतम aPCD (37.3 मीटर) प्राप्त किया, जबकि DyHead की AP50:95 अधिक होने के बावजूद, GLIP ने स्थिर आउटपुट बनाए रखा, जबकि DyHead ने लंबी दूरी पर उच्च उतार-चढ़ाव और एक "फेलियर टेल" (confidence में अचानक गिरावट) दिखाया। पारंपरिक मेट्रिक्स इस अस्थिरता को पकड़ने में विफल रहे।
- उदाहरण 3 (पैदल यात्री): Mask2Former का aPCD उच्चतम था, जबकि ConvNeXt-V2 का AP उच्चतम था। Mask2Former ने कम दूरी पर अधिक अनुमानित और स्थिर प्रतिक्रिया दी, जबकि ConvNeX-V2 ने उच्च समग्र स्कोर के बावजूद अत्यधिक उतार-चढ़ाव दिखाया।
पर्यावरणीय प्रभाव (Environmental Impact): स्पष्ट दिन के प्रकाश की तुलना में वर्षा और कम रोशनी की स्थितियों में PCD मान काफी कम हो गए, जो धारणा प्रणालियों की कम विश्वसनीयता को सटीक रूप से दर्शाते हैं।
थ्रेशोल्ड संवेदनशीलता (Threshold Sensitivity): अध्ययन ने दिखाया कि PCD लचीला है; कम थ्रेशोल्ड डिटेक्शन रेंज को बढ़ाते हैं (आपातकालीन ब्रेकिंग के लिए उपयोगी), जबकि उच्च थ्रेशोल्ड सख्त विश्वसनीयता सुनिश्चित करते हैं (लेन कीपिंग के लिए उपयोगी)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सुरक्षा-महत्वपूर्ण मूल्यांकन (Safety-Critical Evaluation): PCD यह मात्रा निर्धारित करके कि सिस्टम कब और कहाँ विफल होने की संभावना है, केवल यह बताकर नहीं कि वह औसतन कितनी बार सही है, ADS सुरक्षा का अधिक यथार्थवादी मूल्यांकन प्रदान करता है।
परिचालन डिजाइन (Operational Design): यह मीट्रिक इंजीनियरों को परिचालन डिजाइन डोमेन (ODD) के आधार पर विशिष्ट "सेफ्टी एनवेलप" को परिभाषित करने की अनुमति देता है, जिससे संभावित परिणामों की गंभीरता के आधार पर थ्रेशोल्ड को समायोजित किया जा सकता है।
भविष्य का प्रभाव: स्थिर मेट्रिक्स की सीमाओं को उजागर करके, यह कार्य अगली पीढ़ी के स्वायत्त वाहनों की मजबूती सुनिश्चित करने के लिए अनिश्चितता-जागरूक, दूरी-निर्भर मूल्यांकन की ओर बढ़ने की वकालत करता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि स्वायत्त ड्राइविंग के लिए दूरी के साथ स्थिरता (stability over distance), सटीकता (accuracy) जितनी ही महत्वपूर्ण है, और PCD वह उपकरण है जिसकी आवश्यकता इसे मापने के लिए है।