Conflict inherits the frame: bin geometry and BPA construction in evidential fusion of quantised continuous evidence
यह शोध पत्र यह प्रदर्शित करता है कि क्वांटाइज्ड निरंतर डेटा के डेम्पस्टर-शेफ़र साक्ष्य संलयन (Dempster-Shafer evidential fusion) में, बिनिंग फ्रेम की ज्यामिति कृत्रिम रूप से संघर्ष मापों को साक्ष्य स्थिति के साथ भ्रमित करती है, जिससे इस पूर्वाग्रह को सुधारने के लिए एक प्रस्तावित अतिरिक्त-संघर्ष सांख्यिकी (excess-conflict statistic) का प्रस्ताव दिया गया है, जबकि यह भी प्रकट होता है कि मानक संयोजन नियम अक्सर बेयसियन उत्पादों (Bayesian products) में सिमट जाते हैं जिनका सॉफ्टवेयर भेद्यता शोषण (software vulnerability exploitation) की भविष्यवाणी करने में नगण्य प्रभावकारिता अंतर होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि तीन अलग-अलग विशेषज्ञों से पूछकर यह तय करने की कोशिश की जा रही है कि कोई सॉफ़्टवेयर दोष कितना खतरनाक है। प्रत्येक विशेषज्ञ एक संख्या देता है, लेकिन वे शायद ही कभी सहमत होते हैं। कभी कोई कहता है कि दोष एक मामूली परेशानी है, तो दूसरा उसे एक गंभीर खतरा बताता है। इस असहमति को समझने के लिए, शोधकर्ता अक्सर एक ऐसे गणितीय तंत्र का उपयोग करते हैं जिसे अनिश्चित मतों को एक एकल, स्पष्ट चित्र में मिलाने के लिए डिज़ाइन किया गया है। यह प्रणाली संभावनाओं की एक निरंतर सीमा—जैसे शून्य से दस तक का पैमाना—को लेकर उसे विशिष्ट 'बकेट' (buckets) में विभाजित करती है, जैसे कि "कम," "मध्यम," "उच्च," और "गंभीर।" विचार यह है कि एक बार जब संख्याओं को इन बकेट्स में छाँट दिया जाता है, तो सिस्टम यह गणना कर सकता है कि विशेषज्ञ आपस में कितना असहमत हैं और उस असहमति का उपयोग जोखिम का निर्णय लेने के लिए कर सकता है। दशकों से, यह विधि चिकित्सा निदान से लेकर सुरक्षा विश्लेषण तक के क्षेत्रों में एक मानक उपकरण रही है, जो बिखरे हुए, परस्पर विरोधी डेटा को एक विश्वसनीय निर्णय में बदलने के लिए भरोसेमंद मानी जाती है।
हालाँकि, एक नया अध्ययन बताता है कि इन बकेट्स का आकार कैसे गुप्त रूप से परिणामों को विकृत कर रहा है। वैलाहिया यूनिवर्सिटी ऑफ तार्गोविस्ते के शोधकर्ता एलेना उड्रेसकू, अलेक्जेंड्रू उड्रेसकू, एना-मारिया सुडुक और मिहाई बीज़ोई ने सॉफ़्टवेयर कमजोरियों के वास्तविक दुनिया के डेटा का उपयोग करके इस प्रक्रिया की जांच की। उन्होंने हजारों रिकॉर्ड्स का अध्ययन किया जहाँ विभिन्न संगठनों ने एक ही सुरक्षा दोषों को गंभीरता स्कोर दिए थे। उनका लक्ष्य यह देखना था कि क्या इन स्कोर्स को मानक गणितीय नियमों का उपयोग करके संयोजित करना वास्तव में उन दोषों की पहचान करने में मदद करता है जिनका हैकर्स द्वारा सक्रिय रूप से शोषण किया जा रहा है, या क्या यह तरीका केवल एक अंतर्दृष्टि का भ्रम पैदा कर रहा है। उन्होंने पाया कि बकेट्स का आकार ही अधिकांश काम कर रहा था, जिससे अक्सर सिस्टम वहां उच्च असहमति रिपोर्ट करता था जहां विशेषज्ञ वास्तव में सहमत थे, और इसके विपरीत भी।
शोधकर्ताओं ने डेटा की जांच कॉमन वल्नरेबिलिटी स्कोरिंग सिस्टम (CVSS) से शुरू की, जो सॉफ़्टवेयर दोषों का वर्णन करने के लिए मानक भाषा है। यह प्रणाली स्कोर्स को चार बैंडों में विभाजित करती है: कम, मध्यम, उच्च और गंभीर। समस्या यह है कि ये बैंड समान आकार के नहीं हैं। "कम" बैंड संख्याओं की एक विस्तृत श्रृंखला को कवर करता है, जबकि "गंभीर" बैंड बहुत संकीर्ण है। जब शोधकर्ताओं ने डेटा को मानक संयोजन प्रणाली में डाला, तो उन्होंने तर्क में एक छिपे हुए दोष की खोज की। सिस्टम एक संकीर्ण बकेट की संकीर्णता को संघर्ष के संकेत के रूप में मान रहा था। यदि दो विशेषज्ञों ने ऐसे स्कोर दिए जो एक संकीर्ण बकेट के किनारे के पास थे, तो सिस्टम उच्च स्तर की असहमति की गणना करता था, भले ही विशेषज्ञ वास्तव में अपने मूल्यांकन में बहुत करीब थे। इसके विपरीत, यदि स्कोर एक विस्तृत बकेट के बीच में थे, तो सिस्टम कम असहमति रिपोर्ट करता था, भले ही स्कोर काफी दूर हों। बकेट्स की ज्यामिति विशेषज्ञों की वास्तविक राय पर हावी हो रही थी।
इसे सिद्ध करने के लिए, टीम ने असहमति को मापने का एक नया तरीका बनाया जिसने बकेट के आकारों के प्रभाव को हटा दिया। उन्होंने मानक पद्धति की तुलना इस संशोधित संस्करण से की। परिणाम चौंकाने वाले थे। मानक पद्धति ने सुझाव दिया कि विशेषज्ञ कम गंभीर दोषों की तुलना में अधिक गंभीर दोषों के बारे में अधिक असहमत थे, एक ऐसा पैटर्न जो सतह पर तो समझ में आता है। लेकिन संशोधित पद्धति ने ठीक इसके विपरीत दिखाया: विशेषज्ञ वास्तव में मध्यम दोषों के बारे में अधिक असहमत थे और गंभीर दोषों पर अधिक सहमत थे। मूल पद्धति इस तथ्य से भ्रमित हो गई थी कि 'क्रिटिकल' श्रेणी इतनी संकीर्ण थी कि स्कोर में कोई भी छोटा अंतर गणना को उच्च संघर्ष की स्थिति में धकेल देता था। इस ज्यामितीय पूर्वाग्रह को हटाकर, शोधकर्ताओं ने दिखाया कि मानक उपकरण वास्तविक साक्ष्य के बजाय श्रेणियों के आकार की रिपोर्ट कर रहा था।
अध्ययन ने यह भी देखा कि विशेषज्ञों के स्कोर्स को सिस्टम के इनपुट में कैसे परिवर्तित किया जाता है। एक सामान्य अभ्यास यह है कि एक विशिष्ट स्कोर को पूरी तरह से उस एकल बकेट को सौंप दिया जाता है जिसमें वह आता है, यह अनदेखा करते हुए कि स्कोर एक निरंतर रेखा पर एक बिंदु है। शोधकर्ताओं ने पाया कि यह "क्रिस्प" (crisp) दृष्टिकोण पूरे असहमति के विचार को एक साधारण हाँ-या-ना के फ्लैग में बदल देता है। यदि विशेषज्ञ एक ही बकेट में आते, तो सिस्टम शून्य संघर्ष देखता। यदि वे अलग-अलग बकेट में जाते, तो वह अधिकतम संघर्ष देखता। इस बाइनरी दृष्टिकोण ने बीच की सूक्ष्मताओं को छोड़ दिया। जब शोधकर्ताओं ने एक "ग्रेडेड" (graded) दृष्टिकोण का उपयोग किया, जो अनिश्चितता को दर्शाने के लिए स्कोर को पड़ोसी बकेट्स में फैला देता है, तो सिस्टम ने सूक्ष्म अंतर देखने की अपनी क्षमता पुनः प्राप्त कर ली। हालाँकि, इस सुधार के साथ भी, जब तक नया सुधार लागू नहीं किया जाता, तब तक बकेट्स की अंतर्निहित ज्यामिति परिणामों को प्रभावित करती रही।
जब टीम ने यह परीक्षण किया कि विशेषज्ञों के विचारों को संयोजित करना वास्तव में वास्तविक दुनिया में शोषण की जा रही कमजोरियों की भविष्यवाणी करने में मदद करता है या नहीं, तो परिणाम निराशाजनक थे। उन्होंने विभिन्न संगठनों के 13,000 से अधिक मूल्यांकनों का विश्लेषण किया, यह देखते हुए कि क्या संयुक्त स्कोर एकल सर्वश्रेष्ठ विशेषज्ञ पर भरोसा करने से बेहतर था। उत्तर 'नहीं' था। चाहे वे स्कोर्स को कैसे भी संयोजित करें, चाहे मानक नियमों का उपयोग करें या नए सुधारों का, संलयित (fused) परिणाम एकल सर्वश्रेष्ठ स्रोत से बेहतर प्रदर्शन नहीं कर सका। एकमात्र तरीका जो थोड़ा बेहतर था, वह था दो स्कोर्स में से निचले स्कोर को लेना, लेकिन शोधकर्ताओं ने चेतावनी दी कि यह डेटा संग्रह के तरीके का एक आर्टिफैक्ट हो सकता है न कि कोई वास्तविक अंतर्दृष्टि। वास्तव में, अध्ययन ने पाया कि मानक संयोजन नियम कई मामलों में एक सरल औसत के गणितीय रूप से समकक्ष थे, जिसका अर्थ है कि जटिल मशीनरी कोई वास्तविक मूल्य नहीं जोड़ रही थी।
अध्ययन के एक महत्वपूर्ण हिस्से ने एक डेटा मुद्दे को भी उजागर किया जो छिपा हुआ था। डेटाबेस में कई "दूसरे मत" वास्तव में उन संगठनों से स्वतंत्र मूल्यांकन नहीं थे जिन्होंने मूल रूप से दोषों की रिपोर्ट की थी। इसके बजाय, वे एक सरकारी एजेंसी के स्वचालित अपडेट थे जो अक्सर मूल स्कोर की नकल ही करते थे। जब शोधकर्ताओं ने इन्हें फ़िल्टर किया, तो वास्तविक स्वतंत्र स्रोतों के बीच असहमति काफी बढ़ गई। इसने खुलासा किया कि पिछले अध्ययनों ने अनजाने में खुद की नकल की तुलना करके विशेषज्ञों के बीच वास्तविक असहमति को कम करके आंका होगा।
शोधकर्ताओं ने निष्कर्ष निकाला कि अनिश्चित साक्ष्य को जोड़ने वाले उपकरण श्रेणियों के डिज़ाइन के प्रति पहले की तुलना में कहीं अधिक संवेदनशील हैं। उन्होंने दिखाया कि संघर्ष का मानक माप अक्सर बकेट के आकार का दर्पण होता है न कि मानवीय असहमति का प्रतिबिंब। हालांकि जटिल गणितीय नियम इस विशिष्ट मामले में वास्तविक खतरे की भविष्यवाणी करने में सुधार नहीं कर सके, लेकिन अध्ययन ने डेटा को पढ़ने के लिए एक महत्वपूर्ण सुधार प्रदान किया। बकेट्स के आकार के लिए समायोजन करके, विश्लेषक अब असहमति के वास्तविक स्तर को देख सकते हैं। सबक यह है कि अनिश्चित जानकारी को संयोजित करने की खोज में, श्रेणियों को परिभाषित करने का तरीका स्वयं जानकारी के समान महत्वपूर्ण है। बकेट्स के आकार पर ध्यान दिए बिना, हम उन पैटर्न को देखने का जोखिम उठाते हैं जो केवल हमारे अपने मापन उपकरणों की छाया मात्र हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।