Evidence Quality in Assurance-Oriented Benchmark Construction

तकनीकी सारांश: एश्योरेंस-ओरिएंटेड बेंचमार्क निर्माण में साक्ष्य गुणवत्ता (Evidence Quality)

समस्या विवरण
सार्वजनिक सॉफ्टवेयर घटनाओं (भेद्यता परामर्श, रिपॉजिटरी इश्यू, घटना रिपोर्ट) से निर्मित एश्योरेंस-ओरिएंटेड बेंचमार्क एक मौलिक साक्ष्य-गुणवत्ता समस्या को विरासत में प्राप्त करते हैं। जबकि एक पैच या सुधारा गया राज्य दृश्यमान हो सकता है, डाउनस्ट्रीम एश्योरेंस विश्लेषण के लिए आवश्यक सिमेंटिक दावे—जैसे कि प्रभावित अवस्था का पुनर्निर्माण, परिनियोजन संदर्भ (deployment context), रीप्ले निर्णय, ऑरेकल व्यवहार्यता (oracle feasibility), और रिलीज़ स्थितियाँ—अक्सर अपूर्ण या संदिग्ध होते हैं। मौजूदा कार्य (जैसे, Vul4J, ReposVul) ने पुनरुत्पादकता और आंतरिक डेटा गुणवत्ता (सटीकता, निरंतरता, पूर्णता) के लिए सार्वजनिक भेद्यताओं को फ़िल्टर करने की आवश्यकता को स्थापित किया है। हालाँकि, एक संकीर्ण अंतराल शेष है: सॉफ्टवेयर एश्योरेंस के लिए एक पुनर्निर्मित सिस्टम प्रतिनिधित्व (reconstructed system representation) बनाने के लिए आवश्यक कार्य-सापेक्ष साक्ष्य गुणवत्ता (task-relative evidence quality)। विशेष रूप से, भले ही एक प्रभावित/सुधारित जोड़ा उपलब्ध हो, विश्लेषकों को स्रोत/परिणाम सीमाओं (source/consequence boundaries), संदर्भ क्षेत्रों, और प्रवर्तन गतिविधियों (enforcement activities) को तैयार करना होता है जो सार्वजनिक रिकॉर्ड स्पष्ट रूप से नहीं बताते हैं। इन "तैयार किए गए सिमेंटिक्स" (authored semantics) की साक्ष्य स्थिति सरल स्रोत उपलब्धता से भिन्न है, और सार्वजनिक रिलीज प्रतिबंधित हो सकती है भले ही तकनीकी पुनर्निर्माण संभव हो।

कार्यप्रणाली (Methodology)
यह अध्ययन सॉफ्टवेयर-इंजीनियरिंग पारदर्शिता सिद्धांतों का पालन करते हुए एक अन्वेषणात्मक अनुभवजन्य केस-स्टडी दृष्टिकोण अपनाता है। विश्लेषण की इकाई एक घटना-व्युत्पन्न प्रभावित/सुधारित मामला है।

1. AIRR-40 रजिस्ट्री निर्माण: लेखक ने सार्वजनिक टूल-इस्तेमाल-करने वाले एजेंट (tool-using-agent) और मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) घटनाओं का एक जमा हुआ (frozen) 40-केस फ्रेम निर्मित किया। यह रजिस्ट्री, AIRR-40, 49 क्षेत्रों को कवर करती है जिसमें सार्वजनिक साक्ष्य पॉइंटर्स, टाइमस्टैम्प, स्रोत स्तर (source strata), पैच उपलब्धता, परिनियोजन पुनर्निर्माण क्षमता, रीप्ले-ट्राइएज स्थिति, ऑरेकल व्यवहार्यता, रिलीज क्षमता, और युग्मित-नियंत्रण उपलब्धता शामिल है।
2. योग्यता प्रोटोकॉल (Qualification Protocol): मामलों की जांच एक "कठोर" (strict) परिभाषा (सटीक-अपस्ट्रीम निष्ठा और विशिष्ट रिलीज स्थितियों की आवश्यकता) और एक "उदार" (lenient) परिभाषा (जो रीप्ले-निर्णयक्षमता के साथ मेल खाती है) के विरुद्ध की गई। अवरोधकों (blockers) को गैर-अनन्य श्रेणियों (जैसे, पुनर्निर्माण, रिलीज क्षमता, युग्मन) के रूप में दर्ज किया गया।
3. गहन साक्ष्य-बद्ध प्रतिनिधित्व ऑडिट (Deep Evidence-Bounded Representation Audit): 10 मामलों के एक उपसमुच्चय (8 सख्त प्राथमिक, 2 उदार-केवल स्ट्रेस मामले) का गहन ऑडिट किया गया। इसमें शामिल था:
   • प्रभावित/सुधारित आर्टिफैक्ट्स का स्वतंत्र पुनः अधिग्रहण।
   • एक प्रतिनिधित्व $R = (G, \Gamma, P, U)$ का निर्माण, जहाँ $G$ स्रोत-से-परिणाम ग्राफ है, $\Gamma$ विश्लेषक-सापेक्ष सिमेंटिक्स (क्षमताएं, संदर्भ, बाइंडिंग, रूपांतरण, गतिविधि) का प्रतिनिधित्व करता है, $P$ तत्वों को नाममात्र उत्पत्ति श्रेणियों (nominal provenance categories) से मैप करता है, और $U$ अनसुलझे विकल्पों को रिकॉर्ड करता है।
   • 190 प्रतिनिधित्व पंक्तियों का नाममात्र उत्पत्ति श्रेणियों (जैसे, Direct Anchor Supported, Synthesis Explicit) में वर्गीकरण।
   • यह सत्यापन कि सभी 52 विश्लेषक-प्रासंगिक सिमेंटिक गुण स्वतंत्र ग्राउंड ट्रुथ के बजाय स्रोत-सूचित (source-informed) थे।
4. विश्लेषक की भूमिका: पथ/क्षमता मध्यस्थता (path/capability mediation) और संदर्भ बाइंडिंग की जाँच के लिए दो विश्लेषकों (A0 और A1) का उपयोग किया गया। अध्ययन इस बात पर केंद्रित है कि कैसे अनसुलझे अनुमान (विशेष रूप से केस C4 में) विभिन्न स्वीकार्य असाइनमेंट (fail-open बनाम fail-closed) के तहत स्थिर एश्योरेंस निष्कर्षों को बदलते हैं।

मुख्य परिणाम

• योग्यता क्षरण (Qualification Attrition): 40 उम्मीदवारों में से, 39/40 ने एक पैच या सुधारा गया राज्य प्रदर्शित किया। हालाँकि, केवल 20/40 ही सख्त युग्मित मानदंडों को पूरा करते थे। "पैच उपलब्ध" और "सख्त समावेशन" के बीच का अंतर यह उजागर करता है कि तकनीकी सुधार एश्योरेंस-तैयार साक्ष्य की गारंटी नहीं देते हैं।
• ब्लॉकर डिकंपोजिशन: 15 प्रीफिक्स उत्तरजीवियों में, जो सख्त समावेशन में विफल रहे, सबसे बार-बार आने वाले गैर-अनन्य ब्लॉकर थे:
  • पुनर्निर्माण (Reconstruction) (14 मामले)
  • रिलीज क्षमता (Releaseability) (9 मामले)
  • रीप्ले/स्रोत समाधान (Replay/Source Resolution) (4 मामले)
  • युग्मन (Pairing) (3 मामले)
  • ऑरेकल व्यवहार्यता (Oracle Feasibility) (1 मामला)
  • नोट: केस C38 तकनीकी रूप से पुनर्निर्मित योग्य (exact-upstream) था लेकिन केवल सशर्त रिलीज क्षमता (Conditional releaseability) के कारण बाहर कर दिया गया, जो दर्शाता है कि रिलीज प्रतिबंध तकनीकी साक्ष्य गुणवत्ता से स्वतंत्र हो सकते हैं।
• प्रोवेनेंस ऑडिट: 190 पंक्तियों के गहन ऑडिट में, सभी 52 विश्लेषक-प्रासंगिक सिमेंटिक गुण स्वतंत्र ग्राउंड ट्रुथ के बजाय स्रोत-सूचित (source-informed) थे। गहरे उपसमुच्चय में कोई प्रत्यक्ष या केवल प्रलेखित परिणाम सीमा (consequence boundary) मौजूद नहीं थी; प्रत्येक घोषित परिणाम सिंक (consequence sink) अनुमानित था।
• निष्कर्ष-प्रासंगिक अनिश्चितता (केस C4): केस C4 ने प्रदर्शित किया कि एक अनसुलझा प्रवर्तन-गतिविधि क्षेत्र (enforcement-activity field) असाइनमेंट के आधार पर अलग-अलग फिक्स्ड-स्टेट निष्कर्ष प्रदान करता है (fail-open बनाम fail-closed)। एक असाइनमेंट के तहत, परिणाम Witness है; दूसरे के तहत, यह No-Witness-under-Abstraction है। यह सिद्ध करता है कि अनसुलझे विकल्प ($U$) केवल दस्तावेजीकरण ओवरहेड नहीं हैं, बल्कि मौलिक रूप से एश्योरेंस निष्कर्षों को बदल सकते हैं।

मुख्य योगदान

1. साक्ष्य गुणवत्ता का अनुभवजन्य लक्षण वर्णन: अध्ययन सार्वजनिक प्रकटीकरण और सख्त एश्योरेंस-तैयार बेंचमार्क (39/40 बनाम 20/40) के बीच के अंतर को मापता है और उन विशिष्ट अवरोधों (पुनर्निर्माण, रिलीज क्षमता, आदि) को डिकंपोज करता है जो समावेशन को रोकते हैं।
2. एलिमेंट-लेवल प्रोवेनेंस ऑडिट: यह विश्लेषक-सापेक्ष सिमेंटिक्स ($\Gamma$), नाममात्र उत्पत्ति ($P$), और अनसुलझे विकल्पों ($U$) को अलग करने के लिए एक ढांचा पेश करता है, यह स्पष्ट रूप से चिह्नित करता है कि स्रोत-जोड़ा रिकवरी स्वचालित रूप से सिमेंटिक क्षेत्रों के लिए स्वतंत्र ग्राउंड ट्रुथ प्रदान नहीं करती है।
3. अनिश्चितता सीमाओं की पहचान: केस C4 के माध्यम से, अध्ययन प्रदर्शित करता है कि अनसुलझे प्रतिनिधित्व धारणाएं स्थिर एश्योरेंस निष्कर्षों को बदल सकती हैं, यह तर्क देते हुए कि अनसुलझे विकल्पों को नकारात्मक निष्कर्षों में जबरन डालने के बजाय प्रथम श्रेणी की संस्थाओं के रूप में रहना चाहिए।
4. AIRR-40 संसाधन: एक पुन: प्रयोज्य, जमा हुआ 40-केस, 49-फील्ड रजिस्ट्री, जिसमें 20-केस सटीक-अपस्ट्रीम सख्त मैनिफेस्ट, सार्वजनिक साक्ष्य पॉइंटर्स और पुनरुत्पादकता आर्टिफैक्ट्स शामिल हैं, का विमोचन।

महत्व और दावे
यह शोध स्पष्ट रूप से निम्नलिखित का दावा नहीं करता है:

• जनसंख्या तत्परता या डिटेक्टर सटीकता का अनुमान लगाना।
• एक नया ISO/IEC 25012 डेटा गुणवत्ता मॉडल या सार्वभौमिक ऑर्डिनल साक्ष्य-शक्ति स्केल प्रस्तावित करना।
• डिटेक्टरों के लिए प्रशिक्षण कॉर्पस के रूप में कार्य करना।
• सामान्य सार्वजनिक भेद्यता फ़िल्टरिंग में नवीनता का दावा करना (Vul4J और Croft et al. जैसे पूर्व कार्यों को स्वीकार करते हुए)।

इसके बजाय, महत्व एश्योरेंस-ओरिएंटेड बेंचमार्क निर्माण के लिए साक्ष्य गुणवत्ता को लक्षणित करने में निहित है। अध्ययन तर्क देता है कि टूल-इस्तेमाल करने वाले एजेंटों और एश्योरेंस अध्ययनों के लिए, साक्ष्य की "उपयुक्तता" (fitness) केवल एक पैच की उपस्थिति से नहीं, बल्कि सिस्टम प्रतिनिधित्व के पुनर्निर्माण की क्षमता, रिलीज की व्यवहार्यता, और अनसुलझे सिमेंटिक विकल्पों के स्पष्ट प्रबंधन से निर्धारित होती है। AIRR-40 संसाधन शोधकर्ताओं को इन कार्य-सापेक्ष गुणवत्ता स्थितियों का निरीक्षण करने, परिणामों की पुनर्गणना करने और अध्ययन के सख्त मानदंडों को सार्वभौमिक नियमों के रूप में स्वीकार किए बिना वैकल्पिक स्वीकार्यता नीतियों को लागू करने की अनुमति देता है। निष्कर्ष एक चेतावनी के रूप में कार्य करते हैं कि $R \neq S$ (प्रतिनिधित्व $\neq$ सिस्टम) और यदि अंतर्निहित साक्ष्य में विशिष्ट सिमेंटिक प्रोवेनेंस की कमी है तो एश्योरेंस प्रश्न गलत तरीके से प्रस्तुत (ill-posed) हो सकते हैं।