तकनीकी सारांश: ReproScore: अनुसंधान सॉफ्टवेयर पुनरुत्पादकता मूल्यांकन में तत्परता (Readiness) को परिणाम (Outcome) से अलग करना

1. समस्या विवरण

डिजिटल लाइब्रेरी (जैसे Zenodo, Software Heritage) लाखों अनुसंधान सॉफ्टवेयर आर्टिफैक्ट्स का संग्रह करती हैं, लेकिन उनमें यह आकलन करने के लिए स्केलेबल इंफ्रास्ट्रक्चर की कमी है कि क्या वे आर्टिफैक्ट्स वास्तव में निष्पादन योग्य (executable) हैं। मौजूदा स्वचालित मूल्यांकन उपकरण एक गंभीर दोष से ग्रस्त हैं: वे तत्परता (स्थिर रिपॉजिटरी पूर्णता, जैसे README या requirements.txt की उपस्थिति) और परिणाम (वास्तविक निष्पादन सफलता) के बीच अंतर करने में विफल रहते हैं।

यह "तत्परता-परिणाम संलयन" (readiness–outcome conflation) एक गलत धारणा की ओर ले जाता है कि एक पूर्ण स्थिर दस्तावेजीकरण वाली रिपॉजिटरी के चलने की संभावना अधिक है। वास्तव में, एक रिपॉजिटरी में उत्कृष्ट स्थिर संकेत हो सकते हैं, फिर भी वह ट्रांसिटिव डिपेंडेंसी संघर्षों (transitive dependency conflicts), अप्राप्य डेटा, या रनटाइम वातावरण संबंधी समस्याओं के कारण विफल हो सकती है जिसे स्टेटिक विश्लेषण नहीं पकड़ सकता। वर्तमान उपकरण या तो स्टेटिक विश्लेषण (निष्पादन को अनदेखा करते हुए) पर निर्भर हैं या महंगे, विशेषज्ञ-संचालित सैंडबॉक्स्ड निष्पादन (स्केलेबिलिटी की कमी) की आवश्यकता रखते हैं। एक ऐसे ढांचे की आवश्यकता है जो स्पष्ट रूप से पुनरुत्पादकता की क्षमता (तत्परता) और निष्पादन के वास्तविक परिणाम (परिणाम) के बीच अंतर कर सके, जिससे क्यूरेटरों को केवल बाइनरी पास/फेल भविष्यवाणी के बजाय नैदानिक जानकारी मिल सके।

2. कार्यप्रणाली: ReproScore आर्किटेक्चर

ReproScore एक दो-स्तरीय ढांचा है जिसे तत्परता और निष्पादन परिणाम को अलग करने के लिए डिज़ाइन किया गया है, जो उन्हें एक कवरेज-अनुकूलित कंपोजिट स्कोर में संयोजित करता है।

टियर 1: पुनरुत्पादकता तत्परता स्कोर (RRS)

RRS एक स्टेटिक, हमेशा उपलब्ध रहने वाला मीट्रिक है जिसे स्थानीय रूप से क्लोन की गई रिपॉजिटरी के नियतात्मक (deterministic), नियम-आधारित विश्लेषण के माध्यम से गणना किया जाता है। इसके लिए कोड निष्पादन की आवश्यकता नहीं होती है।

• संरचना: RRS 26 परमाणु उप-मीट्रिक्स से बना है जो पाँच श्रेणियों में विभाजित हैं:
  1. पर्यावरण (E, भार 0.30): डिपेंडेंसी का विनिर्देश, कंटेनरीकरण और रनटाइम संस्करण।
  2. डेटा (A, भार 0.25): इनपुट डेटा की सुलभता, पॉइंटर्स और अधिग्रहण विधियां।
  3. दस्तावेजीकरण (D, भार 0.20): निष्पादन निर्देश, एंट्री पॉइंट्स और उपयोग के उदाहरणों की उपस्थिति।
  4. कोड पोर्टेबिलिटी (C, भार 0.15): एब्सोल्यूट पाथ (absolute paths), हार्डकोडेड क्रेडेंशियल्स, और अनरिज़ोल्वेबल इम्पॉर्ट्स की अनुपस्थिति।
  5. पुनरुत्पादकता संकेत (S, भार 0.10): सीड मैनेजमेंट (seed management) और निष्पादन क्रम जैसे डिटर्मिनिज्म संकेत।
• स्कोरिंग लॉजिक:
  • गेट फंक्शन: एक पावर-लॉ गेट फंक्शन $g(x, \tau, k)$ सब-थ्रेशोल्ड स्कोर को नॉन-लीनियर रूप से दंडित करता है। $\tau$ से कम स्कोर को संकुचित किया जाता है, जो इस क्यूरेशन नीति को दर्शाता है कि गंभीर कमियां (जैसे पर्यावरण विनिर्देश की कमी) अत्यधिक हानिकारक होती हैं।
  • दंड (Penalties): पर्यावरण विनिर्देशों या डेटा आर्टिफैक्ट्स की पूर्ण अनुपस्थिति के लिए हार्ड पेनल्टी ($P_{hard}$) और बिना सीड मैनेजमेंट के स्टोकेस्टिक ऑपरेशंस के लिए दंड ($P_{seed}$) लागू किए जाते हैं।
  • फॉर्मूला: $RRS = 100 \cdot \sum (w_i \cdot g(x_i)) - \text{penalties}$।
• Tier 2: पुनरुत्पादकता परिणाम स्कोर (ROS)
  ROS एक वैकल्पिक, निष्पादन-आधारित मीट्रिक है जिसे तब गणना किया जाता है जब एक सैंडबॉक्स्ड वातावरण (जैसे repo2docker, nbconvert) उपलब्ध होता है।
• घटक: यह छह प्रोब्स को एकत्रित करता है: इंस्टालेशन सफलता ($I$), निष्पादन सफलता ($X$), आउटपुट डेटर्मिनिज्म ($\Delta$), नोटबुक निष्पादन दर ($N$), इम्पॉर्ट सफलता दर ($E'$), और टेस्ट पास रेट ($T$)।
• नॉर्मलाइजेशन: ROS उपलब्ध घटकों का एक वेटेड सम (weighted sum) है, जिससे आंशिक निष्पादन डेटा उपलब्ध होने पर भी स्कोर की गणना संभव होती है।

कंपोजिट स्कोर (RCS)

ReproScore कंपोजिट (RCS) निष्पादन साक्ष्य की मात्रा के आधार पर RRS और ROS को मिश्रित करता है।

• कवरेज वेट ($\alpha$): एक पैरामीटर जो 0 से अधिकतम 0.70 तक स्केल करता है। यह सुनिश्चित करता है कि स्टैटिक तत्परता कभी भी निष्पादन परिणामों द्वारा पूरी तरह से हावी न हो जाए, यह स्वीकार करते हुए कि एक सफल रन दस्तावेजीकरण या पोर्टेबिलिटी को मान्य नहीं करता है।
• फॉर्मूला: $RCS = (1 - \alpha) \cdot RRS + \alpha \cdot ROS$। यदि कोई निष्पादन डेटा मौजूद नहीं है, तो $RCS = RRS$।

कम्युनिटी रूब्रिक मैकेनिज्म

ReproScore एक वर्जन्ड YAML प्रोफाइल के माध्यम से मूल्यांकन प्राथमिकताओं को बाहरी बनाता है। यह विभिन्न समुदायों (जैसे बायोइन्फॉर्मेटिक्स बनाम सामान्य सॉफ्टवेयर) को सोर्स कोड को संशोधित किए बिना डिफ़ॉल्ट वेट और गेट थ्रेशोल्ड को ओवरराइड करने की अनुमति देता है। यह क्यूरेशन नीतियों को स्पष्ट, ऑडिट योग्य और संस्थाओं के बीच पोर्टेबल बनाता है।

3. मुख्य योगदान

1. वैचारिक पृथक्करण: एक औपचारिक दो-स्तरीय आर्किटेक्चर (RRS/ROS/RCS) जो तत्परता और निष्पादन परिणाम को अलग करता है, जो डिजिटल लाइब्रेरी वर्कफ़्लो में तत्परता-परिणाम संलयन को संबोधित करता है।
2. तत्परता मॉडल: एक 5-श्रेणी, 26-उप-मीट्रिक मॉडल (RRS) जो विशेषज्ञ-सूचित भार, नॉन-लीनियर गेटिंग और फ़ाइल-स्तरीय साक्ष्य प्रोवेनेंस का उपयोग करता है।
3. गवर्नेंस मैकेनिज्म: एक कम्युनिटी रूब्रिक सिस्टम जो मूल्यांकन प्राथमिकताओं को सिटेबल (citable), वर्जन्ड आर्टिफैक्ट्स के रूप में परिभाषित करने की अनुमति देता है।
4. अनुभवजन्य सत्यापन: Python/Jupyter के 423 GitHub रिपॉजिटरीज़ पर एक मूल्यांकन, जो दर्शाता है कि स्टैटिक तत्परता विफलता मोड के बीच अंतर करने में सक्षम है, लेकिन बाइनरी निष्पादन सफलता के साथ इसका सहसंबंध (correlation) लगभग शून्य है।

4. मूल्यांकन परिणाम

इस ढांचे का मूल्यांकन एक ग्राउंड-ट्रुथ कॉर्पस से 423 रिपॉजिटरीज़ के स्ट्रैटिफाइड सैंपल पर किया गया, जिन्हें पांच विफलता मोड में वर्गीकृत किया गया: सफलता, इंस्टाल डिपेंडेंसी एरर, मिसिंग मॉड्यूल, मिसिंग डेटा, और कोड एरर।

• विफलता मोड भेदभाव: पर्यावरण (E) श्रेणी ने विफलता मोड के बीच अंतर करने की सबसे मजबूत क्षमता दिखाई (Kruskal-Wallis $H = 96.89, p < 0.001$)।
  • डिटेक्शन पैराडॉक्स: इंस्टाल डिपेंडेंसी एरर (install_dep) वाले रिपॉजिटरीज़ ने पर्यावरण (औसत 22.8) पर उच्चतम स्कोर किया क्योंकि उन्होंने स्पष्ट रूप से वातावरण निर्दिष्ट किया था, फिर भी वे वर्जन संघर्षों के कारण विफल रहे। इसके विपरीत, सफल रिपॉजिटरीज़ ने कम स्कोर किया (औसत 10.3) क्योंकि उनमें अक्सर स्पष्ट विनिर्देशों की कमी थी। यह पुष्टि करता है कि RRS यह लक्षणित करता है कि किस प्रकार की समस्या है, न कि यह कि क्या वह सफल होगा।
• बाइनरी सहसंबंध: RRS और बाइनरी निष्पादन सफलता के बीच सहसंबंध लगभग शून्य था ($r_{pb} = -0.014$)। यह तत्परता-परिणाम अंतराल को अनुभवजन्य रूप से प्रमाणित करता है: एक उच्च स्टैटिक स्कोर सफल रन की भविष्यवाणी नहीं करता है।
• मजबूती (Robustness):
  • वेट स्थिरता: जब वेट को $\pm 50\%$ से विचलित किया गया, तब भी रिपॉजिटरी रैंकिंग स्थिर रही ($\tau \ge 0.911$)।
  • गेट असंवेदनशीलता: गेट फंक्शन का बाइनरी भविष्यवाणी पर नगण्य प्रभाव पड़ा (AUC रेंज $\approx 0.008$), जो इसकी भूमिका को एक प्रेडिक्टिव मैकेनिज्म के बजाय एक नॉर्मेटिव पॉलिसी टूल के रूप में पुष्टि करता है।
  • लीव-वन-कैटेगरी-आउट: पर्यावरण या डेटा श्रेणियों को हटाने से वास्तव में बाइनरी AUC में सुधार हुआ, जो और भी सिद्ध करता है कि ये श्रेणियाँ विफलता के प्रकारों को चरित्रित करने के लिए डिज़ाइन की गई हैं, न कि बाइनरी सफलता की भविष्यवाणी करने के लिए।
• कंपोजिट सत्यापन: आंशिक ROS सत्यापन में, RCS ने रिपॉजिटरीज़ को सही ढंग से पुन: रैंक किया। उदाहरण के लिए, install_dep रिपॉजिटरीज़ का मध्यम RRS (26.8) था लेकिन लगभग शून्य ROS (13.5) था, जिसके परिणामस्वरूप निम्न RCS (19.8) प्राप्त हुआ, जो उनके निष्पादन विफलता को सटीक रूप से दर्शाता है।

5. महत्व और दावे

यह शोध पत्र ReproScore को एक बाइनरी प्रेडिक्टर के बजाय डिजिटल लाइब्रेरी क्यूरेटरों के लिए एक नैदानिक उपकरण (diagnostic instrument) के रूप में स्थापित करता है।

• आर्किटेक्चरल आवश्यकता: अध्ययन यह प्रमाणित करता है कि तत्परता और परिणाम को अलग करना आवश्यक और गैर-तुच्छ (non-trivial) दोनों है। स्टैटिक संकेत उन संरचनात्मक अंतरों को कैप्चर करते हैं (जैसे मिसिंग मॉड्यूल और वर्जन संघर्ष के बीच अंतर) जिन्हें बाइनरी सफलता मेट्रिक्स अस्पष्ट कर देते हैं।
• क्यूरेटियल उपयोगिता: श्रेणी-स्तर का प्रोफाइल प्रदान करके, ReproScore लक्षित सुधार (remediation) को सक्षम बनाता है। कम 'पर्यावरण' स्कोर बताता है कि डिपेंडेंसी पिनिंग की आवश्यकता है; कम 'डेटा' स्कोर बताता है कि मिसिंग पॉइंटर्स की समस्या है। यह एक एकल "पुनरुत्पादकता" स्कोर की तुलना में अधिक क्रियाशील (actionable) है।
• स्केलेबिलिटी: स्टैटिक-फर्स्ट दृष्टिकोण (RRS) लाइब्रेरी को सैंडबॉक्स्ड निष्पादन की कम्प्यूटेशनल लागत के बिना लाखों जमा (deposits) को छांटने की अनुमति देता है, जिससे निष्पादन संसाधनों को उन आर्टिफैक्ट्स के लिए सुरक्षित रखा जा सके जो आशाजनक दिखते हैं या जिन्हें विशिष्ट सत्यापन की आवश्यकता है।
• नीति पारदर्शिता: कम्युनिटी रूब्रिक मैकेनिज्म स्कोरिंग ह्यूरिस्टिक्स को अपारदर्शी कोड से ऑडिट योग्य, सिटेबल नीतियों में बदल देता है, जिससे क्रॉस-इंस्टीट्यूशनल तुलना और डोमेन-विशिष्ट अनुकूलन (जैसे बायोइन्फॉर्मेटिक्स में डेटा सुलभता को प्राथमिकता देना) सुलभ होता है।

लेखक निष्कर्ष निकालते हैं कि एक ऐसा ढांचा जो तत्परता और परिणाम के बीच के अंतर को स्पष्ट रूप से नाम देता है, वह उन ढांचों की तुलना में अधिक सूचनात्मक है जो उन्हें समाहित (collapse) कर देते हैं। ReproScore इस अंतर को प्रबंधित करने के लिए बुनियादी ढांचा प्रदान करता है, जो OAIS इनजेस्ट और आर्काइवल स्टोरेज संस्थाओं को कंप्यूट करने योग्य, स्केलेबल मेट्रिक्स के साथ समर्थन देता है।