Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis

यहाँ नाथन कैसी (Nathan Cassee) और रॉबर्ट फेल्ड्ट (Robert Feldt) के शोध पत्र "Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एम्पिरिकल सॉफ्टवेयर इंजीनियरिंग (SE) और माइनिंग सॉफ्टवेयर रिपॉजिटरीज (MSR) अनुसंधान "रिप्लिकेशन क्राइसिस" (प्रतिकृति संकट) का सामना कर रहे हैं, जो "गार्डन ऑफ फोर्किंग पाथ्स" (विभाजित पथों का उद्यान) से प्रेरित है। यह अवधारणा, जिसे जेलमैन और लोकेन द्वारा पेश किया गया था, उस व्यापक और अक्सर अनकही लचीलेपन का वर्णन करती है जो शोधकर्ताओं के पास डेटा प्रोसेसिंग, ऑपरेशनलाइजेशन और सांख्यिकीय मॉडलिंग में होता है।

• समस्या: MSR अध्ययनों में, विशेष रूप से 'रिग्रेशन डिस्कंटीन्यूटी इन टाइम' (RDiT) जैसे अवलोकनात्मक डेटा (observational data) का उपयोग करते समय, शोधकर्ताओं को कई पद्धतिगत निर्णय लेने होते हैं। भले ही व्यक्तिगत निर्णय न्यायसंगत हों, निर्णयों के संयोजन की विशाल संख्या एक ही डेटासेट से विचलित, विरोधाभासी या गैर-पुनरुत्पादनीय (non-reproducible) निष्कर्षों की ओर ले जा सकती है।
• अंतराल (The Gap): जबकि मनोविज्ञान और महामारी विज्ञान में मल्टीवर्स विश्लेषण (Multiverse Analysis) के माध्यम से पद्धतिगत संवेदनशीलता का अध्ययन किया गया है, इसे व्यवस्थित रूप से SE में लागू नहीं किया गया है। मौजूदा SE साहित्य पद्धतियों में विषमता (heterogeneity) को स्वीकार करता है, लेकिन इस बात के प्रमाण की कमी है कि ये विकल्प परिणामों को कितना बदलते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने एक पूर्व-प्रकाशित MSR अध्ययन: "The Silent Helper: The Impact of Continuous Integration on Code Reviews" (Cassee et al., 2023) पर मल्टीवर्स विश्लेषण किया। इस अध्ययन ने कोड समीक्षा संचार और परिवर्तनों पर निरंतर एकीकरण (Continuous Integration - CI) अपनाने के प्रभाव का विश्लेषण करने के लिए RDiT डिज़ाइन का उपयोग किया था।

A. प्रयोगात्मक डिज़ाइन (Experimental Design)

लेखकों ने एक पूर्व-प्रकाशित MSR अध्ययन पर 3,072 विशिष्ट विश्लेषणात्मक पाइपलाइनों (universes/ब्रह्मांडों) में मूल विश्लेषण को व्यवस्थित रूप से फिर से चलाया। प्रत्येक 'यूनिवर्स' नौ महत्वपूर्ण पद्धतिगत निर्णयों के एक अद्वितीय संयोजन का प्रतिनिधित्व करता था।

B. नौ निर्णय बिंदु (The Nine Decision Points)

निर्णयों को डेटा प्रोसेसिंग और सांख्यिकीय मॉडलिंग में वर्गीकृत किया गया था:

1. टाइम सीरीज़ निर्माण (Time Series Creation):
   • अवधि की संख्या (Number of Periods): {12, 18, 24, 36}
   • अवधि की लंबाई (Period Length): {7, 15, 30, 45} दिन
2. अस्थिरता अपवर्जन (Instability Exclusion): ट्रांजिशन नॉइज़ (transition noise) को संभालने के लिए हस्तक्षेप (intervention) से पहले/बाद में बाहर किए गए दिन।
   • मान (Values): {(0,0), (3.5, 3.5), (15, 15), (0, 7), (0, 15)}
3. डेटा एकत्रीकरण (Data Aggregation): एक अवधि के भीतर डेटा को कैसे सारांशित किया जाता है।
   • स्केलिंग (Scaling): {Original, Natural Log, Log10}
   • औसत (Averaging): {Mean, Median}
4. राउंडिंग परिशुद्धता (Rounding Precision): डेटा इंस्टांशिएशन के लिए दशमलव स्थानों की संख्या।
   • मान (Values): {Unmodified, 10, 5}
5. सांख्यिकीय मॉडल फिटिंग (Statistical Model Fitting):
   • कोलिनियैरिटी थ्रेशोल्ड (VIF): {2.5, 5}
   • फिटिंग एल्गोरिदम (Fitting Algorithm): {REML (True/False)}

C. परिणाम वर्गीकरण (Outcome Classification)

प्रत्येक 3,072 यूनिवर्स के लिए, लेखकों ने चार मॉडल फिट किए (प्रत्येक मूल परिकल्पना के लिए एक) और परिणामों को मूल अध्ययन के सापेक्ष चार श्रेणियों में वर्गीकृत किया:

1. पूर्ण प्रतिकृति (Full Replication): सभी सार्थकता (significance) और संकेत (signs) मूल के समान हैं।
2. अपुष्ट परिणाम (Unconfirmed Results): कम से कम एक दावा पुष्टि नहीं किया जा सकता (जैसे, p-value > 0.05)।
3. विपरीत परिणाम (Opposite Results): कम से कम एक दावा उलट जाता है (जैसे, मूल सकारात्मक रुझान के विरुद्ध महत्वपूर्ण नकारात्मक रुझान)।
4. मॉडल फिट विफलता (Model Fit Failure): डेटा संबंधी समस्याओं के कारण मॉडल फिट नहीं हो सका।

3. मुख्य परिणाम (Key Results)

विश्लेषण ने मूल अध्ययन के निष्कर्षों में अत्यधिक नाजुकता प्रकट की:

• प्रतिकृति दर (Replication Rate): केवल 3,072 में से 6 यूनिवर्स (0.2%) ने सभी चार परिकल्पनाओं के लिए मूल अध्ययन के निष्कर्षों को सफलतापूर्वक पुनरुत्पादित किया।
• विचलन (Divergence):
  • ~33% यूनिवर्स ने अपुष्ट परिणाम (शून्य निष्कर्ष) दिए।
  • ~33% ने विपरीत परिणाम (विरोधाभासी निष्कर्ष) दिए।
  • ~33% के परिणामस्वरूप मॉडल फिट विफलता हुई।
• निर्णय संवेदनशीलता (Decision Sensitivity):
  • टाइम मॉडलिंग महत्वपूर्ण है: अवधि की लंबाई (Period Length) का चुनाव सबसे प्रभावशाली निर्णय था। इस एकल चर को बदलने से 86.3% यूनिवर्स में परिणाम बदल गया। छोटी अवधि (7 या 15 दिन) ने मूल निष्कर्षों को लगभग कभी भी पुनरुत्पादित नहीं किया।
  • छिपे हुए निर्णय मायने रखते हैं: राउंडिंग परिशुद्धता जैसे मामूली दिखने वाले विकल्पों ने भी ~2% मामलों में परिणामों को बदल दिया।
  • कोई स्थिर निर्णय नहीं था: कोई भी एकल निर्णय बिंदु "स्थिर" नहीं था; प्रत्येक निर्णय में परिणाम को पलटने की शक्ति थी।
• स्पेसिफिकेशन कर्व्स (Specification Curves): दृश्य विश्लेषण (Visual analysis) ने दिखाया कि मूल अध्ययन को दोहराने के लिए निर्णयों के विशिष्ट संयोजनों (जैसे, 45-दिवसीय अवधि के साथ 15-दिवसीय अपवर्जन) की आवश्यकता थी, जबकि अन्य तर्कसंगत संयोजन शून्य या विपरीत परिणाम की ओर ले गए।

4. मुख्य योगदान (Key Contributions)

यह शोध पत्र एम्पिरिकल SE के क्षेत्र में तीन योगदान देता है:

1. नाजुकता का अनुभवजन्य प्रमाण (Empirical Evidence of Fragility): यह पहली बार मात्रात्मक प्रमाण प्रदान करता है कि RDiT का उपयोग करने वाले MSR अध्ययन पद्धतिगत विकल्पों के प्रति अत्यधिक संवेदनशील हैं। यह दर्शाता है कि MSR डेटा की "समृद्धि" एक दोधारी तलवार है, जो शोधकर्ता को उच्च स्वतंत्रता प्रदान करती है जो वैधता के लिए खतरा पैदा करती है।
2. जस्टिफिकेशन लैडर ऑफ एनालिटिकल चॉइस (JLAC): लेखक पद्धतिगत निर्णयों के औचित्य की शक्ति को वर्गीकृत करने के लिए एक नया ढांचा (तालिका 5) प्रस्तावित करते हैं:
   • स्तर 5 (कारण/Causal): कारण मॉडल/सिद्धांतों पर आधारित।
   • स्तर 4 (अनुभवजन्य/Empirical): डेटा गुणों पर आधारित।
   • स्तर 3 (अनुमानी/Heuristic): सामान्य तर्क।
   • स्तर 2 (पारंपरिक/Conventional): सामान्य अभ्यास।
   • स्तर 1 (अंतर्निहित/Implicit): सॉफ्टवेयर डिफॉल्ट/अज्ञात विकल्प।
   • अनुप्रयोग: लेखकों ने JLAC को मूल अध्ययन पर लागू किया, जिसमें पाया कि अधिकांश निर्णय (जैसे, अवधि की लंबाई) स्तर 1 (Implicit) या स्तर 2 (Conventional) थे, जो इस नाजुकता की व्याख्या करते हैं।
3. एक उपकरण के रूप में मल्टीवर्स विश्लेषण: वे SE शोधकर्ताओं के लिए एक व्यावहारिक "स्मोक टेस्ट" के रूप में मल्टीवर्स विश्लेषण की वकालत करते हैं। यह यह पहचानने में मदद करता है कि कौन से निर्णय परिणामों को संचालित करते हैं और शोधकर्ताओं को अपने विकल्पों को कठोरता से न्यायसंगत बनाने या अपने निष्कर्षों की खोजपूर्ण प्रकृति को स्वीकार करने के लिए मजबूर करता है।

5. महत्व और निहितार्थ (Significance and Implications)

• प्रतिकृति संकट (Reproducibility Crisis): यह अध्ययन पुष्टि करता है कि "गार्डन ऑफ फोर्किंग पाथ्स" एम्पिरिकल SE अनुसंधान के लिए एक बड़ा खतरा है। एक ही डेटासेट अलग-अलग विश्लेषणात्मक विकल्पों के आधार पर परस्पर विरोधी नैरेटिव का समर्थन कर सकता है।
• पद्धतिगत कठोरता (Methodological Rigor): पेपर का तर्क है कि मानक "वैधता के लिए खतरे" (threats to validity) वाले खंड अपर्याप्त हैं। शोधकर्ताओं को JLAC में ऊपर उठना चाहिए, अपने निर्णयों को केवल परंपरा या डिफॉल्ट के बजाय कारण सिद्धांत या अनुभवजन्य सत्यापन पर आधारित करना चाहिए।
• कार्रवाई योग्य सिफारिशें (Actionable Recommendations):
  • शोधकर्ताओं को प्रकाशित करने से पहले मल्टीवर्स विश्लेषण या मजबूती परीक्षण (robustness checks) करना चाहिए।
  • लेखकों को प्रत्येक विश्लेषणात्मक निर्णय को स्पष्ट रूप से न्यायसंगत बनाना चाहिए, "अंतर्निहित" डिफॉल्ट से दूर जाना चाहिए।
  • विशेष रूप से RDiT के लिए, सिद्धांत या सिमुलेशन के आधार पर टाइम मॉडलिंग (अवधि की लंबाई, अपवर्चन विंडो) के लिए डोमेन-विशिष्ट दिशानिर्देश स्थापित किए जाने चाहिए।
• भावी कार्य (Future Work): लेखक व्यापक क्षेत्र के संवेदनशीलता को मैप करने के लिए अन्य MSR अध्ययनों और अनुसंधान डिजाइनों पर मल्टीवर्स विश्लेषण लागू करने का आह्वान करते हैं।

निष्कर्षतः, यह शोध पत्र एक चेतावनी के रूप में कार्य करता है: एम्पिरिकल सॉफ्टवेयर इंजीनियरिंग में, पद्धतिगत विकल्प परिणामों पर पहले से अनुमानित तुलना में कहीं अधिक गहरा प्रभाव डालते हैं, और कठोर औचित्य और पारदर्शिता के बिना, वैज्ञानिक निष्कर्ष डेटा के बजाय चुने गए विश्लेषणात्मक पथ के आर्टिफैक्ट (कृत्रिम परिणाम) हो सकते हैं।